JP2004114977A

JP2004114977A - 移動体周辺監視装置

Info

Publication number: JP2004114977A
Application number: JP2002284716A
Authority: JP
Inventors: Shuji Yamamoto; 山本　修司; Toshiaki Kakinami; 柿並　俊明
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-15
Also published as: EP1403138A1

Abstract

【課題】移動体周辺を監視し、移動体周辺の環境が所定の条件を充足するか否かを判定し得る移動体周辺監視装置を提供する。
【解決手段】撮像手段ＣＤによって移動体の周辺を撮像して画像を取得する。３次元環境構築手段ＲＣによって、少なくとも２位置で撮像した画像に基づき、移動体周辺の３次元環境を構築する。この３次元環境に基づき、判定手段ＤＴにおいて移動体周辺の環境が所定の条件を充足するか否かを判定する。例えば、判定手段を、３次元環境に基づき、車両の周辺に所定の大きさ以上の領域が存在すると判定し、且つこの領域に車両の駐車が可能と判定したときに所定の条件を充足したと判定するように構成すれば、駐車案内装置となる。これにより、車両より大きな領域があるか否かを探査し、駐車可能か否かを判定し得る。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境が所定の条件を充足するか否かを判定する移動体周辺監視装置に係る。例えば、車両の周辺を監視し所定の領域に駐車可能か否かを判定する装置に好適な移動体周辺監視装置に係る。
【０００２】
【従来の技術】
【特許文献１】
従来から、駐車補助装置としては種々の装置が知られており、例えば特開２００１−３３４８９９号公報には、駐車時において撮像装置から車両周辺の情報に基づき操舵装置の切り返し開始位置を運転者に報知して、操作の負担を軽減する駐車補助装置が提案されている。
【０００３】
【特許文献２】
また、特開平９−１８０１００号公報には、駐車区間の大きさ及び駐車区間内に障害物があるか否かを検出し、駐車できるか否かを判定し、また車両の停止位置から最小旋回半径で移動した場合に駐車区間に駐車できるか否かを判断し、駐車行動に入る前にその状態から移動して駐車の可否を明示する駐車方法及び装置が提案されている。
【０００４】
【特許文献３】
更に、特開２００１−１８７５５３号公報には、車両の移動中に、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第１の地点から第２の地点まで車両の移動データを算出する車両位置算出部と、立体物の第１および第２の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第３の画像を生成するようにした駐車支援装置が提案されている。これにより、２つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【０００５】
【非特許文献１】
一方、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、「情報処理」誌のＶｏｌ．３７　Ｎｏ．７　（１９９６年７月号）に「２．ステレオの仕掛けを解き明かす」と題する出口光一郎氏の論文が掲載されており、ステレオによる立体形状計測について解説されている。同誌には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００６】
【非特許文献２】
同様に、「空間データの数理」と題する書籍　（金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行）の１６１頁及び１６２頁に「ステレオ視による３次元復元」と題し、ステレオ視（または立体視）とは、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算するものであり、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００７】
【非特許文献３】
更に、上記「情報処理」誌の連載であるＶｏｌ．３７　Ｎｏ．８　（１９９６年８月号）の「３．動画像の扱い」と題する同氏の論文には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【０００８】
【発明が解決しようとする課題】
前掲の特許文献１（特開２００１−３３４８９９）に記載の装置においては、駐車時において運転者があらかじめ駐車を開始する位置から運転者が目標とする駐車位置を入力し、この入力された駐車位置に基づき駐車の案内を行なうこととされている。然し乍ら、この場合は、入力された目標位置が駐車の可能なスペースであるかは報知された情報に基づき運転者が判断しているため、駐車の可能なスペースが無い場合においても案内を中止できない。従って、案内通りに運転者が操作を行っても駐車できない場合があった。
【０００９】
また、前掲の特許文献２（特開平９−１８０１００）に記載の装置は、駐車区間に駐車できるかを判断する基準として、初期停止位置から最小旋回半径で移動した場合の駐車の可否を示しているため、駐車可能な方法が制限されることになる。即ち、操舵切り返しを行えば駐車可能である場合でも、初期停止位置から最小旋回半径で移動して駐車できないと判定された場合には、駐車不可と判定されることになる。また、本装置は、複数の旋回による駐車については考慮されていない。
【００１０】
更に、特許文献３（特開２００１−１８７５５３）においては、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部とを備えており、車両がａ地点にある時に撮像された画像Ａを、車両の移動データを用いてｂ地点から撮像されたように画像変換し、画像Ｃを算出すると説明されている。このように、２つの画像のずれと移動データに基づき幾何学的に車両から立体物までの距離を算出することとしているものであり、所定の領域に駐車可能か否かを判定するものではない。
【００１１】
上記のように、従来の駐車補助装置あるいは駐車支援装置においては、所定の領域に駐車可能か否かを判定する機能は備えておらず、まして、車両の周辺を監視し所定の領域に駐車可能か否かを判定する機能は備えていない。また、前述の非特許文献１乃至３に記載の画像処理技術を利用すれば、例えば１個のカメラによっても障害物の３次元形状を復元することができるが、車両の駐車補助装置への適用については何れの文献にも言及されていない。更に、上記のような車両の駐車補助装置に留まらず、例えばロボット等の移動体の周辺を監視する移動体周辺監視装置が注目され、移動体周辺の環境が所定の条件を充足するか否か、例えば所定の領域が存在するか否か、あるいは所定の領域を占める障害物が存在するか否か、といった判定を行い得る装置が要請されている。
【００１２】
そこで、本発明は、移動体周辺を監視し、移動体周辺の環境が所定の条件を充足するか否かを判定し得る移動体周辺監視装置を提供することを課題とする。
【００１３】
例えば、移動体周辺監視装置の一態様として、車両周辺に車両より大きな領域があるか否かを探査し、その領域に駐車可能か否かを判定し得る駐車案内装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、本発明の移動体周辺監視装置は、請求項１に記載のように、移動体に搭載し該移動体の周辺を撮像し画像情報を出力する撮像手段と、該撮像手段が撮像した画像に基づき前記移動体周辺の３次元環境を構築する３次元環境構築手段と、該３次元環境構築手段が構築した３次元環境に基づき前記移動体周辺の環境が所定の条件を充足するか否かを判定する判定手段とを備えることとしたものである。
【００１５】
更に、請求項２に記載のように、前記移動体の少なくとも２位置間の移動状態を検出する移動状態検出手段を備えると共に、前記撮像手段が、前記移動体の所定位置に固定した少なくとも一つの撮像装置を具備して成り、該撮像装置によって少なくとも前記２位置で撮像した画像に基づき、前記３次元環境構築手段が前記移動体周辺の３次元環境を構築するように構成するとよい。
【００１６】
前記移動状態検出手段は、請求項３に記載のように、前記移動体の速度を検出する速度検出器を具備したものとし、該速度検出器の検出結果に基づき前記移動体の少なくとも２位置間の移動距離を測定するように構成することができる。
【００１７】
また、請求項１記載の移動体周辺監視装置において、請求項４に記載のように、前記撮像手段は、前記移動体の所定距離を隔てた少なくとも２位置に固定した複数の撮像装置を具備して成り、該複数の撮像装置によって撮像した画像に基づき、前記３次元環境構築手段が前記移動体周辺の３次元環境を構築するように構成してもよい。
【００１８】
更に、請求項１乃至４の何れかに記載の移動体周辺監視装置において、請求項５に記載のように、前記判定手段が前記所定の条件を充足したと判定したときには、判定結果を報知する報知手段を備えたものとするとよい。
【００１９】
前記報知手段は、請求項６に記載のように、前記移動体に搭載するモニタ上に前記判定結果を表示する表示装置と、音声で前記判定結果を伝える音声装置の、少なくとも一方を備えたものとすることができる。
【００２０】
そして、請求項１乃至６の何れかに記載の移動体周辺監視装置において、前記移動体を車両とし、前記判定手段を、前記３次元環境構築手段が構築した３次元環境に基づき、前記車両の周辺に所定の大きさ以上の領域が存在すると判定し、且つ該領域に前記車両の駐車が可能と判定したときに前記所定の条件を充足したと判定する駐車可否判定手段とすれば、駐車案内装置を構成することができる。例えば、車両の周辺を撮像手段で撮像した画像に基づき、予め車両周辺の情報（例えば、障害物の有無等）を３次元環境として構築しておき、これに基づき、所定の大きさ以上の領域が車両周辺に存在するか否かを探査し、その領域に駐車が可能か否かを判定するように構成することができる。
【００２１】
更に、請求項８に記載のように、前記駐車可否判定手段にて前記車両の駐車が可能と判定した前記領域が複数存在する場合には、前記車両の駐車容易性を判定する所定の指標に基づき、前記複数の領域から一つの領域を設定する領域設定手段を備えたものとすれば、後述するように容易且つ適切に駐車領域の有無を判定することができる。前記所定の指標としては、請求項９に記載のように、前記車両の駐車を開始する位置から駐車完了時の位置までの移動距離、所要時間、操舵切り返し回数及び操舵量、並びに駐車可能領域の大きさのうちの少なくとも一つの指標とするとよい。
【００２２】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は一実施形態の全体構成を示すもので、本実施形態では図示しない移動体たる車両に搭載される。図１に示すように、移動体（図示せず）の周辺を撮像し画像を取得する撮像手段ＣＤと、この撮像手段ＣＤによって取得した画像に基づき移動体周辺の３次元環境を構築する３次元環境構築手段ＲＣと、３次元環境構築手段ＲＣが構築した３次元環境に基づき移動体周辺の環境が所定の条件を充足するか否かを判定する判定手段ＤＴとを備えている。撮像手段ＣＤとしては、ｃｃｄカメラ等の撮像装置があり、複数（例えば２個）の撮像装置を移動体上で所定距離を隔てた２位置に固定することとすれば、これらの撮像装置によって撮像した画像に基づき、３次元環境構築手段ＲＣにて移動体周辺の３次元環境を構築することができる。
【００２３】
これに対し、撮像手段ＣＤとして一つの撮像装置のみを用いる場合には、移動状態検出手段ＤＳが必要となる。即ち、移動状態検出手段ＤＳは移動体の少なくとも２位置間の移動距離を測定するものである。而して、この移動距離を隔てた少なくとも２位置で撮像装置によって撮像した画像に基づき、３次元環境構築手段ＲＣにて移動体周辺の３次元環境を構築することができる。移動状態検出手段ＤＳとしては、移動体の速度を検出する速度検出器を備えたものとすれば、この速度検出器の検出結果に基づき移動体の少なくとも２位置間の移動距離を測定することができる。
【００２４】
更に、図１に示すように、判定手段ＤＴが所定の条件を充足したと判定したときに判定結果を報知する報知手段ＤＰを備えたものとするとよい。報知手段ＤＰとしては、例えば、移動体に搭載するモニタ（図示せず）上に判定結果を表示するモニタ（図示せず）等の表示装置ＶＳ、及び音声で判定結果を伝える音声装置ＡＶがあり、これらの少なくとも一方を備えることとすれば、駐車操作に有効な視覚情報あるいは聴覚情報を提供することができる。
【００２５】
上記の移動体が車両である場合には、移動体周辺監視装置は図２及び図３に示す駐車案内装置に供される。この場合には、判定手段ＤＴは、３次元環境構築手段ＲＣが構築した３次元環境に基づき、車両１の周辺に所定の大きさ以上の領域が存在すると判定し、且つこの領域に車両１の駐車が可能と判定したときに所定の条件を充足したと判定する駐車可否判定手段（図１のＰＡ）となる。尚、この駐車可否判定手段ＰＡにて車両１の駐車が可能と判定した領域が複数存在する場合には、駐車容易性を判定する所定の指標、例えば、車両１の駐車を開始する位置から駐車完了時の位置までの移動距離、所要時間、操舵切り返し回数、及び操舵量、並びに駐車可能領域の大きさのうちの少なくとも一つの指標に基づき、複数の領域から一つの領域を設定するように構成されている。
【００２６】
更に、図１に破線で示すように構成すれば、後述するように種々の画像を表示することができる。先ず、３次元環境構築手段ＲＣ内に、移動体が第１の状態から第２の状態に移動したときに少なくとも第１の状態及び第２の状態で撮像手段ＣＤによって撮像した二つの画像に基づき、第１の状態で撮像した画像から特徴点の座標を検出すると共に、第２の状態で撮像した画像での前記特徴点に対応する座標を検出する特徴点追跡手段ＰＦを構成する。そして、移動状態検出手段ＤＳを、少なくとも第１の状態及び第２の状態における移動体の位置及び姿勢を検出するように構成し、この移動状態検出手段ＤＳで検出した第１の状態及び第２の状態における移動体の位置及び姿勢、第１の状態で撮像した画像の特徴点の座標、及び第２の状態で撮像した画像の前記特徴点に対応する座標に基づき前記特徴点の３次元座標を推定するように構成するものである。
【００２７】
このときの移動状態検出手段ＤＳは、移動体が車両である場合には、例えば車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによって構成することができるが、移動体の位置及び姿勢を逐次検出し蓄積する移動体情報検出手段ＭＢ（図１に破線で示す）の検出情報を用いることとしてもよい。この移動体情報検出手段ＭＢの検出情報と３次元環境構築手段ＲＣの情報を合成し、移動体の周辺環境に対する相対的な位置及び姿勢の関係を補正して出力する情報合成手段ＣＢを設ける。そして、この情報合成手段ＣＢの出力情報に基づき、移動体の特定位置周辺の環境情報から移動体の特定の視界を作成する特定視界作成手段ＳＶを設け、この特定視界作成手段ＳＶが作成した特定の視界を画像に表示する表示手段ＶＤを設ける。この表示手段ＶＤとしては、前掲の表示装置ＶＳを利用することができる。
【００２８】
また、図１に破線で示すように、移動体の運転者による特定の視界に係る指示を入力する指示入力手段ＳＥを備え、特定視界作成手段ＳＶは、指示入力手段ＳＥの入力結果に応じて特定の視界を運転者の指示に基づく視界に切り替える切替手段ＣＨを具備する。指示入力手段ＳＥとしては、メカニカルスイッチ（図示せず）を用いることができ、表示手段ＶＤとしてモニタ（図示せず）が用いられた場合には、モニタ表示画像上に構成するタッチパネルスイッチを用いることもできる。更には、音声認識装置によって指示入力手段ＳＥを構成することもできる。また、特定視界作成手段ＳＶに基づき表示手段ＶＤが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【００２９】
更に、図１に破線で示すように、３次元環境構築手段ＲＣの情報に基づき、移動体の周囲に接近する障害物を検出する障害物検出手段ＵＮを設けることとしてもよい。そして、特定視界作成手段ＳＶは、障害物検出手段ＵＮが検出した障害物を含むように特定の視界を作成するように構成する。上記障害物検出手段ＵＮは、環境情報検出手段ＳＲの検出情報から、移動体に対して相対的に所定距離内に接近した障害物を検出することができる。例えば、移動体を中心とする所定の領域内に障害物が存在すると判定されたときに、その障害物を含む視界の画像を自動的に表示するように構成することができる。
【００３０】
また、図１に破線で示すように、例えば情報検出手段ＭＢの検出情報に基づき移動体の移動軌跡を推定する軌跡推定手段ＴＲを設けることとしてよい。この場合には、特定視界作成手段ＳＶは、軌跡推定手段ＴＲの推定移動軌跡を特定の視界に重合する重合手段ＯＬを具備し、表示手段ＶＤが、推定移動軌跡を特定の視界に重合した画像を表示するように構成する。軌跡推定手段ＴＲが推定する移動軌跡としては、例えば車両の走行予想軌跡がある。更に、軌跡推定手段ＴＲが推定した移動予想軌跡を３次元環境構築手段ＲＣが構築した３次元環境に重合し、移動体の移動予想軌跡上に存在する障害物を特定すると共に、移動予想軌跡上における障害物と移動体との間の最短距離を計測する移動至近距離計測手段ＭＣを設けることとしてもよい。
【００３１】
この移動至近距離計測手段ＭＣが計測した移動予想軌跡上における車両と障害物との間の最短距離（移動至近距離）に応じて、表示装置ＶＳ及び音声装置ＡＶの少なくとも一方の出力を調整するように構成することができる。例えば、移動至近距離の大きさに応じて、バーグラフが増減し、あるいは警告音が増減するように構成することができる。更に、表示装置ＶＳは、車両に対して移動予想軌跡上で最短距離となる障害物の部分を特定し、当該部分をモニタ上に表示する（例えば当該部分にマークを付す）ように構成することができる。
【００３２】
図２は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１の後部には、その周辺を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像装置を構成する）が装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図２に示すように車両１に搭載された筐体中に収容され、図１の３次元環境構築手段ＲＣ及び駐車可否判定手段ＰＡが構成されている。尚、移動状態検出手段ＤＳ、移動体情報検出手段ＭＢ、３次元環境構築手段ＲＣ、情報合成手段ＣＢ、特定視界作成手段ＳＶ、切替手段ＣＨ、重合手段ＯＬ、軌跡推定手段ＴＲ及び移動至近距離計測手段ＭＣも電子制御装置１０内に構成されている。また、ステアリングホイール３の操舵角を検出する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着されており、これらの検出舵角及び検出信号が電子制御装置１０に供給される。
【００３３】
図３は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。尚、ＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３４】
本実施形態においては、車両１周辺の環境を表示するカメラ２の画像信号が画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。而して、図１の３次元環境構築手段ＲＣ、情報合成手段ＣＢ及び特定視界作成手段ＳＶはＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。
【００３５】
上記の３次元環境構築手段ＲＣは、例えば、以下のように構成することができる。即ち、特徴点追跡手段ＰＦにて、車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像から特徴点の座標が検出されると共に、第２の状態で撮像された画像での前記特徴点に対応する座標が検出され、移動状態検出手段ＤＳでは、第１の状態及び第２の状態における車両１の位置及び姿勢が検出される。そして、第１の状態及び第２の状態における車両１の位置及び姿勢、第１の状態で撮像された画像の特徴点の座標、及び第２の状態で撮像された画像の前記特徴点に対応する座標に基づき、３次元再構成が行われ、前記特徴点の３次元座標が求められる。
【００３６】
上記の３次元再構成は、例えば前述の非特許文献２に記載のように、画像を用いて三角測量の原理に基づいて行われるものであり、図２９乃至図３１を参照して以下に説明する。図２９において、少なくとも２つのカメラ位置（左右のｏ及びｏ’で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ_１，ｍ_２とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Ｓｃｅｎｅ）中の３次元の点Ｍは各画像間で同定される必要がある。また、単眼カメラで３次元の再構成を行う場合には、画像中から対象物体の特徴点（Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔ）の抽出とその追跡が必要である。更に、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）は既知である（予め校正されている）ことが必要であり、これらを前提に３次元再構成が行われる。
【００３７】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、ステレオ対応という手段を使うことができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００３８】
対象視界からの特徴点の検出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を検出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象である。このような特徴点の検出には下記［数１］式に示す行列Ａによる自動相関（ａｕｔｏ−ｃｏｒｒｅｌａｔｉｏｎ）を用いることができる。行列Ａは画像中の点ｐ（ｘ，ｙ）を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（例えば、図３０の左側の図におけるコーナーの黒点）であり、この行列はこれらの特徴点を検出するものである。尚、下記［数１］式において、Ｉ（ｘ，ｙ）は画像の関数、Ｉｘはｘ軸に沿った画像の勾配、Ｉｙはｙ軸に沿った画像の勾配、（ｘ_ｋ _，ｙ_ｋ）　は（ｘ，ｙ）を中心としたウインドウＷ中の画像点を夫々表わす。
【００３９】
【数１】

【００４０】
次に、特徴点の追跡（Ｆｅａｔｕｒｅ　Ｔｒａｃｋｉｎｇ）に関し、ｕ＝［ｘ，ｙ］^Ｔが画像点の座標であるような画像列Ｉ（ｕ，ｔ）を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４１】
【数２】

【００４２】
上記の［数２］式において、δ（ｕ）はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（ｔｒａｎｓｌａｔｉｏｎ）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（ｄｉｓｐｌａｃｅｍｅｎｔ　ｖｅｃｔｏｒ）を表わす。
【００４３】
【数３】

【００４４】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Ｔｒａｃｋｅｒ）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅ　Ｄｉｆｆｅｒｅｎｃｅ）によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する（図３０にこの状態を示す）。尚、下記［数４］式のＷは、点ｕを中心とする特徴点検出のためのウインドウを表わす。
【００４５】
【数４】

【００４６】
図３１はトラッキングの一例を説明するもので、トラック（Ｔｒａｃｋｓ）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって検出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において検出された特徴点の集合から開始し、前の画像（図３１のＩｍｇ　Ａ）での特徴点は次の画像（図３１のＩｍｇ　Ｂ）で追跡される。画像（Ｉｍｇ　Ａ）のうちの一部のトラックが停止すると、画像（Ｉｍｇ　Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００４７】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図２９に示すようになる。
【００４８】
【数５】

【００４９】
図２９において、第２のカメラ座標系は第１のカメラ座標系をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００５０】
図２９に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ_１，ｍ_２にあるとする。この状態で、第２のカメラ座標系の原点０’から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ_２で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第１のカメラ座標系に関してはＲｍ_２である。従って、図２９より下記［数６］式の関係が成立する。
【００５１】
【数６】

【００５２】
上記［数６］式から、距離Ｚ，Ｚ’が下記［数７］式のように計算される。
【００５３】
【数７】

【００５４】
このようにして、２つの視点から画像面上の投影像の座標ｍ_１，ｍ_２から３次元空間上の距離Ｚ，Ｚ’を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００５５】
図１に戻り、車両１の移動状態を検出する移動状態検出手段ＤＳとしては、前述のように車両の走行速度、操舵状態、旋回状態等の車両運動を検出するセンサによってデッドレコニングシステムを構成することができるが、本実施形態においては、速度検出器たる車輪速度センサ７によって構成され、これは後述するように移動体情報検出手段ＭＢとしても機能するように構成されている。このようにして特定される第１の状態及び第２の状態における車両１の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像における特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の３次元座標が推定される。
【００５６】
本実施形態においては、車輪速度センサ７によって検出された車輪速度信号に基づき、以下のように、車両１の状態、即ち車両１の位置及び方向（鉛直軸周りの角度）を検出するようにデッドレコニングシステムが構成されており、これによって図１に示す移動体情報検出手段ＭＢが構成されている。以下、本実施形態における車両１の状態を検出する方法について説明する。図４は、本実施形態における車両１のモデルを表したものであり、車両１の位置及び方向は、（ｘ，ｙ，θ）の３つの変数により定義される。また、車両１の速度（車速）をＶ、車両１の角速度をωとすると、車両の状態、車速及び角速度の間に次の等式が成立する。
即ち、ｄｘ／ｄｔ＝Ｖ・ｃｏｓθ、ｄｙ／ｄｔ＝Ｖ・ｓｉｎθ、及びｄθ／ｄｔ＝ωとなる。
【００５７】
上記の車速Ｖ及び角速度ωは直接計測することはできないが、車輪速度センサ７によって検出された左右後輪の車輪速度を用いて、次のように求めることができる。即ち、Ｖ＝（Ｖｒｒ＋Ｖｒｌ）／２、及びω＝（Ｖｒｒ−Ｖｒｌ）／Ｌｔとなる。ここで、Ｖｒｒは右後輪の車輪速度、Ｖｒｌは左後輪の車輪速度で、Ｌｔは車両１のトレッド長を表す。
【００５８】
上記の式を用いると、時刻ｔにおける車両の状態（ｘ，ｙ，θ）は、ｔ＝０における初期値（ｘ０，ｙ０，θ０）が決まっておれば次のように表すことができる。ｘ＝ｘ０＋∫（ｄｘ／ｄｔ）ｄｔ　ここで、∫はｔ＝０→ｔ＝ｔ。
ｙ＝ｙ０＋∫（ｄｙ／ｄｔ）ｄｔ　ここで、∫はｔ＝０→ｔ＝ｔ。
θ＝θ０＋∫（ｄθ／ｄｔ）ｄｔ　ここで、∫はｔ＝０→ｔ＝ｔ。
即ち、下記［数８］式のようになる。
【００５９】
【数８】

【００６０】
図５は、所定の３次元座標における車両１の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す。即ち、図５は（Ｘｏ，Ｙｏ，Ｚｏ）の３次元座標において、Ｘｏ−Ｙｏ平面（Ｚｏ＝０）上で車両が旋回運動する状態を示し、位置（座標（ｘ１，ｙ１））及び方向（角度θ１）で決まる車両１の状態から位置（座標（ｘ２，ｙ２））及び方向（角度θ２）で決まる車両１の状態に移動したときの位置関係を特定することができる。本実施形態では、左右後輪の車輪速度センサ７の検出車輪速度に基づき、車両１の位置（座標）及び方向（角度）が検出されるが、操舵角センサ４、ヨーレイトセンサ（図示せず）、距離センサ（図示せず）等を用いることとしてもよく、これらのセンサを組み合わせて用いることとしてもよい。図５は単純円旋回の例であるが、複数円弧や直線が組み合わされた軌跡に対し、上記のように検出された車両１の座標と方向に基づき、同様に追跡することができる。
【００６１】
一方、図１に記載の３次元環境構築手段ＲＣにおいて推定された３次元環境が、図６に破線の格子で示すように、（Ｘ，Ｙ，Ｚ）の３次元座標を基準とする３次元環境マップとしてメモリに格納されている。尚、図６に破線の格子で示した３次元環境マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している（以下、図７乃至図１１においても、破線の格子は３次元環境マップを表す）。この３次元環境マップに対し、図５の３次元座標の対応が行われる。即ち、情報合成手段ＣＢにおいて、車両１の周辺環境に対する相対的な位置及び姿勢の関係が補正される。具体的には、図６に破線の格子で示す３次元環境マップの中に、図５に示す車両１が配置され、３次元環境マップでの車両１の位置（座標）、及び姿勢、即ち方向（角度）が特定される。
【００６２】
そして、前述の特定視界作成手段ＳＶによって、周辺状況を含む３次元環境内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段ＶＤたるモニタ８に表示される。この場合において、例えば図７に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元環境マップ（図７の破線の格子）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図７にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。
【００６３】
図８は、車両１の左前方コーナーに仮想カメラ２ｂが配置された場合、及び左後方コーナーに仮想カメラ２ｃが配置された場合に、移動後の車両１からみた３次元環境マップにおいて、これらの仮想カメラ２ｂ及び２ｃの視界に入る領域（表示視界Ｓｂ及びＳｃ）を示す。同様に、図９は、仮想カメラ２ｄが車両１の側方に配置された場合に、移動後の車両１からみた３次元環境マップにおいて、仮想カメラ２ｄの視界に入る領域（表示視界Ｓｄ）を示す。
【００６４】
図７乃至図９の例では、実際のカメラ２の画角と類似する視界が設定されているが、図１０の仮想カメラ２ｅように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない車両１の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図１１に示すように車両１の上空部分に仮想カメラ２ｆを配置して３６０度の表示視界Ｓｆを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【００６５】
上記のように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）、表示し得るように構成されている。例えば、図１２において、車両１が２点鎖線で示す位置から矢印方向に後退し実線で示す位置まで移動したとすると、２点鎖線で示す位置で撮像された２点鎖線の領域Ｓｐには障害物ＯＢが存在するので、この位置では障害物ＯＢを含む画像が形成される。しかし、移動後の車両１の位置で撮像される領域Ｓｎには障害物ＯＢが存在しなくなっているので、モニタ８（図５）の表示画像には障害物ＯＢが含まれなくなる。この状態から、車両１が更に図１２の矢印方向に後退すると、車両１の左後方のコーナーから左前方にかけて障害物ＯＢが接近することになるが、モニタ８の表示画像からは外れており、見えなくなっている。
【００６６】
上記のような状況において、図１０に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると、図１３及び図１４に示すように、車両１の両コーナー部分も含む画像となる。尚、図１３は、図１２に２点鎖線で示す位置の車両１の後部及び障害物ＯＢが表示されたもので、図１４は、図１２に実線で示す位置（移動後）の車両１の後部及び障害物ＯＢが表示されたものである。図１４に示すように、障害物ＯＢの車両１に対する相対的位置は、２点鎖線で示す位置（移動前の図１３の位置）から図１４の矢印方向に相対移動し、実線で示す位置となっていることが分かる。これにより、障害物ＯＢはカメラ２による実際の視界から外れているにも拘わらず、運転者はこれをモニタ８で確認することができる。
【００６７】
而して、本実施形態においては、図１に破線で示す指示入力手段ＳＥ及び切替手段ＣＨによって、モニタ８の表示画像が実際のカメラ２で撮像された画像から、図１３及び図１４に示すようなバーチャル画像に適宜切り替え可能に構成されている。具体的には、図１５に示すように、後方視界の通常の画像（図示省略）に加え、左右に「左コーナー」及び「右コーナー」というタッチパネルスイッチが表示されたモニタ８の通常の表示画面（Ａ）に対し、運転者が何れかのタッチパネルスイッチに触れると画面が切り替わり、コーナー部分のバーチャル画像が表示された切替画面（Ｂ）が表れるように構成されている。これにより、例えば運転者が通常の表示画面（Ａ）の「左コーナー」の表示に触れると、切替画面（Ｂ）の拡大画像に切り替わるので、左コーナーの障害物ＯＢを確認することができる。このように、拡大表示とすることが望ましいが、図１３の表示が左右に移動する態様としてもよく、音声と共に報知することとしてもよい。
【００６８】
上記の図１２においては、車両１の移動前には領域Ｓｐに障害物ＯＢが存在し、これを含む画像が形成されている状態から、移動後の領域Ｓｎには障害物ＯＢが存在せず、モニタ８（図２）の表示画像から障害物ＯＢが消えた状態となる場合を示し、図１３及び図１４にその場合の対応を示した。これに対し、図１６に示すように、車両１の側方に障害物ＯＢが存在する状態から、車両１が前進する場合には、最初にカメラ視界（２点鎖線で示す領域Ｓｐ）に存在しなかった障害物ＯＢが、やがて領域Ｓｎの中に入り、車両近傍に突然出現することになる。
【００６９】
このような場合には、図１１に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると共に、図１６に示すように（バック）カメラ２に加えてサイドカメラ２ｘを用い、これらの視界を合成してバーチャル画像として表示するように構成すればよい。例えば、図１６において、車両１の側方に位置した障害物ＯＢは、破線で示すサイドカメラ２ｘの視界内にあるので、図１７に示すようにモニタ８にバーチャル画像として表示される。即ち、図１７及び図１８の画像はカメラ２の直接視界とサイドカメラ２ｘの合成視界で構成されており、図１８に矢印で示すように、図１７の合成視界にある障害物ＯＢは図１８の直接視界に（相対的に）移動することになる。これにより、運転者は障害物ＯＢが車両１の側方に位置しているときから、その存在を認知することができる。而して、このようなカメラ２及びサイドカメラ２ｘを組み合わせれば、仮に、移動前にサイドカメラ２ｘ又はバックカメラ２の死角になっていたとしても、その死角部分をバーチャル画像で表示することができる。
【００７０】
更に、前述のように車両１周辺の障害物ＯＢの状況を３次元的に認識できていることを利用し、至近距離に存在する障害物がカメラ２の視界から外れたときに、自動的に、カメラ２の視界より外側の状況をバーチャル画像として表示させることができる。例えば図１９に示すように、道路の左側に縦列駐車を行う場合において、車両１を後退させた後に矢印方向（左方向）に旋回するとき、前方左コーナーが他の車両ＯＶの後部に接触するおそれがある。このような場合において、図１に示すように障害物検出手段ＵＮを備えた構成とすることにより、車両１に対して相対的に所定距離内に接近する他の車両ＯＶは障害物として認識され、特定視界作成手段ＳＶでは、この車両ＯＶを含む視界が作成される。而して、自動的に、もしくは運転者の指示に応じて、図２０に示すように前方左コーナー部分のバーチャル画像をモニタ８に表示させることができる（切り替えることができる）。
【００７１】
尚、上記図２０のバーチャル画像は、前述のように、車両１が図１９に示す領域の前方まで前進した後に後退する際に、カメラ２によって撮像された他の車両ＯＶを含む環境情報が３次元環境マップとしてメモリ（図示せず）に格納されているので、この３次元環境マップでの車両１の位置（座標）及び姿勢（方向）が特定される。そして、３次元環境マップにおいて、車両１の前方左コーナーと他の車両ＯＶの後部との距離が所定距離未満となったと判定されると、自動的に、図２０に示すバーチャル画像がモニタ８に表示される。このとき、同時に音声で案内することとしてもよい。更に、電子制御装置１０において、車両１と他の車両ＯＶが「接触するおそれあり」と判定されたときに、例えば警報と共に、モニタ８に警告が表示されるように構成してもよい。また、自車両から所定距離の領域内に他の障害物（例えば他の車両ＯＶ）が存在すると判定された場合には、その障害物を含む視界のバーチャル画像を自動的に表示するように構成することもできる。この場合にも、音声で案内し、あるいは警告と共に報知することができる。
【００７２】
上記のように計測された車両１と障害物ＯＢ（他の車両ＯＶ）間の移動至近距離に基づき、図１の報知手段ＤＰによって以下のように報知される。図１の表示装置ＶＳを構成する図２のモニタ８には、カメラ２で撮像された画像が表示されるが、本実施形態においては、図２１に示すように、障害物（図２１では他の車両ＯＶ）までの移動至近距離が画面内のバーグラフ８ｂによって表示されている。このバーグラフ８ｂは、図２１と図２２との比較から明らかなように、移動至近距離の大きさ（接近程度）に応じて変化し、移動至近距離が小さくなる程バーグラフ８ｂの濃い部分が減少するように構成されている。尚、これに加え、バーグラフ８ｂに距離目盛りを付してもよいし、バーグラフ８ｂに代えて距離数値を直接表示することとしてもよい。
【００７３】
上記の表示に加え、図２１及び図２２に示すように、「移動至近距離」の測定対象部分（そのときの状態を維持して車両１を移動させたときに接触する部分）を特定するマーカ８ｃを、モニタ８の画面上に表示することとしてもよい。また、メッセージ８ｄをモニタ８の画面上に表示することとしてもよい。更に、図１の音声装置ＡＶにより、例えば、移動至近距離の値に応じて、音声による報知あるいはビープ音による報知を行うこととしてもよい。これらの報知手段は一つだけでも、あるいは複数を組み合わせて用いてもよい。
【００７４】
更に、図２３に示すように、バーチャル画像を用いて上記の報知を行うこともできる。図２３には自車たる車両１の一部（図２３では後部）と障害物ＯＢを表す図形が表示されると共に、バーグラフ８ｂ及びマーカ８ｃも表示されているので、車両１と障害物ＯＢとの関係を確認することができる。もちろん、図２１及び図２２と同様、メッセージ８ｄ並びに音声及びビープ音による報知と組み合わせてもよい。
【００７５】
次に、上記の構成になる駐車案内装置によって縦列駐車を行う場合の動作の一例について図２及び図２４を参照して説明する。図２４は、車両１の進行方向に対して左側に縦列駐車を行う場合の車両１の動作を想定したものである。この場合の運転者の操作、及びこれに伴う駐車可能領域の判定は、例えば以下のように行われる。運転者は、先ず、車両１を（可能性ありと思われる）駐車スペースに対し右前方に停車させてからシフトレバー５をリバース位置とする。本実施形態では、電子制御装置１０において、車輪速度センサ７の出力信号に基づき車速が求められ、この車速が所定のしきい値以下と判定され、且つシフトレバースイッチ６の信号に基づきシフトレバー５がリバース位置となったと判定されると、運転者による駐車の意思ありと判定される。
【００７６】
この状態となったときには、車両１の後方の視界はカメラ２によって撮像されているので、その画像に基づき、前述のように処理される。即ち、図６に破線の格子で示す３次元環境マップの中に、図５に示す車両１が配置され、３次元環境マップでの車両１の座標及び角度が特定される。これにより、車両１の周辺に所定の大きさ以上の領域が存在するか否かを判定することができる。例えば、図６に示す３次元環境マップを真上から見た場合に、車両の全長、全幅よりも、夫々縦、横の長さが長い長方形区間を、上記の領域として判定することができる。また、前述のように、障害物の有無等の判定結果に基づき、上記の領域に車両１の駐車が可能か否かを判定することができる。これにより駐車可能と判定された領域が複数存在する場合には、更に、例えば、車両１の駐車を開始する位置から駐車完了時の位置までの移動距離、所要時間、操舵切り返し回数及び操舵量を指標として、最適な領域が設定される。尚、前述のように、この結果をモニタ８に表示することも可能であるが、ここでは省略し、上記の判定結果に基づき駐車可能なスペースの有無についてのみ報知することとしている。
【００７７】
而して、運転者は車両１を停止させてから、モニタ８の案内に従いステアリングホイール３を一方側に回転操作し、回転操作後の舵角を保ちつつ車両１を旋回（且つ後退）させる。この旋回操作後、車両１を停止させ、その位置でステアリングホイール３を反対側に切り返してから舵角を保ちつつ旋回（且つ後退）させ、所定の位置への駐車を完了する。尚、図２４におけるＡ乃至Ｉの記号は、縦列駐車時の運転者による一連の操作を上記の操作毎に分割して示したものであり、本実施形態ではこれら各操作に応じて処理を変更することとしている。この処理については、図２６乃至図２８を参照して詳述する。
【００７８】
ここで、駐車を行う場合の推奨コースについて図２５を参照して説明する。この推奨コースとは、上記のように車両１を停車する際（車速がしきい値以下となったとき）、駐車可能な領域を探査して駐車区間を設定し、この駐車区間を目標として駐車する際にトレースするコースであり、図２５は縦列駐車時の推奨コースを示す。具体的には、縦列駐車時において車両１の後輪軸の中点が通る軌道Ｓ、並びに始点Ｐ０及び終点Ｐ１を設定することである。軌道Ｓの始点Ｐ０は、例えば運転者が縦列駐車のためにシフトレバー５をリバース位置にシフトした時点での後輪軸の中点であり、終点Ｐ１は例えば駐車完了時における車両１の後輪軸の中点として規定される。尚、運転者がシフトレバー５をリバース位置にシフトしたときの車両１の向きは必ずしも駐車完了時の車両１の向きと平行でなくともよい。
【００７９】
図２５の通過点Ｐ２は、車両１の旋回開始時における後輪軸の中点で、この通過点Ｐ２は例えば以下のように規定される。先ず、駐車区間を例えば長方形として規定し、その幅を例えば車両１の幅より大の所定距離Ｗとし、前後方向の距離をＬとする。そして、駐車区間の左端位置を車両１の左端、後端位置を車両１の後輪軸から距離Ｄだけ後退させた位置とする。本実施形態では、縦列駐車の開始後、車両１を旋回開始の位置まで後退させるため、始点Ｐ０と通過点Ｐ２は何れも、駐車開始時の車両１の方向に平行な直線ｍ１を通過する。このとき、例えば駐車区間の右前端の点をＰ３としたときに、線分（Ｐ２−Ｐ３）と、点Ｐ３から直線ｍ１への垂線との成す角度をαとする。この角度αが一定、即ち、点Ｐ３から直線ｍ１への垂線の長さｄ１と、この垂線が直線ｍ１に交差する点と点Ｐ２間の距離ｄ２との比（ｄ１／ｄ２）が一定であるという条件を付加すれば、点Ｐ２を一義的に設定することができる。
【００８０】
本実施形態においては、車両１の旋回開始後、２回の連続した旋回動作（第１の旋回及び第２の旋回という）で駐車を完了するように設定されている。この場合において、第１の旋回時における操舵角を最大舵角として規定すると、第１の旋回時における軌道は第２の旋回時における軌道に外接し点Ｐ２上で直線ｍ１に接する円弧として規定することができる。而して、この条件下で、第１の旋回時の半径Ｒ１、第２の旋回時の半径Ｒ２及びステアリングホイール３切り返し時における後輪軸の中点Ｐ４を設定することができる。そして、上記２回の連続した旋回動作後、運転者がシフトレバー５をリバース位置にシフトした時の車両１の位置を駐車完了位置とする。
【００８１】
次に、本実施形態における縦列駐車時の電子制御装置１０による処理内容の一例について図２６乃至図２８を参照して説明する。これらの図２６乃至図２８の左端に列挙した記号Ａ乃至Ｉは、夫々図２４に示した駐車動作時の運転者による一連の操作状態（以下、単に状態という）Ａ乃至Ｉに対応している。状態Ａにおける運転者の操作は、駐車区間より右前に停車するために車両１を減速させる操作である。このとき、車輪速度センサ７の出力信号に基づいて求められた車速が所定のしきい値以下であった場合に、カメラ２による画像の取得と３次元環境の再構成（復元）が行なわれ、縦列駐車案内の準備が行なわれる。本実施形態においては、この状態Ａでは、運転者による駐車の意思表示が未だなされていないと判定するように設定されている。従って、音声や映像による支援は行なわれないが、この状態となった時点で、例えばモニタ８に表示する等、音声や映像による支援を行なうことしても良い。
【００８２】
続いて、運転者は車両１を停車させ、縦列駐車を行うためにシフトレバー５をリバース位置にシフトすると状態Ｂとなり、電子制御装置１０において運転者に駐車の意思があると判定される。この結果、音声やモニタ８上の映像による駐車の案内が開始し、モニタ８上には、カメラ２によって得られた画像が表示される。状態Ｂにおいては、上記のように予め再構成された３次元環境に基づき、駐車可能なスペースの有無が判定され、図２６に示すように、駐車スペースの有無が音声で報知されると共に、モニタ８の画面下部にメッセージが表示される。また、駐車スペースが存在すると判定された場合には、モニタ８上にその駐車スペースが描画される。これにより、運転者は駐車可能なスペースを確認することができる。
【００８３】
駐車スペース有りと判定された場合には、状態Ｃに移行し、縦列駐車における推奨コースが演算された後、音声及び映像上のメッセージによって車両の後退直進が案内される。この案内に従い、運転者はステアリングホイール３を直進時の舵角で保持した状態で車両を後退させればよい。電子制御装置１０においては、車輪速度センサ７の検出信号に基づき後退時の車両１と第１旋回開始位置との距離が演算され、モニタ８上にバーグラフで表示され、及び／又は、スピーカ９（又はブザー）から警報音が出力され、第１旋回開始位置までの距離に応じて音色（又は大きさ）及び／又はバーグラフの表示が変化するように制御される。そして、車両１が後述する第１旋回開始位置に接近した場合には、モニタ８上のメッセージ及び／又は音声で停車案内が行なわれる。
【００８４】
この結果、車速が所定のしきい値以下になると、車両１が停止したと判定され、状態Ｄに移行する。この状態Ｄにおいては、運転者は音声及び映像の案内に従い、現在の操舵角（現舵角）を目標舵角と一致させるよう、ステアリングホイール（ハンドル）３を操作することになる。このとき、モニタ８上には、現舵角に基づき左右後輪の軌道を表した予想進路線（図２７のＤに破線で示す）と、旋回半径がＲ１における左右後輪の軌道を表した目標進路線（図２７のＤに一点鎖線で示す）が表示され、操舵角調整の指標とされる。これにより現舵角と目標舵角との差がしきい値以下となると、予想進路線が目標進路線と重なったことがモニタ８上のメッセージ及び音声で案内される。そして、運転者に対し、ステアリングホイール３を保持した状態で（即ち、操舵角がそのままの状態で）、車両１を後退させるように、音声案内が行われる。
【００８５】
車両１が後退し始めると状態Ｅに移行する。運転者はステアリングホイール３を保持した状態で（操舵角がそのままの状態で）、ステアリングホイール３の切り返し位置（以下、切り返し位置という）まで車両１を後退させる。この間、前述のモニタ８上のバーグラフと警報音によって案内される。即ち、状態Ｃにおける案内と同様、切り返し位置までの距離が演算され、モニタ８上にバーグラフで表示され、及び／又は、スピーカ９（又はブザー）から警報音が出力され、切り返し位置までの距離に応じて音色（又は大きさ）及び／又はバーグラフの表示が変化するように制御される。車両１の後退により、切り返し位置までの距離が所定のしきい値以下となると、音声とモニタ８上のメッセージによって停車するよう案内される。更に、車速が所定のしきい値以下になると、車両１が切り返し位置で停車したと判定され、運転者に対し、ステアリングホイール３を切り返すように音声案内が行われる。
【００８６】
而して、状態Ｆとなり、運転者は音声及び映像の案内に従い、現舵角を目標舵角と一致させるようにステアリングホイール３を操作することになる。このとき、モニタ８上には、現舵角に基づき左右後輪の軌道を表した予想進路線（図２７のＦに破線で示す）と、旋回半径がＲ２における左右後輪の軌道を表した目標進路線（図２７のＦに一点鎖線で示す）が表示され、操舵角調整の指標とされる。これにより現舵角と目標舵角との差がしきい値以下となると、予想進路線が目標進路線と重なったことがモニタ８上のメッセージ及び音声で案内される。そして、運転者に対し、ステアリングホイール３を保持した状態で（即ち、操舵角がそのままの状態で）、車両１を後退させるように、音声案内が行われる。
【００８７】
この場合において、自車の左前方に車両が存在するときには、状態Ｇとされ、自車の左前端と左前方車両との接触を回避すべく、運転者がステアリングホイール３を操作して操舵角を調整し、あるいは車両１を減速させるように、モニタ８上の画像及びメッセージと音声による案内が行われる。即ち、図１９および図２０を参照して説明したように、左前方車両に接触するか否かを運転者が判定することができるように、モニタ８上に自車左前端付近のバーチャル画像が映し出される。この場合において、自車左前端と左前方車両との距離は、車輪速度センサ７の検出信号に基づいて演算された自車の位置、及びカメラ２の画像から導出された左前方車両との距離から導出される。
【００８８】
そして、自車と後方車両との距離が所定のしきい値以下になると、状態Ｈに移行し、運転者は音声及びモニタ画像による案内に従い車両１を後退させる。この場合も前述のモニタ８上のバーグラフ（図２１参照）と警報音によって案内され、車輪速度センサ７の検出信号及びカメラ２の画像から導出された自車と後方車との距離に応じて音色（又は大きさ）及び／又はバーグラフの表示が変化するように制御される。自車と後方車両との距離が所定のしきい値以下になると、状態Ｉに移行し、音声とモニタ８上のメッセージ（図２２参照）によって停車するよう案内される。車両の停止は車輪速度センサ７の検出信号に基づいて求められた車速が所定のしきい値以下か否かによって判定される。車両停止後、音声及びモニタ画像によりステアリングホイール３を原位置に戻すように案内され、これに従い、運転者はステアリングホイール３を原位置に戻し、駐車を完了する。
【００８９】
而して、本実施形態によれば、運転者が駐車の可否判定を必要としたと判定された位置から駐車区間（駐車スペース）が探査される。そして、周囲に駐車区間が有るか否かが判定され、その判定結果の駐車区間の有無に基づき、運転者に対し駐車可否が音声で報知されるとともに、駐車区間有と判定された場合には、カメラ２による画像が表示されたモニタ８の画面上に駐車区間が表示される。これにより、運転者による駐車区間の探査に対し、的確に支援することができる。
【００９０】
本実施形態では、構築された３次元環境により得られた駐車開始位置と駐車完了位置の位置関係に基づき、駐車における推奨コースが演算され、演算結果の推奨コースに応じて運転者への案内が行なわれる。従って、適切に設定された推奨コースに基づいて案内を行うことができる。特に、駐車動作中における車両の旋回操作時に、縦列駐車の推奨コースに基づいてモニタ８の画像に推奨コースが表示され、現舵角に基づくコースが表示されると共に、推奨舵角と現舵角とのずれが演算され、ずれの情報が音声及びモニタ画像上のメッセージで案内される。この結果、運転者は現在の操作状態が縦列駐車に適切か否かを確認することができる。
【００９１】
本実施形態では、カメラ２の画像に基づいて予め構築された車両周辺の３次元環境が記憶されており、車両１のコーナー付近に他の車両等の障害物が接近したときには、車両１のコーナー付近のバーチャル画像がモニタ８上に表示されるので、駐車時の他車両等への衝突の危険性を運転者に予め感知させることができる。また、本実施形態では、カメラ２の画像に基づいて予め構築された車両周辺の３次元環境や車輪速度センサ７の検出信号から求められた車両１の位置情報に基づき、目標とする位置への距離や障害物への距離が演算され、モニタ８上に演算結果の距離に対応するバーグラフが表示されるので、運転者に対し車両１が移動すべき距離を適宜案内することができる。
【００９２】
尚、上記の実施形態においては、運転者から見て左側の駐車区間に縦列駐車する場合を説明したが、右側の駐車区間に縦列駐車する場合についても上記と同様に行われる。また、上記の実施形態においては、車両１に一台のカメラ２が搭載された装置に係るものであるが、これに限定されるものではなく、複数台のカメラを配設することとしてもよい。また、３次元環境の構築手段として、車両１を移動させ、移動前後のカメラ画像を用いる形式の上記実施形態に代えて、車両１に配設された複数のカメラ画像を用いて３次元環境を構築するように構成することができる。このように構成すれば、車両１が停止している場合においても、３次元環境を構築することが可能である。
【００９３】
更に、上記の実施形態に対し以下のように種々の変更を加えた場合においても、上記の実施形態と同様の効果を奏することができる。先ず、上記の実施形態では、シフトレバー５がリバース位置にシフトされたときに、運転者に駐車の意思があると判定するように構成されているが、例えば車室内に駐車案内を開始するためのスイッチ（図示せず）を設けておき、そのスイッチがオンとされたときに、運転者に駐車の意思があると判定するように構成してもよい。次に、上記の実施形態では、車両の位置や速度を車輪速度センサ７の検出信号に基づいて演算するように構成されているが、車輪速度センサ７に代えて、例えばヨーレイトセンサ（図示せず）や操舵角センサ４の少なくとも一方を用いて車両の位置や速度を演算するように構成してもよい。また、ヨーレイトセンサや操舵角センサを車輪速度センサ７と組み合わせることとしてもよい。
【００９４】
上記の実施形態では、縦列駐車時におけるモニタ８上の案内は、そのときのカメラ画像に推奨コース等の表示が加えられたもの、あるいは車両コーナー付近のバーチャル画像によって行われるが、例えばモニタ８上に車両周辺のバーチャル画像を表示し、これに駐車時の推奨コース等の表示を加えた形式の案内としてもよい。また、上記の実施形態では、モニタ８は１台のみであり、必要に応じてカメラ画像とバーチャル画像を切替えるように構成されているが、モニタ８を複数台用意し、カメラ画像とバーチャル画像を別々に表示しても良い。これに伴い、運転者に対し、モニタを介してより多くの情報を提供することができる。
【００９５】
上記の実施形態では、駐車完了前の後退時に、構築された３次元環境から得られた車両１への距離に応じたバーグラフがモニタ８上に表示されているが、予め算出された駐車完了位置への距離に基づく表示としてもよい。また、上記の実施形態では、駐車完了の位置は、構築された３次元環境に基づき自動的に決定されるように構成されているが、３次元環境からは大まかな駐車区間のみを算出することとし、その領域内であれば、運転者がステアリングホイール３やジョイスティック（図示せず）等の別の操作デバイスにより自由に駐車目標位置を決定できるようにしてもよい。
【００９６】
上記の実施形態における駐車時の推奨コースの設定は一例であり、要は駐車開始位置から駐車終了位置までの車両の移動コースが一種類決定していればよい。また、上記の実施形態において駐車時の旋回操作の回数は合計２回であったが、駐車開始位置と終了位置との関係によっては１回以下、もしくは３回以上であってもよい。
【００９７】
上記の実施形態における駐車案内時のモニタ８上の表示や音声の出力方法は一例を示したものであり、運転者の習熟次第で案内の一部を削除してもよい。あるいは、案内方法の切替えを運転者が個別に行い得る機能を設けることとしてもよい。また、縦列駐車の支援に限らず、車庫入れ駐車の支援に供することもできる。更に、運転者が駐車の意思を示したと判定した位置から、望ましい駐車スペースに自動的に車両を移動させる場合にも、本発明を適用することができる。
【００９８】
尚、本発明における移動体としては、上記車両のほかロボット等があり、ロボットを所定のスペースに自動的に移動させる場合にも、本発明を適用することができる。
【００９９】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、撮像手段が撮像した画像に基づき、３次元環境構築手段によって移動体周辺の３次元環境を構築し、この３次元環境に基づき移動体周辺の環境が所定の条件を充足するか否かを判定するように構成されているので、移動体周辺の環境が所定の条件を充足するか否かを適切に判定することができる。例えば、車両周辺に車両より大きな領域があるか否かを探査し、その領域に駐車可能か否かを判定することができる。これにより、自動的に駐車可能な領域（スペース）を発見することができるので、運転者に要する負担を軽減することができる。
【０１００】
前記３次元環境構築手段は、請求項２に記載のように構成すれば、一つの撮像装置のみを用いて適切に３次元環境を構築することができるので、安価な装置を提供することができる。また、このとき必要とされる移動状態検出手段を、請求項３に記載のように速度検出器で構成すれば、一層安価な装置を提供することができる。尚、請求項４に記載のように、撮像手段を複数の撮像装置で構成した場合には、広範な視界に対し容易に３次元環境を構築することができ、必要に応じて適宜表示することができる。
【０１０１】
更に、請求項５に記載のように、報知手段を備えたものとすれば、移動体周辺の環境が所定の条件を充足したときに、移動体の運転者は適切な対応をとることができる。前記報知手段は、請求項６に記載のように構成すれば、音声及び／又はモニタ上の表示により確実に報知することができる。例えば、運転者に対し自動的に駐車領域の可否を報知することができる。
【０１０２】
特に、請求項７に記載のように構成すれば、駐車可能な領域を容易、且つ確実に発見することができる。そして、自動的に運転者に対して駐車領域の可否を報知することができ、運転者は予め駐車可能な領域の存在や位置、大きさ等を知ることができる。
【０１０３】
更に、請求項８に記載のように構成すれば、駐車可能な領域が複数存在する場合でも、領域設定手段によって所定の指標に基づき、適切な駐車領域を容易に選択することができる。
【０１０４】
例えば、請求項９に記載のように構成すれば、駐車を開始する位置から駐車完了まで最も移動距離が少ない駐車領域、駐車開始から最も短時間で駐車を完了できる駐車領域、駐車開始から最も少ない操舵切り替えし回数で駐車を完了できる駐車領域、駐車開始から最も少ない操舵量で駐車を完了できる駐車領域、そして最も余裕のある駐車可能領域の大きさを有する駐車領域の中から最適な駐車領域を適宜選択することができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図３】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図４】本発明の一実施形態における車両モデルの平面図である。
【図５】本発明の一実施形態において、所定の３次元座標における車両の移動開始位置の座標及び方向を基準に、移動後の位置の座標と方向を検出し追跡する方法の一例を示す平面図である。
【図６】本発明の一実施形態において、３次元環境マップでの車両の位置（座標）及び姿勢（方向）を特定する状態の一例を示す平面図である。
【図７】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図８】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図９】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１０】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図１１】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの３６０度の表示視界を示す平面図である。
【図１２】本発明の一実施形態において、車両が後退したときの表示視界の変化の一例を示す平面図である。
【図１３】図１２に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１４】図１２に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１５】本発明の一実施形態において、タッチパネルスイッチが表示されたモニタの通常の表示画面（Ａ）から拡大画像が表示された切替画面（Ｂ）への変化の一例を示す平面図である。
【図１６】本発明の一実施形態において、車両が前進したときの表示視界の変化の一例を示す平面図である。
【図１７】図１６に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１８】図１６に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１９】本発明の一実施形態において、車両の進行方向に対して左側に縦列駐車を行う場合の車両の動作の一例を示す平面図である。
【図２０】図１９に示すように車両を後退後に矢印方向に旋回するとき、前方左コーナー部分のバーチャル画像をモニタに表示させた一例を示す平面図である。
【図２１】本発明の一実施形態において、車両の後方のカメラ画像に障害物までの移動至近距離を表示した一例を示す正面図である。
【図２２】本発明の一実施形態において、車両の後方のカメラ画像に障害物までの移動至近距離を表示した他の例を示す正面図である。
【図２３】本発明の一実施形態において、車両の後方のカメラ画像に障害物までの移動至近距離及び両者の位置関係を表示したバーチャル画像の一例を示す正面図である。
【図２４】本発明の一実施形態において車両の進行方向に対して左側に縦列駐車を行う場合の車両の動作の一例を示す平面図である。
【図２５】本発明の一実施形態において車両の進行方向に対して左側に縦列駐車を行う場合の推奨コースの一例を示す平面図である。
【図２６】本発明の一実施形態において縦列駐車時の処理内容の一例を示す処理工程図である。
【図２７】本発明の一実施形態において縦列駐車時の処理内容の一例を示す処理工程図である。
【図２８】本発明の一実施形態において縦列駐車時の処理内容の一例を示す処理工程図である。
【図２９】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図３０】本発明の一実施形態における三次元再構成に関し、特徴点の追跡の一例を示す説明図である。
【図３１】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【符号の説明】
ＣＤ　撮像手段，　ＲＣ　３次元環境構築手段，　ＤＴ　判定手段，
ＤＳ　移動状態検出手段，　ＤＰ　報知手段，　ＶＳ　表示装置，
ＡＶ　音声装置，　１　車両，　２　カメラ，　３　ステアリングホイール，
４　操舵角センサ，　５　シフトレバー，　６　シフトレバースイッチ，
７　車輪速度センサ，　８　モニタ，　９　スピーカ，　１０　電子制御装置

Claims

移動体に搭載し該移動体の周辺を撮像し画像情報を出力する撮像手段と、該撮像手段が撮像した画像に基づき前記移動体周辺の３次元環境を構築する３次元環境構築手段と、該３次元環境構築手段が構築した３次元環境に基づき前記移動体周辺の環境が所定の条件を充足するか否かを判定する判定手段とを備えたことを特徴とする移動体周辺監視装置。
前記移動体の少なくとも２位置間の移動状態を検出する移動状態検出手段を備えると共に、前記撮像手段が、前記移動体の所定位置に固定した少なくとも一つの撮像装置を具備して成り、該撮像装置によって少なくとも前記２位置で撮像した画像に基づき、前記３次元環境構築手段が前記移動体周辺の３次元環境を構築するように構成したことを特徴とする請求項１記載の移動体周辺監視装置。
前記移動状態検出手段が、前記移動体の速度を検出する速度検出器を具備し、該速度検出器の検出結果に基づき前記移動体の少なくとも２位置間の移動距離を測定するように構成したことを特徴とする請求項２記載の移動体周辺監視装置。
前記撮像手段が、前記移動体の所定距離を隔てた少なくとも２位置に固定した複数の撮像装置を具備して成り、該複数の撮像装置によって撮像した画像に基づき、前記３次元環境構築手段が前記移動体周辺の３次元環境を構築するように構成したことを特徴とする請求項１記載の移動体周辺監視装置。
前記判定手段が前記所定の条件を充足したと判定したときには、判定結果を報知する報知手段を備えたことを特徴とする請求項１、２、３、又は４記載の移動体周辺監視装置。
前記報知手段が、前記移動体に搭載するモニタ上に前記判定結果を表示する表示装置と、音声で前記判定結果を伝える音声装置の、少なくとも一方を備えたことを特徴とする請求項５記載の移動体周辺監視装置。
前記移動体が車両であって、前記判定手段が、前記３次元環境構築手段が構築した３次元環境に基づき、前記車両の周辺に所定の大きさ以上の領域が存在すると判定し、且つ該領域に前記車両の駐車が可能と判定したときに前記所定の条件を充足したと判定する駐車可否判定手段であることを特徴とする請求項１乃至６の何れかに記載の移動体周辺監視装置。
前記駐車可否判定手段にて前記車両の駐車が可能と判定した前記領域が複数存在する場合には、前記車両の駐車容易性を判定する所定の指標に基づき、前記複数の領域から一つの領域を設定する領域設定手段を備えたことを特徴とする請求項７記載の移動体周辺監視装置。
前記所定の指標は、前記車両の駐車を開始する位置から駐車完了時の位置までの移動距離、所要時間、操舵切り返し回数及び操舵量、並びに駐車可能領域の大きさのうちの少なくとも一つの指標であることを特徴とする請求項８記載の移動体周辺監視装置。