JP3786618B2

JP3786618B2 - Image processing apparatus and method

Info

Publication number: JP3786618B2
Application number: JP2002084597A
Authority: JP
Inventors: 賢司古川; 隆三岡田; 恭弘谷口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-03-25
Filing date: 2002-03-25
Publication date: 2006-06-14
Anticipated expiration: 2022-03-25
Also published as: JP2003281552A

Description

【０００１】
【発明の属する技術分野】
本発明は、車載カメラから入力される時系列画像から、道路面上の白線、及び、ガードレール等の側壁と道路面との境界を安定かつ高速に検出し、また、これらの検出結果から自車両の走行レーンを安定して決定する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
従来から、自動車に搭載したカメラから得られる時系列画像から自車両の走行レーンを検出する方法としてさまざまな画像処理技術が提案されている。
【０００３】
“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）や、特開平１１−１５３４０６号において、一台のカメラを用いた走行レーンの検出方法が提案されている。
【０００４】
この方法では、単眼カメラで撮影した道路画像から、路面上に描かれた走行レーンの境界線である白線を抽出し、自車両が走っている走行レーンを検出している。
【０００５】
しかし、このような方法においては、単眼のカメラで撮影された輝度情報のみに基づいて白線検出が行われるため、路肩や、ガードレールといった白線と似た輝度情報を持つ対象物を道路面上の白線として誤認識してしまい、誤った走行レーンを検出するという問題がある。また、自車両と同じ走行レーンを走る前方車両によって、白線が大きく隠れると、走行レーンの検出が不安定になるという問題もある。
【０００６】
単眼カメラを用いた走行レーンの検出方法の他に、特開平１１−２１３１３８号に代表されるような、複数のカメラによるステレオ視を用いた方法がある。
【０００７】
「ステレオ視」とは、視点の異なる複数のカメラによって得られる複数の画像から、対応点探索によって、同一対象物を表している特徴点の対応付けを行い、三角測量の原理を用いてカメラから対象物までの距離を計測する技術である。
【０００８】
上記の方法は、このステレオ視によって得られる距離情報を統合して、道路の三次元形状を復元し、壁面と道路面の境界を検出することが可能である。
【０００９】
しかし、このような方法においては、ステレオ視によって距離情報を得る処理や、距離情報から三次元形状を復元する処理が複雑になり、計算コストが大きくなるという問題がある。また、この方法には、ステレオ視における対応点探索の問題があり、対象物の形状によって、一方のカメラに撮影されている対象物がもう一方のカメラに撮影されないというオクルージョン領域（隠れ領域）により、誤対応を起こすという問題がある。
【００１０】
さらに、ステレオ視を用いた走行レーン検出方法として、ステレオ視と白線検出を組み合わせた方法がある。
【００１１】
特開平９−３２５０２６号では、一方のカメラで撮影された画像から白線領域を検出し、白線領域内の点と対応する点を、もう一方のカメラから求め、対応点の視差から、白線の路面からの高さを調べるという方法を用いて走行レーンを検出している。
【００１２】
また、特開２００１−９２９７０号は、二つのカメラを用いたステレオ視によって距離情報を計算し、この距離情報と一方のカメラからの輝度情報から白線を検出することによって走行レーンを検出する方法をとっている。
【００１３】
これらの方法により、単眼カメラでは困難だった道路面のみの白線を求める事が可能であり、また三次元モデルの復元を行わないため、計算コストの増加を防ぐことができる。
【００１４】
【発明が解決しようとする課題】
しかし、前記ステレオ視と白線検出を組み合わせた方法においては、白線を一方の画像のみで検出するため、検出した白線領域が前方車両などによってオクルージョン領域になっていると、対応点探索時に誤対応を起こす恐れがある。
【００１５】
また、対応点探索を特徴点近傍の局所領域のみに対して行うため、正しい対応点付近に輝度が類似している領域があると、容易に誤対応を起こす、という問題もある。
【００１６】
そこで、本発明は、上記の点を考慮してなされたもので、複数のカメラで撮影された複数の画像上でそれぞれ境界線候補を検出し、画像間で求まった境界線候補同士の対応を取ることによって、視差を計算し、境界線候補の高さを推定する事によって、安定かつ高速に正しい走行レーンの境界線を検出することを目的とする画像処理装置とその方法を提供する。
【００１７】
【課題を解決するための手段】
請求項１の発明は、前記移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理装置において、前記複数の画像を取り込む画像取得手段と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出手段と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定手段と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける前記移動体が移動する平面からの高さを推定する高さ推定手段と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定手段と、を有することを特徴とする画像処理装置である。
【００１８】
請求項２の発明は、前記対応モデル決定手段は、前記基準画像上での前記基準モデルと前記比較画像から検出された境界線モデルとの位置関係から、前記対応モデルの候補である対応モデル候補を選択する対応モデル候補選択手段と、前記基準モデルと前記対応モデル候補の位置関係と画素情報に基づいて、前記基準モデルと前記対応モデル候補との類似度を計算するモデル間類似度計算手段と、前記類似度に基づいて対応モデル候補の中から前記対応モデルを選択する対応モデル選択手段とを有することを特徴とする請求項１記載の画像処理装置である。
【００１９】
請求項３の発明は、前記モデル間類似度計算手段は、前記境界線モデルは、前記境界線の候補の画像上での特徴を表す複数のモデル構成領域によって構成され、前記基準画像上のモデル構成領域が、前記比較画像上にも存在するかを判定し、存在する場合には、その比較画像上のモデル構成領域を対応モデル構成領域として選択する対応モデル構成領域選択手段と、前記対応モデル構成領域において、前記基準画像上のモデル構成領域を基準モデル構成領域とし、この対応モデル構成領域周辺の画素値を用いた所定の評価値を使って、前記対応モデル構成領域周辺にもっとも評価値の高い点を探索し、その評価値を前記対応モデル構成領域の評価値と決定する対応モデル構成領域探索手段と、前記各対応モデル構成領域の評価値を集計して前記対応モデルの類似度を計算する類似度計算手段と、を有することを特徴とする請求項２記載の画像処理装置である。
【００２０】
請求項４の発明は、前記対応モデル決定手段は前記基準モデルと前記対応モデルを所定の評価値によって比較し、前記基準モデルより安定して検出されている対応モデルを選択する安定境界線モデル選択手段と、前記選択した対応モデルによって前記基準モデルを修正する境界線モデル修正手段と、を有することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置である。
【００２１】
請求項５の発明は、前記高さ推定手段は前記撮影装置に撮影されている境界線の候補は全て平面内にあると仮定して、平面に対する前記撮影装置の取り付け位置及び角度から、前記比較画像の座標を、前記基準画像の座標に変換する座標変換を用いて、前記対応モデルを前記基準画像の座標に変換する座標変換手段と、前記基準画像上での前記変換した対応モデルと前記基準モデルとの距離を視差として計算し、この視差から高さを推定する視差計算手段と、を有することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置である。
【００２２】
請求項６の発明は、前記境界線決定手段は、前記平面からの高さによって、前記基準モデルが前記平面内にあるかどうかを判定し、前記平面内にあれば前記基準モデルを平面内境界線モデルとして決定する平面内境界線モデル決定手段と、前記基準モデルが、前記平面にないと判断された場合、その基準モデルを、前記平面からの高さに応じて前記平面に投影して、投影境界線モデルを決定する投影境界線モデル決定手段と、前記平面内の基準モデルと、前記投影境界線モデルから、前記移動体が走行可能な領域を規定する境界線を選択する境界線選択手段と、を有することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置である。
【００２３】
請求項７の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法において、前記複数の画像を取り込む画像取得ステップと、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出ステップと、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定ステップと、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定ステップと、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定ステップとを有することを特徴とする画像処理方法である。
【００２４】
請求項８の発明は、移動体が走行可能な領域を規定する境界線を、前記移動体に取り付けられた複数の撮影装置によって撮影し、この撮影した複数の画像から前記境界線を求める画像処理方法をコンピュータによって実現するプログラムにおいて、前記複数の画像を取り込む画像取得機能と、輝度情報に基づいて前記境界線の候補を境界線モデルとして前記複数の画像毎に検出する境界線モデル検出機能と、前記複数の画像の中で一の画像を基準画像とし、この基準画像から検出された境界線モデルを基準モデルとし、前記基準画像とは異なる他の画像を比較画像とし、前記基準モデルと前記比較画像から検出された境界線モデルとを比較し、前記基準モデルに対応する前記比較画像から検出された境界線モデルを対応モデルに決定する対応モデル決定機能と、前記基準画像上における前記基準モデルと前記対応モデルとの位置の違いから、前記基準モデルにおける移動体が走行する平面の高さを推定する高さ推定機能と、前記平面からの高さを用いて、前記基準モデルを前記平面に投影して前記境界線を決定する境界線決定機能と、を実現することを特徴とする画像処理方法のプログラムである。
【００２５】
本発明は、視点の異なる複数の撮影装置、例えば、カメラによって撮影された、画像（例えば時系列画像）を用いそれぞれの画像上で境界線の候補である境界線候補の検出を行い、画像間で対応付けを行うことによって、検出した境界線候補の路面からの高さを推定し、その高さを用いて、境界線候補を平面上に投影することによって、正しい道路面上の境界線の検出を行うものである。
【００２６】
例えば、車両に搭載したステレオカメラから得られる二つの時系列画像を入力画像として、一方の時系列画像を基準画像、もう一方の時系列画像を比較画像として、基準画像、比較画像それぞれについて境界線のモデルを検出する。
【００２７】
また、本発明は、基準画像と比較画像の間で境界線モデルの対応付けを行うため、一般的なステレオ視である画像局所情報を用いた対応付けより、オクルージョンによる誤対応や、隣接する類似度の高い輝度値による、誤対応が少なく、かつ対応づけの計算コストも低い。
【００２８】
【発明の実施の形態】
以下、本発明の一実施形態である画像処理装置について図１から図１２を用いて説明する。
【００２９】
（１）本実施形態における前提の説明
本実施形態の画像処理装置２０においては、以下のように定義する。
【００３０】
・「平面」とは、道路面のことである。
【００３１】
・「平面内の境界線」とは、例えば、平面に描かれた境界線や、投影された境界線をいう。これは「平面上の境界線」とすると、平面から上方に位置する境界線も含まれるため、そのあいまいさをなくすために、本明細書では「平面内の境界線」とする。
【００３２】
・「立体物」とは、路肩、ガードレール、壁等の、走行レーンに沿って延びる平面からある高さを持つものである。
【００３３】
・「境界線」とは、白線など、道路面に描かれた道路標識、または、立体物と平面の境界であり、車両が走行可能な領域を規定するものである。
【００３４】
・「境界線候補」とは、白線、路肩、ガードレール、側壁の梁等の、消失点に向かって延びる直線、または曲線のことであり、車両が走行可能な領域を規定する境界線の候補のことである。
【００３５】
・「境界線モデル」とは、画像上で、境界線候補を表す特徴点の集合のことであり、この特徴点が点状のモデル構成領域であり、本実施形態では「モデル点」という。
【００３６】
・「消失点」とは、車両の進行方向を撮影した時系列画像においては、無限遠点を表す。
【００３７】
なお、環境を屋内に限定した場合には、平面は床、通路などの面である。立体物は壁、机、書棚を表す。境界線とは、床、通路と壁との境界を表す。境界線候補は、机の縁や、壁に取り付けられた配管などを表す。
【００３８】
・「アフィン変換」とは下記のような内容である。
【００３９】
すなわち、実空間上の点Ｐが、視点の異なる二つのカメラによって撮影された時、一方のカメラでは画像上の点ａ（ｘａ，ｙａ）に、もう一方のカメラでは画像上の点ｂ（ｘｂ，ｙｂ）にそれぞれ撮影されたとする。点Ｐが道路平面にあると仮定すると、ｆ（ｘ）＝Ｆｘ＋ｔで表されるアフィン変換によって、ｂはａと同じ座標に変換できる。Ｆは２×２の行列、ｔは２×１のベクトルであり、カメラ配置が決まれば前もって求めておける。
【００４０】
もし、点Ｐが平面上になければ、ｂはａとずれた位置に変換される。つまり点Ｐが平面に近ければ近いほどｆ（ｂ）はａに近付く。詳しくは“ＳｔｅｒｅｏｗｉｔｈｏｕｔＤｅｐｔｈＳｅａｒｃｈａｎｄＭｅｔｒｉｃＣａｌｉｂｒａｔｉｏｎ”Ｈ．Ｈａｔｔｏｒｉ，ｅｔ．ａｌ，ＩｎＰｒｏｃ．ＣＶＰＲ，Ｖｏｌ．１，ｐｐ１７７−１８４，２０００）を参照されたい。
【００４１】
（２）画像処理装置２０の構成
図１に本実施形態の画像処理装置２０の構成を示す。
【００４２】
画像処理装置２０は、画像取得部１、境界線モデル検出部２、対応モデル決定部３、高さ推定部４、境界線決定部５より構成され、各部１〜５の各機能は、パソコンなどのコンピュータに記憶されたプログラムによって実現する。
【００４３】
まず、画像取得部１では、視点の異なる二つのカメラから二つの時系列画像を取り込む。
【００４４】
次に、境界線モデル検出部２では、それぞれの時系列画像について、輝度情報に基づいて境界線モデルを検出する。
【００４５】
次に、対応モデル決定部３では、二視点の境界線モデル間で、同一の境界線候補を表す境界線モデルのペアを選択する。
【００４６】
次に、高さ推定部４では、境界線モデルのペアの画像上での位置の違いから、境界線モデルの道路面からの高さを推定する。
【００４７】
次に、境界線決定部５では、境界線モデルの道路面からの高さを用いて、正しい道路面内の境界線を決定する。
【００４８】
以下、各部の具体的な構成について述べる。
【００４９】
（３）画像取得部１
画像取得部１は、時系列画像が取得可能な、視点の異なる二つのＴＶカメラであり、道路を走行する車両の前方に取り付けられ、進行方向を撮影している。
【００５０】
本実施形態においては、二つのカメラの光軸は互いに平行であり、かつ、撮影面の水平軸が同じライン上に揃うように設置されているものとする。
【００５１】
しかし、本発明においては、上記カメラ配置に限定されるのではなく、複数のカメラの中で二つのカメラが一定の距離をおいて配置され、同じ道路面を撮影してさえいればよい。
【００５２】
（４）境界線モデル検出部２
境界線モデル検出部２では、画像取得部１によって得られる二つの時系列画像のそれぞれから境界線モデルを検出する。
【００５３】
例えば、“逆投影画像上での候補追跡処理による白線検出”（中山、窪田、谷口、小野口、電子情報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐｐ．１５−２２、２００１）に記載されている方法を用いる。
【００５４】
この方法によって検出される境界線モデルの詳細を図５を用いて説明する。
【００５５】
各境界線モデルは、図５の複数の破線で示されるように、境界線候補に対して生成され、境界線候補領域に設置される点列によって構成される。この点列が境界線モデルのモデル点である。
【００５６】
また、図５の境界線モデル２のように、境界線候補が不連続なものであるときは、境界線候補が存在する画像上の領域のみにモデル点が設置される。
【００５７】
（５）対応モデル決定部３
対応モデル決定部３では、図６に示すように、二視点の境界線モデルから、同一の境界線候補を表している一組の境界線候補を選択する。手順の流れを図２に示す。
【００５８】
対応モデル決定部３は、図２に示すように、対応する境界線モデルの候補を選択する対応モデル候補選択部６と、候補毎にモデル間類似度を計算するモデル間類似度計算部７と、類似度に基づいて対応する境界線モデルを決定する対応モデル決定部８とから構成され、また、安定境界線モデル選択部１５と境界線モデル修正部１６も有している。
【００５９】
（５−１）対応モデル候補選択部６
図７を用いて、対応モデル候補選択部６の処理を説明する。
【００６０】
対応モデル候補選択部６では、まずどちらか一方のカメラで撮影された画像（以下、基準画像という）から検出された境界線モデルを、基準モデルに設定する（図７のＬ１，Ｌ２，Ｌ３）。
【００６１】
次に、もう一方のカメラで撮影された画像（以下、比較画像という）から検出された境界線モデル（Ｒ１，Ｒ２，Ｒ３）を比較モデルとして、アフィン変換によって基準モデルの座標系に変換する（Ｒ１’，Ｒ２’，Ｒ３’）。
【００６２】
図８を用いて、基準モデルＬ１とＲ１’に注目して説明する。
【００６３】
いま、Ｌ１のｉ番目のモデル点（以下、基準モデル点という）をｌｐｉとして、基準モデル点ｌｐｉを通る水平ライン上にＲ１’のモデル点が存在する時、このモデル点をｌｐｉに対する対応モデル点ｒｐｉとする。
【００６４】
以降、基準モデルの基準モデル点に対する対応モデル点を多用するため、対応関係を保持しておく。
【００６５】
ｌｐｉとｒｐｉ間の水平距離を計算し対応モデル点間距離ｄｉとする。ここで対応モデル点がＲ１’に存在しない時、ｄｉ＝０とする。この計算をＬ１の全ての基準モデル点について行う。
【００６６】
つづいて、図８にあるように、消失点からの垂直距離ｈに比例して小さくなるＡ（ｈ）、Ｌ１のモデル点数Ｎ、Ｒ１’の対応モデル点数Ｍ、ｌｐｉの消失点からの垂直距離Ｈｉを用いて、以下の計算を行いＬ１−Ｒ１’間の距離Ｄ１を計算する。
【００６７】
【数１】

消失点から垂直距離が大きくなると、モデル点間の距離が大きくなる不公平さをこの重みＡ（ｈ）によって補正する。Ａ（ｈ）はカメラ配置によって決まるため、前もって求めておく。
【００６８】
同様の処理をＲ２’，Ｒ３’についても行いＤ２，Ｄ３を計算し、最後に最も小さい上位２モデルを選択して、対応モデル候補とする。すなわち、基準画像上での基準モデルに対応するであろう比較画像上での比較モデルを対応モデル候補という。
【００６９】
図８の例でいうと、Ｒ１’とＲ２’がＬ１の対応モデル候補となる。
【００７０】
以上の処理をすべての基準モデルに対して行い対応モデル候補を選択する。
【００７１】
但し、一つの比較モデルが、複数の基準モデルから重複して選択されることがあるが、ここでは重複させておく。
【００７２】
（５−２）モデル間類似度計算部７
図９に示すように、モデル間類似度計算部７では対応モデル候補の各対応モデル点毎に相関値を計算し、それらを集計して、各候補間の類似度を計算する。
【００７３】
まず、モデル点間の相関値の計算方法を述べる。
【００７４】
基準モデルのｉ番目のモデル点をｌｐｉ、対応モデル候補の対応モデル点をｒｐｉとして、画像上の座標をそれぞれ、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）とする。また、Ｉｌ（ｍ，ｎ）、Ｉｒ（ｍ，ｎ）を、モデル点座標からの相対座標（ｍ，ｎ）における輝度値とする。相関値は、二つのモデル点周辺領域に設定されたウインドウ内の、輝度値の差の絶対値和（ＳＡＤ）を計算することによって得られる。このＳＡＤが小さいほどモデル点間の相関が高いことを意味している。モデル点間の相関値ｓｉを以下の式で定義する。
【００７５】
【数２】

ここで、Ｗｈｉは水平方向のウインドウサイズで、後に記述する方法により、モデル点の消失点からの垂直距離によって決まる変数であり、Ｗｖは垂直方向のウインドウサイズを表し、Ｗｉはウインドウの面積であり、Ｗｉ＝Ｗｈｉ×Ｗｖとする。
【００７６】
図１０に示すように、ｌｐｉとｒｐｉが必ずしも同一の特徴点を表しているとは限らないので、対応モデル点ｒｐｉ近傍に、より相関が高い輝度値を持つ場所を探索する必要がある。この探索によって求まる最も相関が高い場所、すなわち、下記の式（３）では最も低い相関値Ｓｉを、最終的な対応モデル点の相関値とする。
【００７７】
そこで、まずｓｉを、ｓｉ（ｘ，ｙ）、つまりｒｐｉ近傍の点（ｘ，ｙ）における相関値として再定義する。このｓｉ（ｘ，ｙ）を用いたＳｉの計算式を以下に示す。
【００７８】
【数３】

但し、ｌｐｉに対応するｒｐｉが存在しない時Ｓｉ＝０とする。ここで、ｄは水平方向の探索距離である。また、Ｄｉはその探索範囲であり、Ｗｈｉと同様に消失点からの垂直距離によって決まる変数で、ここではウインドウサイズに同期させて、Ｄｉ＝Ｗｈｉとする。ｓｉが最小となるｄを考慮した座標（ｘ＋ｄ，ｙ）をモデル点を修正した修正モデル点の座標として保存しておく。
【００７９】
相関値を計算するための、ウインドウサイズＷｈｉとＤｉの説明を行う。
【００８０】
境界線候補である白線やガードレールは画像上では消失点に近付くほど小さくなる。このためウインドウサイズを固定してＳＡＤを計算すると、消失点付近ではウインドウ内の輝度情報のほとんどが、白線ではなく道路面などの白線以外の特徴を表してしまい、マッチングの精度が落ちるという問題がある。また、探索範囲を固定すると消失点付近では細い白線に対して、広すぎる範囲を探索してしまい、誤対応を起こす要因ともなる。
【００８１】
そのため、消失点までの垂直距離が小さくなるにしたがって、ウインドウサイズと探索範囲を小さくすることにより、上記の問題に対処する。モデル間類似度計算部では相関値を計算する前処理として、この消失点までの距離毎のウインドウサイズを計算する。本実施形態では図９のように、垂直方向のウインドウサイズは３画素で一定にし、水平方向のウインドウサイズは最大２０画素、最小３画素で、消失点までの垂直距離に比例して変化させた。
【００８２】
基準モデルの全てのｌｐｉについて同様の計算を行い、対応モデル候補間での類似度を決定する。モデル間の類似度Ｓは基準モデルのモデル点数をＮ、対応モデル点数をＭとして、以下の式で表す。
【００８３】
【数４】

以上の手順で全ての対応モデル候補間の類似度を計算する。
【００８４】
（５−３）対応モデル選択部８
対応モデル選択部８は、対応モデル候補の中で、類似度が所定の閾値以上であり、かつ、最も高い類似度をもつ対応モデル候補を、対応モデルとして選択する。
【００８５】
この時一つの比較モデルが、複数の基準モデルによって、対応モデルに選ばれる場合がある。
【００８６】
このような場合、重複する比較モデルと最も高い類似度を持つ基準モデルを選び、この基準モデルと比較モデルの組み合わせを対応モデルと決定する。そして、対応モデルを失った基準モデルは、対応モデル候補の次の候補（２番目に類似度が高いモデル）の類似度が閾値以上の場合に、そのモデルを最終的な対応モデルとして決定する。上記の条件を満たさない場合は、対応モデルなしと判断する。
【００８７】
（５−４）安定境界線モデル選択部１５と境界線モデル修正部１６
ここで、図１２に示すように基準モデルのカメラから撮影される道路面の白線（白線１）が、前方車両によって大きく隠れてしまう状況を考慮して以下の処理を基準モデルに対して安定境界線モデル選択部１５と境界線モデル修正部１６で行う。
【００８８】
安定境界線モデル選択部１５において、境界線の長さを評価値として、対応モデルの長さと基準モデルの長さを比較する。
【００８９】
そして、境界線モデル修正部１６では、対応モデルの長さの方が、基準モデルの長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定する。
【００９０】
これにより、図１２に示すように一方のカメラから撮影される道路面の白線が（白線１）、前方車両によって大きく隠れてしまうような状況であっても、視点の異なるもう一方のカメラから撮影された白線（白線２）と対応をとることにより、白線２を用いて、白線１の隠れた領域を補間し、より正確な境界線を設定することができる。
【００９１】
（６）高さ推定部４
高さ推定部４では、基準モデルと対応モデルの視差を用いて、道路面からの高さを推定する。手順の流れを図３に示す。
【００９２】
まず、対応モデルを、基準モデルの画像上にアフィン変換する。変換するのは、対応モデルのモデル点（ｘ，ｙ）ではなく、モデル間類似度計算部７で求めた修正モデル点（ｘ＋ｄ，ｙ）である。
【００９３】
基準モデル点をｌｐｉとし、この基準モデル点ｌｐｉと同じ水平ライン上に存在するアフィン変換後の対応モデルの修正モデル点をｒｐ’ｉとする。
【００９４】
ｌｐｉとｒｐ’ｉのｘ座標をそれぞれｘｌｉ，ｘｒ’ｉとすると、ｌｐｉとｒｐ’ｉの視差ｄｉは、
【数５】

と表される。
【００９５】
図１１に示すように、もしこの基準モデルと対応モデルが道路面に存在する境界線候補を表しているなら、全てのｄｉは０になるはずである。また、境界線候補の路面上からの高さに比例してｄｉは大きくなり、もし境界線候補が路面の下に存在するならば、ｄｉ＜０となる。つまり視差ｄｉをもつモデル点の、画像上での高さは
【数６】

で表すことができる。ここで、定数ａはアフィン変換のパラメータによって決まる定数であり、前もって求めておく。
【００９６】
（７）境界線決定部５
境界線決定部５は、図４に示すように、平面に描かれた境界線モデルを決定する平面内境界線モデル決定部１２と、平面に投影した境界線モデルを決定する投影境界線モデルを決定する投影境界線モデル決定部１３と、移動体が走行可能な領域を規定する境界線を決定する境界線決定部１４からなる。
【００９７】
（７−１）平面内境界線モデル決定部１２
平面内境界線モデル決定部１２では、対応モデル決定部３で対応モデルが見つかった基準モデルについて、高さ推定部４で求めたモデル点の高さｈｉを用いて、境界線モデルが路面にあるかどうかの判断を行う。
【００９８】
ｈｉは、画像上での路面からの高さを表しており、実際の高さが同じであっても、消失点付近の高さは画像上では低く検出される。このため、ｉ番目のモデル点の消失点までの垂直距離をＨｉとして、Ｈｉに比例して小さくなる重みＢ（Ｈｉ）を用いた重み付き平均によって、境界線モデルの路面からの高さＭＨを以下の式で求める。
【００９９】
【数７】

ここで、Ｎはモデル点の総数、Ｍは対応モデル点の総数である。誤差を考慮してＭＨが一定の範囲内にあれば、そのモデルを道路面に描かれた白線に決定する。
【０１００】
（７−２）投影境界線モデル決定部１３
投影境界線モデル決定部１３では、対応モデル決定部３で対応モデルが見つかり、かつ、平面内境界線モデル決定部１２で、道路面にないと判断された境界線モデルについて処理を行う。
【０１０１】
前記平面内境界線モデル決定部１２で求めた、境界線モデルの高さＨが負である場合、そのモデルは道路面への写り込み、もしくは対応モデルが誤対応を起こしていると判断して棄却する。
【０１０２】
しかし、境界線モデルの高さＨが正である場合、この基準モデルは路面内にない、ガードレール等立体物の境界線モデルであると判断する。
【０１０３】
この境界線モデルは路面から浮いているため、路面内の正しい境界線候補ではない。そこでｈｉを用いて立体物と道路面の境界線を求める。
【０１０４】
この基準モデルのｉ番目の基準モデル点の座標を（ｘｉ，ｙｉ）とすると、道路面に投影される平面境界点は（ｘｉ，ｙｉ−ｈｉ）となる。
【０１０５】
この計算を全ての基準モデル点について行い、この平面境界点を道路面と立体物の境界線である投影境界線モデルとする。
【０１０６】
（７−３）境界線決定部１４
境界線決定部１４では、平面内境界線モデル決定部１２によって道路面内にある境界線候補と判断された基準モデル（すなわち、平面内の基準モデルである）と、投影境界線モデル決定部１３で立体物と判断された基準モデルの投影境界線モデルから、最終的な道路面内の境界線を決定する。
【０１０７】
消失点より左にある平面内の境界線モデル、または、投影境界線モデルのうち、最も右側にある平面内の境界線モデル、または、投影境界線モデルを左の境界線とする。
【０１０８】
また、消失点より右側にある平面内の境界線モデル、または、投影境界線モデルのうち、最も左にある平面内の境界線モデル、または、投影境界線モデルを、右にある境界線に決定する。
【０１０９】
なお、本発明は前記実施形態で記載した内容に限定されるものではない。
【０１１０】
（変更例１）
対応モデル決定部３において、類似度計算にモデル点同士の相関値を用いているが、モデル全体の輝度値の相関値を用いてもよい。
【０１１１】
例えば、モデルを形成する全モデル点の輝度平均を計算し、この輝度平均の差の絶対値をモデル間の類似度としてもよい。
【０１１２】
また、上記の実施形態では、輝度情報を用いてモデル間の類似度を計算しているが、他にモデルの特徴をよく表している属性があれば、類似度計算にその属性を用いることも可能である。
【０１１３】
例えば、モデルが生成されてからの時間（生存時間）の差の絶対値をモデル間の類似度としてもよい。
【０１１４】
さらに、モデルの特徴を表す様々な属性について類似度を計算し、所定の方法でそれら類似度を統合し、モデル間の類似度としてもよい。
【０１１５】
例えば、前記輝度平均の差の絶対値と、前記生存時間の差の絶対値と、上記の実施形態で用いたＳＡＤによる相関値の重みつき平均を、モデル間の類似度としてもよい。
【０１１６】
（変更例２）
境界線モデル検出部２において、どちらか一方の画像全体をアフィン変換した後に境界線モデル検出しても良い。これにより平面上の境界線候補の形状は両画像間でほぼ同じ形状になるため、ＳＡＤの精度が向上する。
【０１１７】
また、境界線モデルの各モデル点を画像上での境界線候補上に設置しているが、境界線候補を道路面上から見た画像（逆投影画像）に変換して、その逆投影画像上の境界線候補に各モデル点を設置してもよい。
【０１１８】
（変更例３）
対応モデル候補選択部６において、対応モデル候補を上位２つでなく、より多くの候補を残しても良い。
【０１１９】
白線が複数本、密集して道路に描かれているような状況では、より多くの候補を残した方が、誤対応の可能性が低くなる。
【０１２０】
（変更例４）
対応モデル決定部３において、二つの時系列画像において、どちらか一方の画像を基準画像として、その基準画像からの境界線モデルを基準モデルにする必要はない。
【０１２１】
例えば、消失点の左側のモデルの対応モデルを探す時には、左側のカメラからのモデルを基準モデルに設定し、消失点右側のモデルの対応モデルを探すときは、右側に位置するカメラからのモデルを基準モデルにすれば、前方車両による隠れ領域が少ないモデルを基準モデルに設定可能であるので、より安定して対応モデルを決定することができる。
【０１２２】
（変更例５）
モデル間類似度計算部７において、ＳＡＤを計算する時、水平方向ウインドウサイズを消失点までの垂直距離に応じて変化させているが、さらに垂直方向に変化させてもよい。
【０１２３】
（変更例６）
安定境界線モデル選択部１５において、境界線が撮影されている時間の長さを評価値として、対応モデルの撮影時間と基準モデルの撮影時間を比較する。
【０１２４】
そして、境界線モデル修正部１６では、対応モデルの撮影時間の長さの方が、基準モデルの撮影時間の長さより長いと判断される場合、対応モデルの各モデル点を基準モデルの画像上にアフィン変換し、アフィン変換後のモデル点を、基準モデルのモデル点として再設定することもできる。
【０１２５】
【発明の効果】
本発明を用いることにより、道路上の白線と、ガードレールなどの立体物から正しい境界線を検出することが可能である。
【０１２６】
また、モデル同士の対応をとることによって、一般的なステレオ視よりも安定して視差を検出し、計算量も低減することができる。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の構成である。
【図２】対応モデル選択部の構成例である。
【図３】高さ推定部の構成例である。
【図４】境界線選択部の構成例である。
【図５】入力画像と検出された境界線モデルについて示す。
【図６】対応する境界線モデルの例である。
【図７】対応モデル候補の選択方法について示す。
【図８】モデル間の距離計算の方法について示す。
【図９】モデル点同士のテンプレートマッチングを示す。
【図１０】テンプレートマッチングの探索範囲を示す。
【図１１】道路面からの高さと視差の関係を示す。
【図１２】前方車両によって白線が隠れる様子を示す。
【符号の説明】
１画像取得部
２境界線モデル検出部
３対応モデル決定部
４高さ推定部
５境界線決定部
６対応モデル候補決定部
７モデル間類似度計算部
８対応モデル選択部
９座標変換部
１０視差計算部
１１高さ推定部
１２平面内境界線モデル決定部
１３投影境界線モデル決定部
１４境界線決定部
１５安定境界線モデル選択部
１６境界線モデル修正部
２０画像処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention detects a white line on a road surface and a boundary between a side wall such as a guard rail and the road surface from a time-series image input from an in-vehicle camera stably and at high speed. The present invention relates to an image processing apparatus and method for stably determining a traveling lane.
[0002]
[Prior art]
Conventionally, various image processing techniques have been proposed as a method of detecting the traveling lane of the host vehicle from a time-series image obtained from a camera mounted on an automobile.
[0003]
"White line detection by candidate tracking processing on backprojection image" (Nakayama, Kubota, Taniguchi, Onoguchi, IEICE Technical Report, Vol. 101, No. 302, pp. 15-22, 2001), Japanese Patent Application Laid-Open No. 11-153406 proposes a method for detecting a traveling lane using a single camera.
[0004]
In this method, a white line that is a boundary line of a traveling lane drawn on the road surface is extracted from a road image captured by a monocular camera, and a traveling lane in which the host vehicle is traveling is detected.
[0005]
However, in such a method, white line detection is performed based only on luminance information captured by a single-lens camera. Therefore, an object having luminance information similar to a white line such as a road shoulder or a guard rail is detected on the road surface. As a result, there is a problem that an erroneous traveling lane is detected. In addition, there is also a problem that detection of the driving lane becomes unstable if the white line is largely hidden by a front vehicle running on the same driving lane as the host vehicle.
[0006]
In addition to the traveling lane detection method using a monocular camera, there is a method using stereo vision by a plurality of cameras, as represented by Japanese Patent Application Laid-Open No. 11-213138.
[0007]
“Stereoscopic” refers to the matching of feature points representing the same object by searching for corresponding points from multiple images obtained by multiple cameras with different viewpoints, and from the camera using the principle of triangulation. This is a technique for measuring the distance to an object.
[0008]
The above method can integrate the distance information obtained by this stereo vision, restore the three-dimensional shape of the road, and detect the boundary between the wall surface and the road surface.
[0009]
However, in such a method, there is a problem that the processing for obtaining distance information by stereo vision and the processing for restoring the three-dimensional shape from the distance information become complicated and the calculation cost increases. In addition, this method has a problem of searching for corresponding points in stereo vision, and due to the shape of the object, an occlusion area (hidden area) in which an object photographed by one camera is not photographed by the other camera. , There is a problem of causing false correspondence.
[0010]
Furthermore, as a traveling lane detection method using stereo vision, there is a method combining stereo vision and white line detection.
[0011]
In Japanese Patent Laid-Open No. 9-325026, a white line area is detected from an image taken by one camera, a point corresponding to a point in the white line area is obtained from the other camera, and the road surface of the white line is obtained from the parallax of the corresponding point. The driving lane is detected using a method of examining the height from the road.
[0012]
Japanese Patent Laid-Open No. 2001-92970 discloses a method for detecting a travel lane by calculating distance information by stereo viewing using two cameras and detecting a white line from the distance information and luminance information from one camera. I'm taking it.
[0013]
By these methods, it is possible to obtain a white line only on the road surface, which was difficult with a monocular camera, and since the three-dimensional model is not restored, an increase in calculation cost can be prevented.
[0014]
[Problems to be solved by the invention]
However, in the method combining stereo vision and white line detection, since the white line is detected by only one image, if the detected white line area is an occlusion area due to a vehicle ahead or the like, an incorrect response may occur when searching for corresponding points. There is a risk of waking up.
[0015]
In addition, since the corresponding point search is performed only on the local region in the vicinity of the feature point, there is a problem that erroneous correspondence is easily caused if there is a region having similar brightness near the correct corresponding point.
[0016]
Therefore, the present invention has been made in consideration of the above points, and each of the boundary line candidates is detected on a plurality of images taken by a plurality of cameras, and correspondence between the boundary line candidates obtained between the images is determined. The present invention provides an image processing apparatus and method for detecting a boundary line of a correct driving lane stably and at high speed by calculating parallax and estimating the height of a boundary line candidate.
[0017]
[Means for Solving the Problems]
The invention of claim 1 is an image in which a boundary line defining a region where the moving body can travel is photographed by a plurality of photographing devices attached to the moving body, and the boundary line is obtained from the plurality of photographed images. In the processing device, an image acquisition unit that captures the plurality of images, a boundary line model detection unit that detects the boundary line candidate as a boundary line model based on luminance information, and the plurality of images. One of the images is used as a reference image, a boundary line model detected from the reference image is used as a reference model, another image different from the reference image is used as a comparison image, and the image is detected from the reference model and the comparison image. A corresponding model determining means for comparing with a boundary line model and determining a boundary line model detected from the comparison image corresponding to the reference model as a corresponding model; From the difference in position between the reference model and the corresponding model, the height estimation means for estimating the height from the plane on which the moving body moves in the reference model, and the height from the plane, An image processing apparatus comprising: boundary line determination means for determining the boundary line by projecting a reference model onto the plane.
[0018]
According to a second aspect of the present invention, the correspondence model determination means is a correspondence model candidate that is a candidate for the correspondence model based on a positional relationship between the reference model on the reference image and a boundary line model detected from the comparison image. A corresponding model candidate selecting means for selecting, a model similarity calculating means for calculating the similarity between the reference model and the corresponding model candidate based on the positional relationship and pixel information of the reference model and the corresponding model candidate; The image processing apparatus according to claim 1, further comprising: a corresponding model selecting unit that selects the corresponding model from the corresponding model candidates based on the similarity.
[0019]
According to a third aspect of the present invention, the inter-model similarity calculation means is configured such that the boundary line model is composed of a plurality of model constituent regions representing features on the boundary line candidate images, and the model on the reference image It is determined whether a configuration area also exists on the comparison image, and if it exists, a corresponding model configuration area selection unit that selects a model configuration area on the comparison image as a corresponding model configuration area, and the corresponding model In the configuration area, the model configuration area on the reference image is set as a reference model configuration area, and a predetermined evaluation value using pixel values around the corresponding model configuration area is used, and the evaluation value of the most around the corresponding model configuration area is determined. Corresponding model configuration area search means for searching for a high point and determining the evaluation value as the evaluation value of the corresponding model configuration area; A similarity calculation means for calculating the similarity of the corresponding models, an image processing apparatus according to claim 2, wherein a.
[0020]
According to a fourth aspect of the present invention, the corresponding model determining unit compares the reference model with the corresponding model based on a predetermined evaluation value, and selects a stable boundary model that selects a corresponding model that is detected more stably than the reference model. The image processing apparatus according to claim 1, further comprising: means; and a boundary line model correcting unit that corrects the reference model by the selected corresponding model.
[0021]
According to a fifth aspect of the present invention, the height estimation means assumes that all the candidates for the boundary line photographed by the photographing apparatus are within a plane, and compares the position from the mounting position and angle of the photographing apparatus with respect to a plane. Coordinate conversion means for converting the corresponding model to the coordinates of the reference image using coordinate conversion for converting the coordinates of the image to the coordinates of the reference image, the converted corresponding model on the reference image, and the reference The image processing apparatus according to claim 1, further comprising: a parallax calculation unit that calculates a distance from the model as a parallax and estimates a height from the parallax.
[0022]
According to a sixth aspect of the present invention, the boundary line determining means determines whether the reference model is in the plane based on a height from the plane, and if it is within the plane, the reference model is determined as an in-plane boundary. In-plane boundary line model determining means to determine as a line model, and when the reference model is determined not to be in the plane, the reference model is projected onto the plane according to the height from the plane, Projection boundary line model determination means for determining a projection boundary line model, reference model in the plane, and boundary line selection means for selecting a boundary line that defines a region in which the moving body can travel from the projection boundary line model The image processing apparatus according to claim 1, further comprising:
[0023]
According to a seventh aspect of the present invention, an image processing is performed in which a boundary line that defines a region in which the moving body can travel is photographed by a plurality of photographing devices attached to the moving body, and the boundary line is obtained from the plurality of photographed images. In the method, an image acquisition step for capturing the plurality of images, a boundary line model detection step for detecting each of the plurality of images as a boundary line model based on luminance information, and a boundary line model detection step The first image is the reference image, the boundary model detected from the reference image is the reference model, another image different from the reference image is the comparison image, and the boundary detected from the reference model and the comparison image A corresponding model determining step for comparing the line model and determining a boundary model detected from the comparison image corresponding to the reference model as a corresponding model; From the difference in position between the reference model and the corresponding model above, using the height estimation step for estimating the height of the plane on which the moving body travels in the reference model, and using the height from the plane, the reference A boundary line determining step of determining a boundary line by projecting a model onto the plane.
[0024]
According to an eighth aspect of the present invention, an image processing is performed in which a boundary line that defines a region in which a moving body can travel is photographed by a plurality of photographing devices attached to the moving body, and the boundary line is obtained from the photographed images. In a program for realizing the method by a computer, an image acquisition function for capturing the plurality of images, a boundary line model detection function for detecting the boundary line candidates as boundary line models based on luminance information for each of the plurality of images, One image among the plurality of images is set as a reference image, a boundary line model detected from the reference image is set as a reference model, another image different from the reference image is set as a comparison image, and the comparison is performed with the reference model. A comparison between a boundary model detected from an image and a boundary model detected from the comparison image corresponding to the reference model is determined as a corresponding model A Dell determination function, a height estimation function for estimating a height of a plane on which the moving body travels in the reference model, from a difference in position between the reference model and the corresponding model on the reference image; A program for an image processing method, which realizes a boundary line determination function for determining the boundary line by projecting the reference model onto the plane using height.
[0025]
The present invention detects boundary line candidates that are boundary line candidates on each image using images (for example, time-series images) captured by a plurality of imaging devices having different viewpoints, for example, cameras. By associating with, the height of the detected boundary line candidate from the road surface is estimated, and by using the height, the boundary line candidate is projected onto the plane, so that the boundary line on the correct road surface is The detection is performed.
[0026]
For example, two time-series images obtained from a stereo camera mounted on a vehicle are used as input images, one time-series image as a reference image, and the other time-series image as a comparison image. Detect the model.
[0027]
In addition, since the present invention associates the boundary line model between the reference image and the comparison image, the correspondence using the image local information, which is general stereo vision, may cause an erroneous correspondence due to occlusion or an adjacent similarity. Due to the high brightness value, there is little mis-correspondence and the calculation cost of association is low.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described with reference to FIGS.
[0029]
(1) Explanation of premise in this embodiment
In the image processing apparatus 20 of the present embodiment, the definition is as follows.
[0030]
・ "Plane" means road surface.
[0031]
“The boundary line in the plane” means, for example, a boundary line drawn on the plane or a projected boundary line. When this is a “boundary line on a plane”, a boundary line located above the plane is also included. Therefore, in order to eliminate the ambiguity, it is referred to as a “boundary line within the plane” in this specification.
[0032]
-“Three-dimensional object” has a certain height from a plane extending along the traveling lane, such as a road shoulder, a guardrail, and a wall.
[0033]
The “boundary line” is a road sign drawn on a road surface such as a white line, or a boundary between a three-dimensional object and a plane, and defines an area where the vehicle can travel.
[0034]
・ "Boundary line candidates" are straight lines or curves that extend toward the vanishing point, such as white lines, shoulders, guardrails, and side beams, and are candidates for boundary lines that define areas where the vehicle can travel. That is.
[0035]
“Boundary line model” is a set of feature points representing boundary line candidates on an image, and these feature points are point-like model constituent areas, which are referred to as “model points” in the present embodiment.
[0036]
The “vanishing point” represents a point at infinity in a time-series image obtained by photographing the traveling direction of the vehicle.
[0037]
When the environment is limited to indoors, the plane is a surface such as a floor or a passage. Solid objects represent walls, desks and bookcases. The boundary line represents the boundary between the floor, the passage, and the wall. Boundary line candidates represent desk edges, pipes attached to walls, and the like.
[0038]
・ “Affine transformation” has the following contents.
[0039]
That is, when a point P in the real space is taken by two cameras with different viewpoints, the point a (xa, ya) on the image is displayed on one camera, and the point b (xb on the image is displayed on the other camera. , Yb). Assuming that the point P is on the road plane, b can be converted to the same coordinates as a by the affine transformation represented by f (x) = Fx + t. F is a 2 × 2 matrix, t is a 2 × 1 vector, and can be obtained in advance if the camera arrangement is determined.
[0040]
If the point P is not on the plane, b is converted to a position shifted from a. That is, the closer the point P is to the plane, the closer f (b) is to a. For details, see “Stereo without Depth Search and Metric Calibration”. Hattori, et. al, InProc. CVPR, Vol. 1, pp 177-184, 2000).
[0041]
(2) Configuration of the image processing apparatus 20
FIG. 1 shows the configuration of the image processing apparatus 20 of the present embodiment.
[0042]
The image processing device 20 includes an image acquisition unit 1, a boundary line model detection unit 2, a corresponding model determination unit 3, a height estimation unit 4, and a boundary line determination unit 5. Each function of each unit 1 to 5 is a personal computer or the like. This is realized by a program stored in the computer.
[0043]
First, the image acquisition unit 1 captures two time-series images from two cameras with different viewpoints.
[0044]
Next, the boundary line model detection unit 2 detects a boundary line model for each time-series image based on the luminance information.
[0045]
Next, the corresponding model determination unit 3 selects a pair of boundary line models representing the same boundary line candidate between the two viewpoint boundary line models.
[0046]
Next, the height estimation unit 4 estimates the height of the boundary line model from the road surface from the difference in the position of the boundary line model pair on the image.
[0047]
Next, the boundary line determination unit 5 determines the boundary line in the correct road surface using the height of the boundary line model from the road surface.
[0048]
The specific configuration of each part will be described below.
[0049]
(3) Image acquisition unit 1
The image acquisition unit 1 is two TV cameras with different viewpoints that can acquire time-series images. The image acquisition unit 1 is attached in front of a vehicle traveling on a road and photographs a traveling direction.
[0050]
In the present embodiment, it is assumed that the optical axes of the two cameras are parallel to each other and that the horizontal axes of the imaging surfaces are aligned on the same line.
[0051]
However, the present invention is not limited to the above-described camera arrangement, and it is only necessary that two cameras are arranged at a certain distance among a plurality of cameras and the same road surface is photographed.
[0052]
(4) Boundary line model detection unit 2
The boundary line model detection unit 2 detects a boundary line model from each of the two time-series images obtained by the image acquisition unit 1.
[0053]
For example, “white line detection by candidate tracking processing on backprojection image” (Nakayama, Kubota, Taniguchi, Onoguchi, IEICE Technical Report, Vol. 101, No. 302, pp. 15-22, 2001) Is used.
[0054]
Details of the boundary line model detected by this method will be described with reference to FIG.
[0055]
Each boundary line model is constituted by a point sequence generated for a boundary line candidate and placed in the boundary line candidate region, as indicated by a plurality of broken lines in FIG. This point sequence is a model point of the boundary line model.
[0056]
Further, when the boundary line candidates are discontinuous as in the boundary line model 2 of FIG. 5, model points are set only in the region on the image where the boundary line candidates exist.
[0057]
(5) Corresponding model determination unit 3
As shown in FIG. 6, the corresponding model determination unit 3 selects a set of boundary line candidates representing the same boundary line candidate from the boundary line model of two viewpoints. The flow of the procedure is shown in FIG.
[0058]
As shown in FIG. 2, the corresponding model determining unit 3 includes a corresponding model candidate selecting unit 6 that selects a corresponding boundary line model candidate, an inter-model similarity calculating unit 7 that calculates an inter-model similarity for each candidate, The correspondence model determination unit 8 determines a corresponding boundary line model based on the similarity, and also includes a stable boundary line model selection unit 15 and a boundary line model correction unit 16.
[0059]
(5-1) Corresponding model candidate selection unit 6
The process of the corresponding model candidate selection unit 6 will be described with reference to FIG.
[0060]
In the corresponding model candidate selection unit 6, first, a boundary line model detected from an image (hereinafter referred to as a reference image) taken by one of the cameras is set as a reference model (L1, L2, L3 in FIG. 7). .
[0061]
Next, boundary model (R1, R2, R3) detected from an image captured by the other camera (hereinafter referred to as a comparative image) is converted into a reference model coordinate system by affine transformation as a comparative model ( R1 ′, R2 ′, R3 ′).
[0062]
With reference to FIG. 8, the description will be given focusing on the reference models L1 and R1 ′.
[0063]
Now, assuming that the i-th model point of L1 (hereinafter referred to as a reference model point) is lpi and there is a R1 ′ model point on a horizontal line passing through the reference model point lpi, this model point is the corresponding model point for lpi. Let rpi.
[0064]
Thereafter, since the corresponding model points with respect to the reference model points of the reference model are frequently used, the correspondence relationship is maintained.
[0065]
The horizontal distance between lpi and rpi is calculated and set as the distance between corresponding model points di. Here, when the corresponding model point does not exist in R1 ′, di = 0. This calculation is performed for all reference model points of L1.
[0066]
Next, as shown in FIG. 8, A (h), which becomes smaller in proportion to the vertical distance h from the vanishing point, the number of model points N of L1, the corresponding number of model points M of R1 ′, and the vertical distance from the vanishing point of lpi. Using Hi, the following calculation is performed to calculate the distance D1 between L1 and R1 ′.
[0067]
[Expression 1]

When the vertical distance from the vanishing point increases, the unfairness that increases the distance between model points is corrected by this weight A (h). Since A (h) is determined by the camera arrangement, it is obtained in advance.
[0068]
Similar processing is performed for R2 ′ and R3 ′ to calculate D2 and D3, and finally, the lowest two top models are selected as corresponding model candidates. That is, the comparison model on the comparison image that will correspond to the reference model on the reference image is referred to as a corresponding model candidate.
[0069]
In the example of FIG. 8, R1 ′ and R2 ′ are L1 corresponding model candidates.
[0070]
The above processing is performed on all reference models, and corresponding model candidates are selected.
[0071]
However, although one comparison model may be selected from a plurality of reference models, it is overlapped here.
[0072]
(5-2) Inter-model similarity calculation unit 7
As shown in FIG. 9, the inter-model similarity calculation unit 7 calculates a correlation value for each corresponding model point of the corresponding model candidate, adds them up, and calculates the similarity between the candidates.
[0073]
First, a method for calculating the correlation value between model points will be described.
[0074]
Assume that the i-th model point of the reference model is lpi, the corresponding model point of the corresponding model candidate is rpi, and the coordinates on the image are (xl, yl) and (xr, yr), respectively. Further, Il (m, n) and Ir (m, n) are set as luminance values in relative coordinates (m, n) from the model point coordinates. The correlation value is obtained by calculating the absolute value sum (SAD) of the difference between the luminance values in the window set in the area around the two model points. The smaller the SAD, the higher the correlation between model points. The correlation value si between model points is defined by the following equation.
[0075]
[Expression 2]

Here, Whi is the horizontal window size, and is a variable determined by the vertical distance from the vanishing point of the model point according to the method described later, Wv represents the vertical window size, and Wi is the window area. , Wi = Whi × Wv.
[0076]
As shown in FIG. 10, since lpi and rpi do not necessarily represent the same feature point, it is necessary to search for a place having a luminance value with higher correlation in the vicinity of the corresponding model point rpi. The place having the highest correlation obtained by this search, that is, the lowest correlation value Si in the following equation (3) is set as the correlation value of the final corresponding model point.
[0077]
Therefore, si is first redefined as si (x, y), that is, a correlation value at a point (x, y) in the vicinity of rpi. The calculation formula of Si using this si (x, y) is shown below.
[0078]
[Equation 3]

However, Si = 0 is set when there is no rpi corresponding to lpi. Here, d is a search distance in the horizontal direction. Di is the search range, and is a variable determined by the vertical distance from the vanishing point, similar to Whi, and here, Di = Whi in synchronization with the window size. Coordinates (x + d, y) in consideration of d that minimizes si are stored as the coordinates of the corrected model point obtained by correcting the model point.
[0079]
The window sizes Whi and Di for calculating the correlation value will be described.
[0080]
The white lines and guardrails that are boundary line candidates become smaller as they approach the vanishing point on the image. For this reason, if the SAD is calculated with the window size fixed, the luminance information in the window in the vicinity of the vanishing point expresses features other than the white line such as the road surface instead of the white line, and the matching accuracy is lowered. is there. In addition, if the search range is fixed, a range that is too wide with respect to the thin white line is searched near the vanishing point, which may cause a false response.
[0081]
Therefore, the above problem is addressed by reducing the window size and the search range as the vertical distance to the vanishing point becomes smaller. The inter-model similarity calculation unit calculates a window size for each distance to the vanishing point as preprocessing for calculating a correlation value. In this embodiment, as shown in FIG. 9, the vertical window size is fixed at 3 pixels, the horizontal window size is a maximum of 20 pixels and a minimum of 3 pixels, and is changed in proportion to the vertical distance to the vanishing point. .
[0082]
The same calculation is performed for all lpi of the reference model, and the similarity between corresponding model candidates is determined. The similarity S between models is expressed by the following equation, where N is the model score of the reference model and M is the corresponding model score.
[0083]
[Expression 4]

The similarity between all corresponding model candidates is calculated by the above procedure.
[0084]
(5-3) Corresponding model selection unit 8
The corresponding model selection unit 8 selects a corresponding model candidate having a similarity that is equal to or higher than a predetermined threshold and having the highest similarity among the corresponding model candidates as a corresponding model.
[0085]
At this time, one comparison model may be selected as a corresponding model by a plurality of reference models.
[0086]
In such a case, the reference model having the highest similarity with the overlapping comparison model is selected, and the combination of the reference model and the comparison model is determined as the corresponding model. The reference model that has lost the corresponding model determines the model as the final corresponding model when the similarity of the next candidate of the corresponding model candidate (the model with the second highest similarity) is equal to or greater than the threshold. If the above conditions are not satisfied, it is determined that there is no corresponding model.
[0087]
(5-4) Stable boundary line model selection unit 15 and boundary line model correction unit 16
Here, as shown in FIG. 12, in consideration of the situation where the white line (white line 1) on the road surface photographed from the camera of the reference model is largely hidden by the preceding vehicle, the following processing is performed on the stable boundary with respect to the reference model. This is performed by the line model selection unit 15 and the boundary line model correction unit 16.
[0088]
The stable boundary line model selection unit 15 compares the length of the corresponding model with the length of the reference model using the length of the boundary line as an evaluation value.
[0089]
Then, when it is determined that the length of the corresponding model is longer than the length of the reference model, the boundary line model correction unit 16 affine-transforms each model point of the corresponding model on the image of the reference model. The later model point is reset as the model point of the reference model.
[0090]
As a result, as shown in FIG. 12, even when the white line on the road surface taken from one camera (white line 1) is largely hidden by the vehicle ahead, it is taken from the other camera with a different viewpoint. By taking a correspondence with the white line (white line 2), the white line 2 can be used to interpolate the hidden area of the white line 1, and a more accurate boundary line can be set.
[0091]
(6) Height estimation unit 4
The height estimation unit 4 estimates the height from the road surface using the parallax between the reference model and the corresponding model. The flow of the procedure is shown in FIG.
[0092]
First, the corresponding model is affine transformed onto the image of the reference model. What is converted is not the model point (x, y) of the corresponding model, but the modified model point (x + d, y) obtained by the inter-model similarity calculation unit 7.
[0093]
The reference model point is defined as lpi, and the corrected model point of the corresponding model after the affine transformation existing on the same horizontal line as the reference model point lpi is defined as rp′i.
[0094]
If the x-coordinates of lpi and rp'i are xli and xr'i, respectively, the parallax di between lpi and rp'i is
[Equation 5]

It is expressed.
[0095]
As shown in FIG. 11, if the reference model and the corresponding model represent boundary line candidates existing on the road surface, all di should be zero. Also, di increases in proportion to the height of the boundary line candidate from the road surface. If the boundary line candidate exists below the road surface, di <0. In other words, the height of the model point with parallax di on the image is
[Formula 6]

It can be expressed as Here, the constant a is a constant determined by affine transformation parameters, and is obtained in advance.
[0096]
(7) Boundary line determination unit 5
As shown in FIG. 4, the boundary line determination unit 5 includes an in-plane boundary line model determination unit 12 that determines a boundary line model drawn on a plane, and a projection boundary line model that determines a boundary line model projected onto the plane. It consists of a projected boundary line model determining unit 13 for determining, and a boundary line determining unit 14 for determining a boundary line that defines an area in which the mobile body can travel.
[0097]
(7-1) In-plane boundary line model determination unit 12
In the in-plane boundary line model determination unit 12, for the reference model for which the corresponding model is found by the corresponding model determination unit 3, the boundary line model is on the road surface using the height hi of the model point obtained by the height estimation unit 4. Judge whether or not.
[0098]
hi represents the height from the road surface on the image, and even if the actual height is the same, the height near the vanishing point is detected low on the image. Therefore, the vertical distance from the i-th model point to the vanishing point is Hi, and the weight MH using the weight B (Hi) that decreases in proportion to Hi is used to calculate the height MH from the road surface of the boundary line model. Obtained by the following formula.
[0099]
[Expression 7]

Here, N is the total number of model points, and M is the total number of corresponding model points. If MH is within a certain range in consideration of errors, the model is determined as a white line drawn on the road surface.
[0100]
(7-2) Projection boundary line model determination unit 13
In the projected boundary line model determination unit 13, the corresponding model is found by the corresponding model determination unit 3, and the boundary line model determined to be not on the road surface by the in-plane boundary model determination unit 12 is processed.
[0101]
When the height H of the boundary line model obtained by the in-plane boundary line model determination unit 12 is negative, it is determined that the model is reflected on the road surface, or that the corresponding model is miscorresponding. Dismiss.
[0102]
However, when the height H of the boundary line model is positive, it is determined that the reference model is a boundary line model of a three-dimensional object such as a guardrail that is not on the road surface.
[0103]
Since this boundary line model floats from the road surface, it is not a correct boundary line candidate in the road surface. Therefore, the boundary line between the three-dimensional object and the road surface is obtained using hi.
[0104]
When the coordinate of the i-th reference model point of this reference model is (xi, yi), the plane boundary point projected on the road surface is (xi, yi-hi).
[0105]
This calculation is performed for all reference model points, and this plane boundary point is set as a projection boundary line model that is a boundary line between the road surface and the three-dimensional object.
[0106]
(7-3) Boundary line determination unit 14
In the boundary line determination unit 14, a reference model (that is, a reference model in a plane) determined as a boundary line candidate in the road surface by the in-plane boundary line model determination unit 12, and the projection boundary line model determination unit 13 The boundary line in the final road surface is determined from the projected boundary line model of the reference model determined as a three-dimensional object in step (b).
[0107]
Of the boundary line model or projection boundary model in the plane to the left of the vanishing point, the boundary line model or projection boundary model in the rightmost plane is set as the left boundary line.
[0108]
In addition, the boundary model in the plane on the right side of the vanishing point or the boundary model in the leftmost plane or the projection boundary model among the projected boundary model is determined as the boundary line on the right. To do.
[0109]
In addition, this invention is not limited to the content described in the said embodiment.
[0110]
(Modification 1)
In the corresponding model determination unit 3, the correlation value between model points is used for similarity calculation, but the correlation value of the luminance value of the entire model may be used.
[0111]
For example, the luminance average of all model points forming the model may be calculated, and the absolute value of the difference between the luminance averages may be used as the similarity between the models.
[0112]
In the above-described embodiment, the similarity between models is calculated using luminance information. However, if there is an attribute that well represents the characteristics of the model, the attribute may be used for the similarity calculation. Is possible.
[0113]
For example, the absolute value of the difference in time (survival time) after the models are generated may be used as the similarity between the models.
[0114]
Furthermore, similarities may be calculated for various attributes representing model features, and the similarities may be integrated by a predetermined method to obtain similarities between models.
[0115]
For example, the absolute value of the difference in luminance average, the absolute value of the difference in survival time, and the weighted average of correlation values by SAD used in the above embodiment may be used as the similarity between models.
[0116]
(Modification 2)
In the boundary line model detection unit 2, the boundary line model may be detected after affine transformation of one of the entire images. As a result, the shape of the boundary line candidate on the plane is substantially the same between both images, so that the accuracy of SAD is improved.
[0117]
In addition, each model point of the boundary line model is set on the boundary line candidate on the image, but the boundary line candidate is converted to an image (back projection image) viewed from the road surface, and the back projection image Each model point may be placed on the upper boundary line candidate.
[0118]
(Modification 3)
The corresponding model candidate selection unit 6 may leave a larger number of candidates instead of the top two corresponding model candidates.
[0119]
In a situation where multiple white lines are densely drawn on the road, leaving more candidates will reduce the possibility of mishandling.
[0120]
(Modification 4)
In the corresponding model determination unit 3, it is not necessary to use either one of the two time-series images as a reference image, and a boundary line model from the reference image as a reference model.
[0121]
For example, when searching for the corresponding model of the model on the left side of the vanishing point, set the model from the left camera as the reference model, and when searching for the corresponding model of the model on the right side of the vanishing point, select the model from the camera located on the right side. If the reference model is used, it is possible to set a model with a small number of hidden areas due to the vehicle ahead as the reference model, so that the corresponding model can be determined more stably.
[0122]
(Modification 5)
When calculating the SAD in the inter-model similarity calculation unit 7, the horizontal window size is changed according to the vertical distance to the vanishing point, but may be further changed in the vertical direction.
[0123]
(Modification 6)
The stable boundary line model selection unit 15 compares the shooting time of the corresponding model with the shooting time of the reference model using the length of time during which the boundary line is shot as an evaluation value.
[0124]
When the boundary model correcting unit 16 determines that the shooting time of the corresponding model is longer than the shooting time of the reference model, each model point of the corresponding model is placed on the image of the reference model. It is also possible to perform affine transformation and reset the model points after the affine transformation as model points of the reference model.
[0125]
【The invention's effect】
By using the present invention, it is possible to detect a correct boundary line from a white line on a road and a three-dimensional object such as a guardrail.
[0126]
In addition, by taking correspondence between models, it is possible to detect parallax more stably than general stereo vision and reduce the amount of calculation.
[Brief description of the drawings]
FIG. 1 is a configuration of an image processing apparatus according to an embodiment.
FIG. 2 is a configuration example of a corresponding model selection unit.
FIG. 3 is a configuration example of a height estimation unit.
FIG. 4 is a configuration example of a boundary line selection unit.
FIG. 5 shows an input image and a detected boundary line model.
FIG. 6 is an example of a corresponding boundary line model.
FIG. 7 shows a method for selecting a corresponding model candidate.
FIG. 8 shows a method for calculating a distance between models.
FIG. 9 shows template matching between model points.
FIG. 10 shows a search range for template matching.
FIG. 11 shows the relationship between the height from the road surface and the parallax.
FIG. 12 shows how the white line is hidden by the vehicle ahead.
[Explanation of symbols]
1 Image acquisition unit
2 Boundary line model detector
3 Corresponding model decision part
4 Height estimation part
5 Boundary line determination part
6 Corresponding model candidate decision part
7 Model similarity calculator
8 Corresponding model selection part
9 Coordinate converter
10 Parallax calculator
11 Height estimation part
12 In-plane boundary model determination unit
13 Projection boundary model determination unit
14 Boundary line determination part
15 Stable boundary model selection part
16 Boundary line model correction part
20 Image processing device

Claims

In an image processing apparatus that captures a boundary line that defines a region in which a moving body can travel with a plurality of imaging devices attached to the moving body, and obtains the boundary line from the plurality of captured images.
Image acquisition means for capturing the plurality of images;
Boundary line model detection means for detecting the boundary line candidate as a boundary line model for each of the plurality of images based on luminance information;
One image among the plurality of images is set as a reference image, a boundary line model detected from the reference image is set as a reference model, another image different from the reference image is set as a comparison image, and the comparison is performed with the reference model. A corresponding model determining means for comparing a boundary line model detected from an image and determining a boundary line model detected from the comparison image corresponding to the reference model as a corresponding model;
Height estimation means for estimating a height from a plane on which the moving body moves in the reference model, based on a difference in position between the reference model and the corresponding model on the reference image;
Boundary line determination means for determining the boundary line by projecting the reference model onto the plane using the height from the plane;
An image processing apparatus comprising:

The correspondence model determining means includes
Corresponding model candidate selecting means for selecting a corresponding model candidate that is a candidate for the corresponding model from the positional relationship between the reference model on the reference image and the boundary line model detected from the comparison image;
An inter-model similarity calculating means for calculating a similarity between the reference model and the corresponding model candidate based on a positional relationship and pixel information of the reference model and the corresponding model candidate;
Corresponding model selection means for selecting the corresponding model from the corresponding model candidates based on the similarity,
The image processing apparatus according to claim 1, further comprising:

The model similarity calculation means includes:
The boundary line model is configured by a plurality of model configuration areas that represent features on the boundary line candidate image,
It is determined whether the model configuration area on the reference image is also present on the comparison image, and if it exists, the model configuration area on the comparison image is selected as the corresponding model configuration area selection. Means,
In the corresponding model configuration region, the model configuration region on the reference image is set as a reference model configuration region, and a predetermined evaluation value using pixel values around the corresponding model configuration region is used to Search for a point having a high evaluation value, and corresponding model configuration region search means for determining the evaluation value as an evaluation value of the corresponding model configuration region;
Similarity calculation means for calculating the similarity of the corresponding model by aggregating the evaluation values of the corresponding model constituent areas;
The image processing apparatus according to claim 2, further comprising:

The corresponding model determining means compares the reference model with the corresponding model with a predetermined evaluation value, and selects a corresponding boundary line model selecting means for selecting a corresponding model detected more stably than the reference model;
Boundary line model correcting means for correcting the reference model by the selected corresponding model;
The image processing apparatus according to claim 1, further comprising:

The height estimation means assumes that all of the boundary line images photographed by the photographing apparatus are in a plane, and determines the coordinates of the comparative image from the mounting position and angle of the photographing apparatus with respect to a plane. Coordinate conversion means for converting the corresponding model into the coordinates of the reference image using coordinate conversion for converting into the coordinates of the image;
A disparity calculating means for calculating a distance between the converted corresponding model on the reference image and the reference model as a disparity and estimating a height from the disparity;
The image processing apparatus according to claim 1, further comprising:

The boundary line determining means includes
In-plane boundary line model determining means for determining whether or not the reference model is in the plane according to a height from the plane, and determining the reference model as an in-plane boundary line model if in the plane;
When it is determined that the reference model is not in the plane, the reference model is projected onto the plane according to the height from the plane, and a projection boundary model determination unit that determines a projection boundary line model;
Boundary line selection means for selecting a boundary line that defines a region in which the mobile body can travel from the reference model in the plane and the projected boundary line model;
The image processing apparatus according to claim 1, further comprising:

In an image processing method for photographing a boundary line that defines a region in which a moving body can travel with a plurality of photographing devices attached to the moving body, and obtaining the boundary line from the plurality of photographed images,
An image acquisition step of capturing the plurality of images;
A boundary line model detection step for detecting the boundary line candidates as boundary line models for each of the plurality of images based on luminance information;
One image among the plurality of images is set as a reference image, a boundary line model detected from the reference image is set as a reference model, another image different from the reference image is set as a comparison image, and the comparison is performed with the reference model. A corresponding model determination step for comparing a boundary line model detected from an image and determining a boundary line model detected from the comparison image corresponding to the reference model as a corresponding model;
A height estimation step for estimating a height of a plane on which the moving body travels in the reference model from a difference in position between the reference model and the corresponding model on the reference image;
A boundary line determining step of determining the boundary line by projecting the reference model onto the plane using a height from the plane;
An image processing method comprising:

A program for realizing, by a computer, an image processing method for photographing a boundary line that defines an area in which a moving body can travel with a plurality of photographing devices attached to the moving body and obtaining the boundary line from the plurality of photographed images. In
An image acquisition function for capturing the plurality of images;
A boundary line model detection function for detecting the boundary line candidates as boundary line models for each of the plurality of images based on luminance information;
One image among the plurality of images is set as a reference image, a boundary line model detected from the reference image is set as a reference model, another image different from the reference image is set as a comparison image, and the comparison is performed with the reference model. A corresponding model determination function for comparing a boundary line model detected from an image and determining a boundary line model detected from the comparison image corresponding to the reference model as a corresponding model;
A height estimation function for estimating the height of a plane on which the moving body travels in the reference model from the difference in position between the reference model and the corresponding model on the reference image;
A boundary line determination function for determining the boundary line by projecting the reference model onto the plane using a height from the plane;
An image processing method program characterized by realizing the above.