JP2000259997A

JP2000259997A - 先行車の高さおよび車間距離計測装置

Info

Publication number: JP2000259997A
Application number: JP11058648A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1999-03-05
Filing date: 1999-03-05
Publication date: 2000-09-22

Abstract

(57)【要約】【課題】先行車との車間距離の計測の確実性を向上させ
た車間距離計測装置を提供する。【解決手段】車両前方に向けて相互に光軸が平行に設置
された二つの電子式カメラ１、２と、それらによるステ
レオ画像全体にウィンドウを定義し、定義したウィンド
ウ毎に求めた視差（距離画像）から先行車までの距離と
先行車が撮像された画像上の位置とを求め、距離画像か
ら検出した先行車位置に、その先行車までの距離をもと
に、先行車の上下端を含む大きさの縦長のウィンドウを
複数設定し、そのウィンドウ内において求めた各ｙ座標
毎の水平エッジのヒストグラムと輝度のヒストグラムに
基づいて先行車の上下端の位置を求める演算手段５を備
えた構成。この上端と下端との間隔が画像上における先
行車の高さに相当し、この値と上記の距離とによって先
行車の実際の高さを算出することが出来る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ画像処
理を用いて、先行車の高さと車間距離を計測する技術に
関し、特に追従中の車間距離計測における先行車との車
間距離の計測の確実性を向上させる技術に関する。

【０００２】

【従来の技術】従来の車間距離計測装置としては、例え
ば、特開平８−２７８１２６号公報に記載されたものが
ある。この装置では、縦に並べたステレオ画像から水平
エッジのヒストグラムを抽出し、それらのヒストグラム
のピークを、垂直方向をｙ軸としたときに、ｙ軸の下側
より順に探索し、ヒストグラムのピークのｙ軸上におけ
るステレオ画像間の位置の差を先行車の視差として、車
間距離を求めるものである。

【０００３】

【発明が解決しようとする課題】しかし、上記従来の装
置では、先行車までの車間距離測定に用いるデータとし
て水平エッジのヒストグラムだけを用いているため、そ
の水平エッジ成分が先行車のエッジであるか否かの判断
が不十分であり、車両以外のエッジを用いて対応点探索
を行なってしまう可能性がある、という問題があった。
特に、歩道橋や停止線など路面上にかかる長く強い横エ
ッジが複数あると、それらのエッジの方が先行車よりも
強調されるため、先行車以外のエッジまでの距離を算出
してしまう可能性が高くなる。また、距離の算出をステ
レオ視差からの演算だけで行っているため、分解能が粗
く、かつ、他手法との照合がないため、ステレオマッチ
ングが原因の距離の誤計測を判断することができない、
という問題があった。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、先行車の高さの計測
と、車間距離計測における先行車との車間距離の計測の
確実性を向上させた先行車の高さおよび車間距離計測装
置を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。まず、請求項１に記載の発明において
は、ステレオ画像全体にウィンドウを定義し、定義した
ウィンドウ毎に求めた視差（以下距離画像と呼ぶ）から
先行車までの距離と先行車が撮像された画像上の位置と
を求め、距離画像から検出した先行車位置に、その先行
車までの距離をもとに、先行車の上下端を含む大きさの
縦長のウィンドウを複数設定し、そのウィンドウ内にお
いて求めた各ｙ座標毎の水平エッジのヒストグラムと輝
度のヒストグラムに基づいて先行車の上下端の位置を求
めるように構成している。この上端と下端との間隔が画
像上における先行車の高さに相当し、この値と上記の距
離とによって先行車の実際の高さを算出することが出来
る。

【０００６】また、請求項２に記載の発明においては、
請求項１で求めたヒストグラムに基づいて、前記の設定
した複数のウィンドウについて水平エッジのヒストグラ
ムと輝度のヒストグラムとがそれぞれほぼ同じ形状とな
るウィンドウでヒストグラムがピークとなるエッジを先
行車上のエッジであると判断し、それらのエッジのう
ち、最上端のエッジを先行車の上端、最下端のエッジを
先行車の下端として検出するように構成している。

【０００７】また、請求項３に記載の発明においては、
先行車の下には、影があることと先行車の下端には長い
横エッジがあることから、請求項１で求めた水平エッジ
のヒストグラムが大きく、その位置の下の輝度ヒストグ
ラムが、ある一定の範囲で低い位置を先行車の下端と判
断するように構成している。

【０００８】また、請求項４に記載の発明においては、
請求項１で求めたヒストグラムにおいて、請求項３で求
めた下端から上に位置するエッジであって前記二つのカ
メラの画像について同じ間隔で同じ本数だけ存在するエ
ッジを求め、それらのエッジのうち最上位置のエッジを
先行車の上端と判断するように構成している。

【０００９】また、請求項５に記載の発明においては、
上下端検出手段で求める先行車の上端と下端との間隔に
相当する画像上の先行車の高さと、距離・位置演算手段
で求める視差に応じた車間距離と、を異なった二つの時
点でそれぞれ求め、その求めた二つの車間距離の比の値
と二つの先行車の高さの比の逆数の値とが所定のしきい
値以内で一致しているか否かを判定することにより、距
離計測の正確性を判定するように構成している。

【００１０】また、請求項６に記載の発明においては、
請求項１において求めた上端と下端の間隔および先行車
までの距離に基づいて演算した先行車の高さと、先行車
の上端と下端の間隔とに応じて、先行車と自車との車間
距離を演算するように構成している。

【００１１】また、請求項７に記載の発明においては、
請求項１において距離・位置演算手段で視差に基づいて
求めた車間距離と請求項６において求めた車間距離とを
比較することにより、距離計測の正確性を判定するよう
に構成している。

【００１２】

【発明の効果】請求項１においては、先行車が撮像され
た範囲に設定した複数のウィンドウについての水平エッ
ジのヒストグラムと輝度のヒストグラムに基づいて先行
車のエッジを検出しているので、先行車以外のエッジを
誤検出するのを削減でき、先行車の上下端を正確に検出
できる。さらに、先行車が撮像された範囲においてのみ
ヒストグラムを算出するため、計算量も少ないという利
点がある。請求項２においては、先行車の上下端を正確
に検出できる。請求項３においては、先行車の下端の下
は必ず影になることを利用して先行車の下端を検出して
いるので、より確実に先行車の下端を検出できる。

【００１３】請求項４においては、同じ距離の物体であ
れば、その物体上のエッジ間の間隔は二つのステレオ画
像間において同じであること、および請求項２で求めた
先行車の下端を利用して先行車の上端を検出しているの
で、より確実に、先行車の上端を検出することができ
る。請求項５においては、先行車の上下端の時間的変化
の比の逆数と視差から求めた車間距離の変化の比とを照
合し合うことで、距離計測を確実に行なうことが可能と
なる。

【００１４】請求項６においては、同一車両を追従中の
場合、車両の実際の高さは不変であることから、上端と
下端の間隔および先行車までの距離に基づいて先行車の
実際の高さを求め、それを用いて実際の車間距離を算出
することが出来る。このようにして算出した車間距離
は、二つのカメラ間の距離よりも先行車の高さの方が大
きいことから、距離画像から求めた距離計測よりも高い
分解能で精密な距離計測が可能となる。請求項７におい
ては、視差による距離計測と請求項６による距離計測と
の照合ができるため距離計測が確実となる。

【００１５】

【発明の実施の形態】図１は本発明の一実施の形態の構
成を示すブロック図である。図１において、１および２
は電子式のカメラであり、自車の前部に前方を向いて設
置されており、両カメラの光軸は相互に平行で、かつ撮
像面の垂直軸が同じライン上に揃うように設置されてい
る。なお、撮像面の水平軸が同じライン上に揃うように
設置してもよい。また、車両の後部に後方を向けて設置
し、車両後方の障害物を検出するように構成することも
できる。３、４はそれぞれカメラ１、２から入力した画
像信号を記憶する画像メモリである。５は演算部であ
り、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロ
コンピュータで構成される。６は自車の前方に存在する
障害物等の検出対象物であり、図１では先行車を例示し
ている。

【００１６】以下、まず本発明に用いる種々の演算手段
と方法について説明し、それからフローチャートに基づ
いて全体の演算の流れを説明する。図２は、ステレオ画
像を用いて三角測量の原理でカメラから検出対象までの
距離を求める原理を説明する図である。図２において
は、カメラＡ（前記カメラ１に相当）で撮像した画像を
画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画
像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，
ｚ）としている。

【００１７】図２から判るように、焦点距離ｆ、眼間距
離（両カメラ間の距離）Ｄが既知であり、光軸が互いに
平行な２台のカメラＡ、Ｂで撮像したステレオ画像にお
いて、２枚の画像間のマッチング位置ｙａ、ｙｂを求め
ることできれば、カメラから対象物ｐまでの距離Ｚは下
記（数１）式より求めることができる。

【００１８】Ｚ＝ｆ・Ｄ／（ｙａ−ｙｂ）＝ｆ・Ｄ／Ｓ …（数１）ただし、ｙａ−ｙｂ＝Ｓは視差であり、図２のように、
光軸が平行で、所定間隔を隔てて設置された二つのカメ
ラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカ
メラに写った画像の位置の差、すなわち画像Ａにおける
位置ｙａと画像Ｂにおける位置ｙｂとの差である。な
お、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点
距離ｆ、視差Ｓおよび位置ｙａ、ｙｂの単位は画素であ
る。例えばカメラＡ、ＢはＣＣＤを用いたものであり、
画素数を６４０×４８０とした場合、１画素の大きさは
１０μｍ程度である。

【００１９】上記（数１）式は、両カメラの光軸が相互
に平行で、かつ撮像面の垂直軸が同じライン上に揃うよ
うに設置した場合であるが、撮像面の水平軸が同じライ
ン上に揃うように設置した場合には、下記（数１'）式
に示すようになる。Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１'）ただし、ｘａ−ｘｂ＝Ｓは視差なお、以後の説明は全て撮像面の垂直軸が同じライン上
に揃うように設置した場合を例として説明する。

【００２０】上記の視差Ｓを検出するには、一方の画像
（例えば画像Ａ）上において点ｐが撮像されている点
（ｘａ、ｙａ）に対応する他方の画像（例えば画像Ｂ）
上の点（ｘｂ、ｙｂ）を検出する必要がある。その方法
としては、画像Ａ上の点（ｘａ、ｙａ）を含む或る範囲
の画像（ウィンドウ）と最も類似した範囲を画像Ｂ内か
ら探すことで求めることができる。この類似度の算出に
は、画像間の差分法や正規化相関法などがある。そして
距離画像（ウィンドウ毎にその内部に撮像される物体ま
での視差を求めた画像）は、定義したすべてのウィンド
ウにおいて差分法や正規化相関法により、他方と類似度
の高いウィンドウが存在する位置を求めることで作成で
きる。

【００２１】図３は、両画像の対応する位置毎の視差を
求めた結果を示す図であり、詳しくは、道路前方を撮像
した画像において、一方の画像（例えば画像Ｂ）をウィ
ンドウ毎に切り、その全てのウィンドウにおいて他方の
画像（例えば画像Ａ）からそのウィンドウと最も類似度
の高い画像の位置を求めることで、両画像における対応
する位置を検出し、それぞれの対応する位置から各ウィ
ンドウ毎の視差を求めた結果を表したものである。図３
において、（Ａ）は下画像（画像Ａに相当）、（Ｂ）は
上画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は
視差が「１５」のウィンドウ部分のみを抜き出した画像
を示す。また、図３（Ｂ）、（Ｃ）の(1)〜(20)は各ウ
ィンドウの水平方向（以下、横方向と記す）の位置を示
す。ただし、図においては(1)〜(20)を丸付き数字で表
している。また、一つのウィンドウは幅（ｘ方向の長
さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。上記
のように、各ウィンドウ毎の視差が判れば、前記（数
１）式を用いることによって、該当するウィンドウに撮
像されている物体までの距離を求めることが出来る。

【００２２】以下、図３（Ｃ）のようにウィンドウ毎に
その内部に撮像されている物体までの視差を求めた画像
を“距離画像”と呼ぶことにする。このウィンドウ毎に
算出される視差は、当該ウィンドウの内部に撮像されて
いてエッジ（画像が明から暗または暗から明に変化する
点が連続した部分で、画像の端などを示す線分に相当す
る）などの特徴的な部分を持つ物体までの距離に相当す
るから、一つの対象物が複数ウィンドウに跨って撮像さ
れていると、隣接するウィンドウで同じ視差が求められ
る。例えば、道路前方を撮像した画像における距離画像
の場合、先行車と、先行車が存在する真下の路面とは同
距離なので、図３（Ｄ）に太線のウィンドウで示すよう
に、先行車の下部と同じｙ座標上にあるウィンドウは先
行車と同じ視差で算出される。例えば図３（Ｃ）の下か
ら２行目に「１５」が横方向に連続しているのが上記の
部分に相当する。なお、図３（Ｃ）において、中央部分
に視差「１５」が集合している部分が先行車に相当し、
(3)、(4)列に視差「１９」が集合している部分が「左方
の木」に相当し、(6)列に視差「５」が連続している部
分が「中央の木」に相当する。

【００２３】上記のように、距離画像は前方に高さのあ
る物体が存在すると、その物体が撮像されているｘ座標
位置のウィンドウでは同じ視差が検出される。一方、車
両横にある白線部分のように路面などの高さを持たない
位置では、同じｘ座標上で同じ視差が検出されるウィン
ドウは一つである。すなわち、前方に物体が存在する場
合、同一ｘ座標の方向でのウィンドウにおいて同じ視差
の個数を数えることにより、物体を検知することができ
る。この方法によれば、複数の物体も一つの物体も同じ
方法で検出することができ、検出対象や背景の色に左右
されずに物体を検知できるようになる。また、白線や停
止線などの路面表示は、同じ視差を示すウィンドウが同
じ方向に現れないため、路面表示と高さをもつ障害物と
を誤検出することがなくなるという利点もある。加え
て、距離画像だけを利用しているため、検出対象の色や
形状および背景色にかかわらず同様の処理で複数物体を
検出できる。

【００２４】図４は、距離画像上の或るウィンドウで求
めた視差とそのウィンドウの横方向の位置に基づいて、
対応する表中の位置に投票する様子を表した図であり、
（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の
表を示す。なお、この場合における「投票」とは、或る
横方向位置とそれに対応する視差の値の位置に、＋１ず
つ加算することを意味する。例えば位置(8)の位置に視
差「１５」が１個存在する場合には、図４（Ｃ）の位置
(8)で視差「１５」の位置に「＋１」が加算される。図
４（Ｂ）の例では、位置(8)の位置に視差「１５」が５
個存在するから、最終的には位置(8)で視差「１５」の
位置に「５」が投票されることになる。

【００２５】また、図５は、上記の投票を全てのウィン
ドウにおいて行った結果を示す図であり、（Ａ）は上画
像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。

【００２６】図４から判るように、図３で設定したウィ
ンドウにおいて、横方向が同じ位置のウィンドウは同じ
方向を撮像したものである。また、図５から判るよう
に、前方に物体が存在する場合、物体を検知している部
分では同じｘ座標上の縦方向のウィンドウは同じ視差が
求められ、路面上に物体が存在しない場合では同じｙ座
標上の横方向のウィンドウで同じ視差が求められる。こ
のような距離画像を用いて、図４に示した方法で表に投
票を行なうと、同じ方向（同じｘ座標上）に同じ視差が
並んでいると、その方向と視差の値への投票回数が多く
なるため、その位置の値が高くなる。したがって、図５
の表から値の高い位置を探すことで前方の物体の有無を
検知できる。図５に示す例では、(3)、(4)番目のウィン
ドウで視差「１９」の部分（左方の木に相当）、(5)番
目のウィンドウで視差「５」の部分（中央の木に相
当）、(8)〜(16)番目のウィンドウで視差「１５」の部
分（先行車に相当）で投票が集中し、値が高くなってい
る。例えば視差「１５」の部分の値が高いということ
は、カメラが撮像した画角内に視差が約１５画素となる
物体が撮像されていることを示す。仮に前記図２に示し
た眼間距離Ｄを０.１ｍ、焦点距離ｆを１５００画素と
すると、カメラからその物体までの距離は、前記（数
１）式により、前方１０ｍ（＝１５００×０.１／１
５）であると求められる。また、視差が１５画素の位置
の投票結果をｘ軸方向で見ると、ｘ軸方向に定義した
(8)〜(16)番目のウィンドウ付近の値が高く、その左右
両側のウィンドウでは投票値が低くなっている。

【００２７】図６は、上記の内容を判りやすく示すた
め、図５の投票結果から視差１５の部分を抜き出して１
次元グラフとしてあらわした図である。図６において、
（Ａ）は図５の（Ｃ）に相当する表、（Ｂ）は１次元グ
ラフ、（Ｃ）は対応する画像である。以下、図６を用い
て、物体が撮像されるおおよその横方向（ｘ軸方向）の
範囲を求める方法を説明する。

【００２８】図６（Ｂ）において、横軸はｘ方向に定義
したウィンドウの位置、縦軸はそのｘ座標位置で視差＝
１５となったウィンドウの個数である。この図では、
(8)〜(16)番目の値が高い。このことは(8)〜(16)番目の
間に高さをもつ物体が撮像されていることを示してい
る。また、グラフ内の横線は、物体が撮像されているか
否かを判断するために設けたしきい値である。しきい値
は、例えば次の方法で設定すればよい。すなわち、表の
値は画像上に撮像される物体の高さに比例し、画像上の
物体の高さは実際の物体の高さを一定とすると物体まで
の距離に反比例する。このことから、物体までの距離に
応じて画像上の高さを計算し、その高さに含まれるウィ
ンドウの個数を基準にヒストグラムのしきい値を設定す
ることができる。例えば、図６（Ｂ）では、しきい値を
５.５に設定している。したがって、しきい値以上の値
を持つ位置は(8)〜(16)番目のウィンドウであるので、
前方の物体が撮像されるおおよその横方向の範囲は(8)
〜(16)番目のウィンドウの間であると求められる。上記
のように先行車が撮像されている横方向の範囲をｘｌ〜
ｘｒとする。

【００２９】次に、図７は、一方の画像に撮像された先
行車の上下端の撮像された位置と先行車までの距離の関
係を表す図であり、（Ａ）は側面図、（Ｂ）は撮像面Ａ
の画像例である。先行車までの距離Ｚが分かっている場
合、路面からカメラまでの高さをＨ、先行車の高さをｈ
とすると、図７より、その先行車の上下端（ｙｕ，ｙ
ｄ）は、ほぼ、下記（数２）式の位置に撮像される。な
お、ここでは下端ｙｄはほぼ路面と同じ高さとみなす。

【００３０】ｙｕ＝ｆ×（ｈ−Ｈ）／Ｚ，ｙｄ＝−ｆ×Ｈ／Ｚ …（数２）図８は、先行車上に上記の上下端（ｙｕ、ｙｄ）を含む
程度の大きさで縦長のウィンドウを切り、それぞれにお
いて各ｙ座標毎に水平エッジのヒストグラムと輝度のヒ
ストグラムを求めた様子を示す図であり、（Ａ）は原画
像上に設けた縦長のウィンドウと輝度ヒストグラムの一
例、（Ｂ）は先行車の存在位置を水平微分したエッジと
水平エッジのヒストグラムの一例、（Ｃ）は（Ｂ）にお
ける〜のウィンドウの各水平エッジのヒストグラム
を示す。

【００３１】これらの縦長のウィンドウを定義する横方
向の位置は、前記図６の距離画像から検出した先行車が
撮像される範囲ｘｌ〜ｘｒの間とすればよい。また、ウ
ィンドウを定義する縦方向の位置は、前記（数２）式で
求めた値をもとに、上下端ｙｕ、ｙｄが含まれる程度の
大きさ（上がｙｕ＋α、下がｙｄ−α ただしαは所定
の余裕値）とする。このとき、（数２）式の先行車の高
さｈは、通常、未知の値であるが、一般的な車両の高さ
を考え、１〜２ｍ程度の範囲の適度な値で十分である。

【００３２】先行車は長い横エッジをもつ。そのため、
先行車上にウィンドウを定義すると、図８の中央部の
の３個所に定義したウィンドウでは、その水平エッ
ジのヒストグラムがともほぼ同じ形状となる。同
様に輝度のヒストグラムもともほぼ同じ形状とな
る。ここでは、距離画像と（数２）式より、先行車が存
在し得る付近に限定してウィンドウを設けているため、
定義ウィンドウのうちヒストグラムがほぼ同じ形状とな
るウィンドウでヒストグラムがピークとなるエッジは先
行車上のエッジであると判断でき、かつ、それらのう
ち、最上端のエッジは先行車の上端、最下端のエッジは
先行車の下端となる。

【００３３】次に、図９に基づいて下端エッジの他の検
出方法を説明する。先行車の下には影ができる。そのた
め、先行車の下端の直下から路面までの間の輝度は非常
に暗くなる。したがって、まず、水平エッジヒストグラ
ムの高い位置を求め、それらのエッジの中でエッジの直
下の輝度ヒストグラムの値が、ある範囲で低い所を先行
車の下端と判断する。これにより、前記図８で説明した
方法よりも確実に下端エッジを検出できるようになる。

【００３４】次に、図１０に基づいて上端エッジの他の
検出方法を説明する。車両は、路面に平行な長いエッジ
をもつ。また、同じ距離に存在するエッジは同じ視差と
なるため、先行車上のエッジは２台のカメラにおいて同
じ間隔で存在する。例えば、図１０（Ａ）に示すよう
に、先行車の下端エッジから上端エッジまでの間隔は、
２台のカメラで撮像したステレオ画像間で同じ間隔とな
る。一方、図１０（Ｂ）のように定義ウィンドウ内に遠
方の歩道橋がある場合、この歩道橋のエッジは先行車上
のエッジに対して距離の異なる場所にあるため、先行車
の下端から歩道橋のエッジまでの距離は２台のステレオ
カメラ間で異なる。つまり、図９の方法で検出した最下
端エッジから、垂直に上側にエッジを探索したときに、
２台のカメラにおいて同じ間隔で存在するエッジは同じ
車両上のエッジであるとみなすことができる。このこと
から、ウィンドウ内にあり最下端からの画像上の距離が
ステレオ画像間で同じエッジ（両画像に同じ間隔で同じ
本数存在する）のうち、最も上にあるエッジを先行車の
最上端として検出することができる。これにより、図８
で説明した方法よりも確実に先行車の上端エッジを検出
可能となる。

【００３５】次に、先行車の上下端の間隔の変化から車
間距離の変化を検出する方法について説明する。カメラ
から先行車までの距離Ｚは、前記図２の原理により求め
ることができる。また、前記図７から判るように、先行
車の画像上の高さ（ｙｕ−ｙｄ）は、先行車までの距離
に反比例する。このことから、時刻ｔにおいてステレオ
視差から求めた距離をＺ_t、その時刻での画像上の先行
車の高さを（ｙｕ_t−ｙｄ_t）、時刻ｔ−１に距離画像か
ら求めた車間距離をＺ_t-1、その時刻での画像上の先行
車の高さを（ｙｕ_t-1−ｙｄ_t-1）とすると、下記（数
３）式の関係が成り立つ。

【００３６】Ｚ_t／Ｚ_t-1＝（ｙｕ_t-1−ｙｄ_t-1）／（ｙｕ_t−ｙｄ_t） …（数３）上記（数３）式から判るように、異なった二つの時刻ｔ
とｔ−１とで距離画像から求めた車間距離の比は、それ
ぞれの時刻で求めた画像上の先行車の高さの比の逆数に
等しくなる。したがって各演算（または所定回数）毎に
距離画像から求めた車間距離の比の値と画像上の先行車
の高さの比の逆数とが等しくなるか否か（具体的には所
定しきい値内で数３式の両辺が一致するか否か）を確認
することにより、距離画像に基づいてステレオ視差で求
めた車間距離の正確性を判定することが可能となる。ま
た、（数３）式の値がしきい値以上となったときは、ど
ちらかの検出の誤検出または先行車が入れ替わったもの
と判断できる。

【００３７】また、通常は未知の値である先行車の高さ
（図７のｈ）は、先行車までの距離と画像上の先行車の
高さ（ｙｕ−ｙｄ）とから、下記（数４）式より求める
ことができる。ｈ＝Ｚ×（ｙｕ−ｙｄ）／ｆ …（数４）ただし、ｆ：焦点距離そして追従中の先行車の高さｈは一定であるので、同じ
車両を追従中の場合には、１度先行車の高さｈを求めて
おけば、そのｈをもとに、演算ごとに検出した先行車の
画像上の高さ（ｙｕ−ｙｄ）を、下記（数５）式に代入
することで、先行車の高さからも車間距離Ｚの算出が可
能となる。

【００３８】Ｚ＝ｈ・ｆ／（ｙｕ−ｙｄ） …（数５）ただし、ｈ：（数４）式で算出した値つまり、同じ車両に追従中であれば、先行車の高さから
も車間距離Ｚを求めることができ、この方法で求めた距
離Ｚとステレオ視差で求めた距離Ｚを照合することでも
車間距離の値の正確さを確認することが可能となる。

【００３９】また、図１１に示すように、車載のステレ
オカメラの場合、ｈ＞Ｄ（ｈ：先行車の高さ、Ｄ：２台
のカメラ間の距離）であるため、同じ距離を計測したと
きにおける視差（ｙａ−ｙｂ）（単位：画素）に対して
先行車の画面上の高さ（ｙｕ−ｙｄ）（単位：画素）の
方が大きい。そのため、（数５）式を用いた距離計測の
方が、ステレオ視差からの計測距離よりも分解能の高い
細かな測距が可能となる。

【００４０】すなわち、図１１（Ａ）に示すように、ス
テレオ視差を用いた測距においては、視差（ｙａ−ｙ
ｂ）が小さいので分解能が粗く、そのためｙａ−ｙｂの
１画素のずれが計測距離の大きな誤差となる。それに対
して、図１１（Ｂ）に示す先行車の画面上の高さ（ｙｕ
−ｙｄ）を用いた測距においては、ｙｕ−ｙｄが大きい
ので分解能が高く、そのためｙｕ−ｙｄが１画素分ずれ
ても大きな誤差は生じない。上記のことから、まず、
距離画像を用いたステレオ画像処理により分解能の粗い
距離を求め、最終段階では、その距離を先行車の高さを
用いた距離計測で再確認することにより、より精度の良
い距離計測を行なうことが可能となる。

【００４１】なお、先行車の画面上の高さ（ｙｕ−ｙ
ｄ）を求める際に、先行車の下端ｙｄを前記図９で説明
した方法で、上端ｙｕを前記図１０で説明した方法で求
めることにより、より確実に二つの値を求めることが可
能となる。これにより、車間距離の確認および距離の算
出がより確実となる。

【００４２】次に、これまで説明した方法を用いて、追
従中の前方の先行車の上下端を検出し、距離の確認を行
なう実施の形態を説明する。ここでは、図２に示したよ
うにカメラを路面に対して縦に平行に並べ、２台のカメ
ラのｙ軸が同一ライン上にのるように配置したステレオ
カメラを用いることとする。なお、２台のカメラを横に
平行に並べた場合においても、距離画像作成の走査方向
を横方向に変更すれば同様の処理が適用できる。

【００４３】図１２は、この実施の形態における演算処
理の流れを示すフローチャートである。まず、ステップ
Ｓ１０１では、図２のカメラＡとＢのステレオ画像、す
なわち画像Ａと画像Ｂを入力する。次に、ステップＳ１
０２では、距離画像を作成し、作成した距離画像から先
行車の位置と距離を検出する（前記図４〜図６参照）。

【００４４】次に、ステップＳ１０３では、距離画像か
ら求めた先行車までの距離Ｚをもとに前記（数２）式に
より、先行車の概略の上下端ｙｕ、ｙｄを求め、ｙｕ、
ｙｄを含む大きさの縦長のウィンドウを設ける（前記図
７、図８参照）。ウィンドウの横方向の大きさは、ｙ座
標毎のヒストグラムが求められるよう１０画素程度以上
とすれば十分である。または、先行車の画像上の大きさ
は距離に応じて可変であるため、その距離に応じて、横
幅が１０画素以上のウィンドウが５個所以上に定義でき
るように適度な大きさで可変としてもよい。また、（数
２）式をもとにウィンドウの上下端の定義位置ｙｕ＋
α、ｙｄ−αを求める際に用いる先行車の高さｈは１〜
２ｍ程度の平均的な値で十分である。また、余裕値αの
値は、そのときの先行車の距離に応じて、先行車の高さ
の５分の１程度のマージンでよい。例えば、（数２）式
より、距離から算出される先行車の画像上の高さが５０
画素程度の場合、αは１０画素程度でよい。

【００４５】次に、ステップＳ１０４では、ステップＳ
１０３で定義した縦長のウィンドウ内の水平エッジのヒ
ストグラムと輝度のヒストグラムを求める（図８参
照）。この際、輝度のヒストグラムは、図８（Ａ）に示
すように、原画像上に切ったウィンドウ内の各ｙ座標毎
に、そのライン上の各画素毎の輝度を加算すればよい。
また、水平エッジのヒストグラムは、図８（Ｂ）に示し
たように、ソーベルフィルタなどでウィンドウ内の画像
を水平微分し、その水平微分画像の各ｙ座標毎のヒスト
グラムをとればよい。

【００４６】次に、ステップＳ１０５では、これらのヒ
ストグラムから先行車の上下端エッジの検出する（図８
参照）。すなわち、図８で定義したウィンドウの全てに
おいて求めた水平エッジのヒストグラムから、半数以上
のウィンドウにおいて同じ位置に検出されているエッジ
を見つける。先行車は路面に対して平行なエッジを持つ
ため、先行車上に設けた複数のウィンドウにおいて同じ
位置に検出されるエッジは先行車のエッジとみなすこと
ができる。このことから、これらエッジの中から、最上
位置にあるものを先行車の上端エッジ、最下端に位置す
るものを先行車の下端エッジとして検出する。

【００４７】ここで、先行車上にウィンドウを複数設け
た理由を説明する。仮に、先行車上に定義するウィンド
ウを一つとすると、そのウィンドウの両端部分に白線が
撮像される場合が多い。通常白線のエッジ強度は先行車
のエッジ強度より強いため、白線の形状によっては、白
線部分の水平エッジヒストグラムが非常に高くなる。そ
のため先行車ではなく白線の位置が検出されることがあ
る。このような誤検出を防ぐため、ステップＳ１０４で
は、ウィンドウを複数設け、複数のウィンドウにおいて
同じ位置に検出されたエッジを先行車上のエッジと判断
している。この方法では、白線が含まれるウィンドウ
は、複数のウィンドウのうち先行車の両端に定義したウ
ィンドウだけとなるため、白線のエッジが検出されるウ
ィンドウ数が少なくなり、したがって誤検出を防止する
ことが出きる。同様の理由により、白線に限らず、隣接
車線上の前方車両などのように、同一車線の先行車以外
のエッジも除去可能である。

【００４８】また、ステップＳ１０５における上下端検
出を、より確実に求めるためには、図９および図１０の
処理を用いるとよい。まず、図９により最下端を求める
方法を説明する。先行車の下には影ができるため、下端
直下の或る一定の範囲で輝度ヒストグラムの低くなる範
囲ができる。通常、少なくとも、先行車の最下端から路
面まで、つまり、タイヤの半分程度の高さは影となる。
このことから、検出した先行車までの距離Ｚに応じて、
画像上の路面から車両の最下端までの高さ（図９の
ｙ_w）を求め、水平エッジのヒストグラムの値が高く、
かつ、その位置の直下の輝度ヒストグラムの値がほぼｙ
_wの範囲で低いという特徴をもつ位置を先行車の最下端
として検出する。

【００４９】先行車のエッジ検出用のウィンドウを距離
画像とステレオ視差から求めた車間距離によって求めた
先行車上に定義（図８）する場合には、路面表示などに
よる水平エッジとの誤検出は非常に少ないと予想され
る。しかし、停止線を通り過ぎた直後などでは、図８の
定義ウィンドウ内に停止線が含まれる場合もありうる。
これに対し、図９の方法では、黒画素の固まりである影
とそのすぐ上のエッジの存在を判断基準として先行車の
下端を検出するので、路面表示のように、輝度の明るい
部分に存在する水平エッジとの誤検出を防ぐことがで
き、さらに正確な下端検出が行なえる。

【００５０】また、前述のように、先行車のエッジは複
数ウィンドウにおいて同じ位置に検出される。そして先
行車上のエッジの場合、カメラからの距離が同じである
ので、エッジ間の距離が２台のカメラにおいて同じ間隔
になる。このことから、まず、２台のカメラ両方におい
て、複数ウィンドウにまたがる水平エッジを検出し、そ
の中から図９の方法で検出した最下端エッジからの距離
がステレオ画像間において同じであるエッジ（両画像に
同じ間隔で同じ本数存在する）を先行車上のエッジと判
断する。次に、それらのエッジのうち、最も上に位置す
るエッジを先行車の最上端エッジとする。この方法によ
り、図１０を用いた前述の説明のように、遠方の歩道橋
などのように、先行車とは距離の異なる位置にある水平
エッジとの誤検出を防ぐことができ、より確実に先行車
の最上端エッジを求めることが可能となる。

【００５１】次に、ステップＳ１０６では、先行車の高
さの変化から車間距離の変化を求める。連続画像処理に
おいて、毎回の演算処理ごとにステレオ視差により求め
た距離Ｚを保存する。また、図８〜図１０の方法で検出
した先行車の画面上の高さｙｕ−ｙｄも保存する。この
保存した値を用いて、新しく入力した画像で求めた視差
から計測した距離Ｚと、直前、もしくは所定回数ｎ回分
前に視差から求めた距離との変化、および新しく入力し
た画像から求めた最新の先行車の高さｙｕ−ｙｄと、直
前、もしくは所定回数ｎ回前に求めた高さとの変化を用
いて、前記（数３）式の関係が成り立つことを確認す
る。具体的には（数３）式の両辺の差が、所定のしきい
値以下であれば、確実な距離測定および高さ測定ができ
ていると判断できる。

【００５２】また、（数３）式の等式が数回同じである
ことを観測したときは、同じ先行車に追従中であると判
断できる。この場合には、前記（数４）式により、追従
中の先行車の高さｈを求め、ステレオ視差での距離計測
と同時に、先行車の高さ変化による距離の計測も行な
う。通常、車載のステレオカメラの場合、ｈ＞Ｄ（ｈ：
先行車の高さ、Ｄ：カメラ間の距離）であるため、同じ
距離を計測したときにおける視差（ｙａ−ｙｂ）に対し
て先行車の高さ（ｙｕ−ｙｄ）の方が大きくなる。その
ため、（数５）式で求めた距離計測の方が距離分解能の
高い精密な測距が可能となる（図１１参照）。

【００５３】上記の内容を標準的な具体的数値を用いて
説明する。例えば、眼間距離Ｄ：０.２ｍ、ｆ＝１００
０画素、先行車の高さｈ＝１ｍにおいて、車間距離が１
０ｍの場合を考える。このとき、先行車のステレオ視差
は２０画素（＝０.２×１０００／１０）、画像上の先
行車の高さは１００画素（＝１×１０００／１０）とな
る。この二つにおいて、視差と先行車の高さ検出とがそ
れぞれ１画素ずれたときを考える。ステレオ視差の場合
には、２０画素が１９画素となるので、車間距離が１
０.５２ｍ（＝０.２×１０００／１９）と計測されるの
に対し、高さ計測の場合には、１００画素が９９画素と
なるので、車間距離が１０.１ｍ（＝１×１０００／９
９）と計測される。つまり、１画素のずれによる検出誤
差が、ステレオ画像処理では０.５ｍであるのに対し、
高さ計測では０.１ｍとなる。

【００５４】視差や画像上の高さの検出の１画素のずれ
は計測する距離分解能に相当する。つまり、車載のステ
レオカメラによる先行車までの車間距離計測の場合、先
行車の高さよりも広い眼間距離を持つカメラ設定は実際
上不可能であるため、先行車の高さ変化を用いた計測の
方がステレオ視差を利用した計測よりも分解能の高い計
測が可能である。このことから、追従中の先行車までの
車間距離を二つの方法で照合し、かつ、ステレオ視差よ
りも高精度な距離計測が可能になる。

【００５５】また、（数３）式の値がしきい値以上とな
ったときは、どちらかの検出の誤検出または先行車の入
れ替わりと判断できるので、その次に、（数３）式の値
が連続してしきい値以下と観測されたときに、（数４）
式によりｈの値を新しい値に更新する。この車間距離の
確認の際に用いるための先行車の高さの検出は、前述の
図８の方法でよい。また、下端を図９の方法、上端を図
１０の方法で求めることにより、より確実に求めること
も可能となる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の構成を示すブロック
図。

【図２】ステレオ画像を用いて三角測量の原理でカメラ
から検出対象までの距離を求める原理を説明する図。

【図３】ステレオ画像の両画像の対応する位置毎の視差
を求めた結果を示す図。

【図４】距離画像上の或るウィンドウで求めた視差とそ
のウィンドウの横方向の位置に基づいて、対応する表中
の位置に投票する様子を表した図。

【図５】投票を全てのウィンドウにおいて行った結果を
示す図であり、（Ａ）は上画像、（Ｂ）は視差の表、
（Ｃ）は投票用の表。

【図６】図５の投票結果から視差１５の部分を抜き出し
て１次元グラフとしてあらわした図であり、（Ａ）は図
５の（Ｃ）に相当する表、（Ｂ）は１次元グラフ、
（Ｃ）は対応する画像。

【図７】一方の画像に撮像された先行車の上下端の撮像
された位置と先行車までの距離の関係を表す図であり、
（Ａ）は側面図、（Ｂ）は撮像面Ａの画像例。

【図８】先行車上に設けた縦長のウィンドウのそれぞれ
において各ｙ座標毎に水平エッジのヒストグラムと輝度
のヒストグラムの求めた様子を示す図であり、（Ａ）は
原画像上に設けた縦長のウィンドウと輝度ヒストグラム
の一例、（Ｂ）は先行車の存在位置を水平微分したエッ
ジと水平エッジのヒストグラムの一例、（Ｃ）は（Ｂ）
における〜のウィンドウの各水平エッジのヒストグ
ラム。

【図９】先行車の下端検出方法の説明図。

【図１０】先行車の上端検出方法の説明図。

【図１１】ステレオ視差と先行車の高さを用いた車間距
離計測の計測距離分解能の比較説明図。

【図１２】本発明の実施の形態における演算処理の流れ
を示すフローチャート。

【符号の説明】

１、２…カメラ３、４…画像メモリ５…演算部６…検出対象物（先行車）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 Ｂ６０Ｒ 21/00 ６２４Ｃ９Ａ００１Ｇ０８Ｇ 1/01 Ｇ０６Ｆ 15/62 ４１５ 15/70 ４６０ＡＦターム(参考） 2F065 AA04 AA12 AA22 AA24 CC11 DD03 FF01 FF05 JJ03 JJ05 JJ19 JJ26 QQ24 QQ25 QQ26 QQ29 QQ36 QQ43 2F112 AC06 BA01 CA05 FA19 FA36 FA41 5B057 AA16 DA07 DB03 DC16 DC19 DC23 DC32 5H180 AA01 BB05 CC24 EE07 LL01 LL04 5L096 AA09 BA04 CA05 FA03 FA35 FA37 FA66 GA08 GA19 JA06 9A001 GG03 GG05 HH28 JJ77 KK37

Claims

【特許請求の範囲】

【請求項１】車両に搭載された二つの電子式カメラから
なり、両カメラが共に車両前方または後方に向けて相互
に光軸が平行になるように設置されたカメラと、一方のカメラの画像を所定の大きさのウィンドウ領域毎
に分割し、各ウィンドウ領域毎に、他方の画像において
その領域と最も一致度が高い領域を検出し、最も一致度
が高い両領域の位置の差から各領域毎の視差を求める視
差演算手段と、前記の視差に基づいて、撮像された先行車までの距離
と、画像上で先行車が撮像された位置とを求める距離・
位置演算手段と、前記画像上で先行車が撮像された位置に先行車の上下端
を含む大きさの縦長のウィンドウを複数設定するウィン
ドウ設定手段と、前記複数の全てのウィンドウにおいて各ｙ座標毎の水平
エッジと輝度のヒストグラムとを求めるヒストグラム演
算手段と、前記ヒストグラムから先行車の上端と下端とを検出する
上下端検出手段と、を備えたことを特徴とする先行車の高さおよび車間距離
計測装置。
【請求項２】前記上下端検出手段は、前記ヒストグラム
演算手段で求めたヒストグラムに基づいて、前記の設定
した複数のウィンドウについて水平エッジのヒストグラ
ムと輝度のヒストグラムとがそれぞれほぼ同じ形状とな
るウィンドウでヒストグラムがピークとなるエッジを先
行車上のエッジであると判断し、それらのエッジのう
ち、最上端のエッジを先行車の上端、最下端のエッジを
先行車の下端として検出するものである、ことを特徴と
する請求項１に記載の先行車の高さおよび車間距離計測
装置。
【請求項３】前記上下端検出手段は、前記ヒストグラム
演算手段で求めたヒストグラムに基づいて、当該位置の
水平エッジのヒストグラムが他の位置よりも大きく、か
つ、当該位置より下方の輝度ヒストグラムが一定の範囲
で他の位置よりも低くなっている当該位置を先行車の下
端と判断するものである、ことを特徴とする請求項１に
記載の先行車の高さおよび車間距離計測装置。
【請求項４】前記上下端検出手段は、前記ヒストグラム
演算手段で求めたヒストグラムに基づいて、請求項３で
求めた下端から上に位置するエッジであって前記二つの
カメラの画像について同じ間隔で同じ本数だけ存在する
エッジを求め、それらのエッジのうち最上位置のエッジ
を先行車の上端と判断するものである、ことを特徴とす
る請求項１または請求項３に記載の先行車の高さおよび
車間距離計測装置。
【請求項５】前記上下端検出手段で求める先行車の上端
と下端との間隔に相当する画像上の先行車の高さと、前
記距離・位置演算手段で求める視差に応じた車間距離
と、を異なった二つの時点でそれぞれ求め、その求めた
二つの車間距離の比の値と二つの先行車の高さの比の逆
数の値とが所定のしきい値以内で一致しているか否かを
判定することにより、距離計測の正確性を判定する判定
手段を備えたことを特徴とする請求項１乃至請求項４の
何れかに記載の先行車の高さおよび車間距離計測装置。
【請求項６】前記上下端検出手段で求めた上端と下端の
間隔および前記距離・位置演算手段で求めた先行車まで
の距離に基づいて演算した先行車の高さと、前記上下端
検出手段で求めた上端と下端の間隔とに応じて、先行車
と自車との車間距離を演算する車間距離演算手段を備え
たことを特徴とする請求項１乃至請求項５の何れかに記
載の先行車の高さおよび車間距離計測装置。
【請求項７】請求項１において距離・位置演算手段で視
差に基づいて求めた車間距離と請求項６において求めた
車間距離とを比較することにより、距離計測の正確性を
判定する判定手段を備えたことを特徴とする請求項１乃
至請求項６の何れかに記載の先行車の高さおよび車間距
離計測装置。