JP6756101B2 - 物体認識装置 - Google Patents

Description

本発明は、物体認識装置に関する。

従来、車両周辺の撮像画像から物体を認識する技術に関する文献として下記の特許文献１が知られている。この特許文献１には、撮像画像に道路上に描かれた菱形マーク（前方に横断歩道があることを示すマーク）等の道路標示が含まれる場合、法令上で定められた道路標示の横幅と撮像画像における道路標示の横幅に基づいて、車両から道路標示までの距離を算出する装置が示されている。この装置では、算出した車両から道路標示までの距離を利用して、撮像画像に含まれる物体の位置を計測している。

特開２０１２−１５９４７０号公報

ところで、上述した従来の装置においては、車両から道路標示までの距離を求めるために、撮像画像上の道路標示の横幅を用いている。このため、撮像画像上の横幅から当該距離に変換するときに幅１ピクセル毎の誤差（例えば距離１５ｍで１０ｃｍ程度、距離３０ｍで５０ｃｍ程度の誤差）が計算結果に含まれてしまう。その結果、物体の位置の測定精度が低下するおそれがあった。

そこで、本技術分野では、撮像画像から物体の位置を精度良く算出することができる物体認識装置を提供することが望まれている。

本発明の一態様は、車両の周囲を撮像して得られた撮像画像に基づいて、車両の周囲の物体を認識する物体認識装置であって、地図上の車両の位置を認識する車両位置認識部と、地図上のランドマークの位置情報を記憶する記憶部と、撮像画像、地図上の車両の位置、及び地図上のランドマークの位置情報に基づいて、撮像画像上のランドマークの位置座標を認識するランドマーク認識部と、撮像画像に基づいて、撮像画像上の物体の位置座標を認識する物体認識部と、撮像画像上の物体の位置座標、撮像画像上のランドマークの位置座標、及び地図上のランドマークの位置情報に基づいて、同じ撮像画像上におけるランドマークと物体の位置関係を利用して地図上の物体の位置を算出する物体位置算出部と、を備える。

以上説明したように、本発明によれば、撮像画像から物体の位置を精度良く算出することができる。

本実施形態に係る物体認識装置を示すブロック図である。 撮像画像に含まれるランドマークの認識を説明するための図である。 物体認識装置の物体位置算出処理を示すフローチャートである。 白線点を用いたランドマークの位置座標の認識処理を示すフローチャートである。 （ａ）地図上の白線点を示す平面図である。（ｂ）撮像画像に投影した白線点を示す図である。 ランドマークが白線の場合の物体の位置の算出処理を示すフローチャートである。 （ａ）撮像画像上の交点Ｌ、Ｒの位置座標の求め方を説明するための図である。（ｂ）地図上の交点Ｌ、Ｒの位置の求め方を説明するための平面図である。 （ａ）交点Ｌのｘ軸座標の求め方を説明するためのグラフである。（ｂ）交点Ｌのｙ軸座標の求め方を説明するためのグラフである。 （ａ）三つのランドマークを用いた物体の位置の求め方の一例を説明するための図である。（ｂ）三つのランドマークを用いた物体の位置の求め方の他の例を説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。

図１に示す本実施形態に係る物体認識装置１００は、乗用車等の車両に搭載され、車両の周囲を撮像して得られた撮像画像に基づいて物体を認識する装置である。物体とは、車両と衝突するおそれのある障害物である。物体には、他車両（駐車車両も含む）、歩行者、自転車、電柱等の構造物が含まれる。物体認識装置１００は、車両の周囲の撮像画像から物体の位置を算出する。

［物体認識装置の構成］
図１に示すように、物体認識装置１００は、ＥＣＵ[Engine Control Unit]１０を備えている。ＥＣＵ１０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵ１０では、ＲＯＭに記憶されているプログラムをＣＡＮ通信回路を介してＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。ＥＣＵ１０は、複数の電子制御ユニットから構成されていてもよい。ＥＣＵ１０には、単眼カメラ１、地図情報記憶部２、ランドマーク情報記憶部３、及びＧＰＳ受信部４が接続されている。

単眼カメラ１は、車両の外部を撮像する撮像機器（例えばＣＣＤカメラ、ＣＭＯＳカメラ）である。単眼カメラ１は、車両のフロントガラスの裏側に配置され、所定の画角で車両の前方（進行方向）を撮像する。単眼カメラ１は、車両の前方の撮像画像をＥＣＵ１０へ送信する。単眼カメラ１は、車両の背面、車両の左側面、及び車両の右側面に設けられていてもよい。この場合、単眼カメラ１は、車両の後方、車両の左側方、及び車両の右側方を撮像する。

地図情報記憶部２は、地図情報を備えたデータベースである。地図情報記憶部２は、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報、及び建物の位置情報等が含まれる。なお、地図情報記憶部２は、車両と通信可能な情報処理センター等の施設のコンピュータに記憶されていてもよい。

ランドマーク情報記憶部３は、ランドマークの情報を備えたデータベースである。ランドマーク情報記憶部３は、車両に搭載されたＨＤＤ内に形成されている。ランドマークとは、道路面上（車両通行帯以外の路面上も含む）で位置が固定され、物体の位置の算出の基準となるものである。ランドマークには、道路標識、及び道路標示が含まれる。道路標識には、案内標識、警戒標識、規制標識、指示標識等がある。道路標示には、規制標示と指示標示が含まれる。規制標示には、転回禁止マーク、最高速度マーク等がある。指示標示には、白線（車道中央線、車道外側線、車線境界線等）、前方に横断歩道があることを示す菱形マーク、前方に優先道路があることを示す三角マーク、進行方向マーク等がある。

ランドマーク情報記憶部３は、地図上のランドマークの位置情報を記憶している。すなわち、ランドマーク情報記憶部３は、地図情報記憶部２の記憶している地図情報に関連付けられたランドマークの位置情報を記憶している。また、ランドマーク情報記憶部３は、撮像画像からランドマークを認識するためのランドマークの画像情報を記憶している。ランドマークの画像情報とは、後述するパターン認識に用いられる画像の特徴の情報である。ランドマークの画像情報には、道路標識の形状、道路標示の形状等が含まれる。

ランドマーク情報記憶部３は、ランドマークの位置情報と当該ランドマークの画像情報を関連付けて記憶している。なお、ランドマーク情報記憶部３は、車両と通信可能な情報処理センター等の施設のコンピュータに記憶されていてもよい。また、地図情報記憶部２が地図情報に加えて、ランドマークの位置情報及びランドマークの画像情報を記憶する態様であってもよい。

ＧＰＳ受信部４は、車両に搭載され、車両の位置を測定する位置測定部として機能する。ＧＰＳ受信部４は、３個以上のＧＰＳ衛星から信号を受信することにより、車両の位置（例えば車両Ｍの緯度及び経度）を測定する。ＧＰＳ受信部４は、測定した車両の位置の情報をＥＣＵ１０へ送信する。

次に、ＥＣＵ１０の機能的構成について説明する。ＥＣＵ１０は、車両位置認識部１１、ランドマーク認識部１２、物体認識部１３、及び物体位置算出部１４を有している。

車両位置認識部１１は、地図情報記憶部２の地図情報及びＧＰＳ受信部４の位置情報に基づいて、地図上の車両の位置を認識する。車両位置認識部１１は、ＧＰＳ受信部４の位置情報の時間変化に基づいて、地図上の車両の向きを認識する。なお、車両位置認識部１１は必ずしも車両の向きを認識する必要はない。

ランドマーク認識部１２は、単眼カメラ１の撮像した撮像画像に含まれるランドマークを認識する。ランドマーク認識部１２は、ランドマーク情報記憶部３の記憶しているランドマークの位置情報及びランドマークの画像情報と、車両位置認識部１１の認識した地図上の車両の位置及び向きとに基づいて、撮像画像に含まれるランドマークを認識する。

ここで、図２は、撮像画像に含まれるランドマークの認識を説明するための図である。図２に、撮像画像、白線Ｗ１、Ｗ２、菱形マーク（道路標示）Ｄ、道路標識Ｒｓ、道路標識Ｒｓの根本Ｒｔを示す。また、撮像画像の横方向をｕ軸方向、撮像画像の縦方向をｖ軸方向としてｕｖ直交座標系を示す。本実施形態においては、撮像画像のｕ軸方向は車両の車幅方向（左右方向）に相当する。

図２に示す撮像画像において、ランドマーク認識部１２は、地図上の車両の位置及び向きと、地図上のランドマークの位置情報とに基づいて、記憶されているランドマークの中から単眼カメラ１の撮像方向に位置するランドマークを抽出する。ランドマーク認識部１２は、抽出したランドマークに関してランドマーク情報記憶部３が記憶しているランドマークの画像情報に基づき、パターン認識を行なうことにより、撮像画像に含まれるランドマークを認識する。

パターン認識は、認識したいランドマークの画像の特徴（画像情報に含まれる）を予め学習しておき、撮像画像から切り出した部分画像の特徴と学習したランドマークの画像の特徴を比較し、十分に近い場合に切り出した部分をランドマークとみなす。なお、このパターン認識は、撮像画像からの物体認識にも用いられる。

ランドマークのうち、路面に描かれた道路標示については、エッジ抽出を利用して認識してもよい。撮像画像のｕ軸方向（車両の車幅方向）において、画素（ピクセル）の輝度が急変する箇所をエッジとして抽出することで、路面におけるエッジの情報と道路標示の画像情報から道路標示を認識することができる。

ランドマーク認識部１２は、パターン認識又はエッジ抽出により、図２に示す白線Ｗ１、Ｗ２、菱形マークＤ、及び道路標識Ｒｓをランドマークとして認識する。ランドマーク認識部１２は、認識したランドマークの撮像画像上の位置座標（ｕ軸座標、ｖ軸座標）を認識する。道路標示である菱形マークＤの位置座標は、撮像画像上における菱形マークＤの中心の座標とすることができる。道路標識Ｒｓの位置座標は、撮像画像上における道路標識Ｒｓの根本Ｒｔの座標とすることができる。白線Ｗ１、Ｗ２の位置座標については後述する。ランドマーク認識部１２は、同一のランドマークについて、撮像画像上のランドマークの位置座標と地図上のランドマークの位置情報を関連付けて認識する。

物体認識部１３は、単眼カメラ１の撮像した撮像画像に基づいて、撮像画像に含まれる物体を認識する。物体認識部１３は、上述したパターン認識及びエッジ抽出を用いて、物体を認識する。物体認識部１３は、周知の手法を用いて、撮像画像に含まれる物体の認識を行うことができる。物体認識部１３は、撮像画像上の物体の位置座標（ｕ軸座標、ｖ軸座標）を認識する。物体の位置座標は、撮像画像上における物体の下辺（下端）の中心の座標とすることができる。

物体位置算出部１４は、物体認識部１３が認識した撮像画像上の物体の位置座標、ランドマーク認識部１２が認識した撮像画像上におけるランドマークの位置座標、地図上のランドマークの位置情報に基づいて、地図上の物体の位置を算出する。物体位置算出部１４は、撮像画像上におけるランドマークと物体の位置関係を利用して、地図上の物体の位置を算出する。物体の位置の算出について詳しくは後述する。

［物体認識装置の物体位置算出処理］
以下、本実施形態に係る物体認識装置１００の物体位置算出処理について説明する。図３は、物体認識装置１００の物体位置算出処理を示すフローチャートである。図３に示すフローチャートは、運転者により車両のエンジンが始動された場合に開始される。

図３に示すように、物体認識装置１００のＥＣＵ１０は、Ｓ１０において、物体認識部１３によって撮像画像に含まれる物体を認識したか否かを判定する。物体認識部１３は、単眼カメラ１の撮像した車両の周囲の撮像画像に基づいて、周知の手法により、他車両等の物体を認識する。

ＥＣＵ１０は、物体が認識されない場合（Ｓ１０：ＮＯ）、今回の処理を終了する。その後、一定時間の経過後に再びＳ１０から処理を繰り返す。ＥＣＵ１０は、撮像画像に含まれる物体が認識された場合（Ｓ１０：ＹＥＳ）、Ｓ１２に移行する。Ｓ１２において、ＥＣＵ１０は、物体認識部１３によって撮像画像上の物体の位置座標（ｕ軸座標、ｖ軸座標）を認識する。その後、Ｓ１４に移行する。

Ｓ１４において、ＥＣＵ１０は、ランドマーク認識部１２によって撮像画像に含まれるランドマークを認識したか否かを判定する。ランドマーク情報記憶部３の記憶しているランドマークの位置情報及び画像情報と、車両位置認識部１１の認識した地図上の車両の位置及び向きとに基づいて、撮像画像に含まれるランドマークを認識する。

ＥＣＵ１０は、ランドマークが認識されない場合（Ｓ１４：ＮＯ）、今回の処理を終了する。その後、一定時間の経過後に再びＳ１０から処理を繰り返す。ＥＣＵ１０は、撮像画像に含まれるランドマークが認識された場合（Ｓ１４：ＹＥＳ）、Ｓ１６に移行する。Ｓ１６において、ＥＣＵ１０は、ランドマーク認識部１２によって撮像画像に含まれるランドマークの撮像画像上の位置座標を認識する。ランドマーク認識部１２は、撮像画像上のランドマークの位置座標と、地図上のランドマークの位置情報とを関連付けて認識する。その後、Ｓ１８に移行する。

Ｓ１８において、ＥＣＵ１０は、物体位置算出部１４において地図上の物体の位置を算出する。物体位置算出部１４は、撮像画像上の物体の位置座標、撮像画像上のランドマークの位置座標、地図上のランドマークの位置情報に基づいて、地図上の物体の位置を算出する。ＥＣＵ１０は、地図上の物体の位置を算出した場合、今回の処理を終了する。その後、一定時間の経過後に再びＳ１０から処理を繰り返す。

［ランドマークが白線の場合の物体位置算出処理］
次に、ランドマークが白線の場合の処理について説明する。ここでは、図３のＳ１６以降の処理について図４を参照して説明する。図４は、白線点を用いたランドマークの位置座標の認識処理を示すフローチャートである。白線点とは、地図上の白線に一定間隔毎にプロットされた点である。白線点は、地図上の白線の位置情報に対応している。図４に示すフローチャートは、ランドマーク認識部１２によって、撮像画像に含まれるランドマークとして白線が認識された場合に開始される。

図４に示すように、ＥＣＵ１０は、Ｓ２０として、ランドマーク認識部１２によって白線点を撮像画像に投影する。ここで、図５（ａ）は、地図上の白線点を示す平面図である。図５（ａ）に、車両Ｍ、車両Ｍの走行する走行車線を形成する二本の白線ｗ１，ｗ２、白線点ａ１〜ａ６を示す。図５（ａ）に示す白線ｗ１，ｗ２は、地図情報記憶部２に記憶された地図情報における白線である。白線点ａ１〜ａ３は、白線ｗ１の位置情報に対応する点である。白線点ａ４〜ａ６は、白線ｗ２の位置情報に対応する点である。また、図５（ａ）において、車両の進行方向（前方向）をｘ軸方向、車両の車幅方向（左右方向）をｙ軸方向としてｘｙ直交座標系を示す。

図５（ａ）に示すように、ランドマーク認識部１２は、ランドマークとして白線を認識した場合、地図上の車両の位置及び向きに基づいて、ランドマーク情報記憶部３に記憶された白線Ｗ１，Ｗ２の位置情報に対応する複数の白線点（白線点ａ１〜ａ６を含む）を認識する。白線点は地図上の位置情報（ｘ軸座標、ｙ軸座標）をそれぞれ有している。

ランドマーク認識部１２は、認識した地図上の白線点を撮像画像に投影する。ランドマーク認識部１２は、周知の手法により、単眼カメラ１のパラメータに応じて、撮像画像上に単眼カメラ１から見た白線点を投影する。単眼カメラ１のパラメータとは、単眼カメラ１の取付高さ、ロール、ピッチ、及びヨーである。これらのパラメータが変化すると、単眼カメラ１から見た白線点の見え方が変化する。

ランドマーク認識部１２は、既に後述するＳ２６で単眼カメラ１のパラメータを変更済みである場合には、変更した単眼カメラ１のパラメータを用いて撮像画像上に白線点を投影する。ランドマーク認識部１２は、図４に示すフローチャートを一度もループしていない場合（一度もＲＥＴＵＲＮに至っていない場合）、単眼カメラ１のパラメータを初期値（予め設定された値）として白線点の投影を行う。ランドマーク認識部１２は、撮像画像上に白線点を投影した場合、Ｓ２２に移行する。

Ｓ２２において、ランドマーク認識部１２は、撮像画像に投影した白線点ａ１〜ａ６と撮像画像の白線Ｗ１，Ｗ２のずれを算出する。ここで、図５（ｂ）は、撮像画像に投影した白線点を示す図である。図５（ｂ）に、撮像画像上の白線Ｗ１，Ｗ２、投影された白線点ａ１〜ａ６、白線Ｗ１と白線点ａ３の差分ｄを示す。差分ｄは、撮像画像のｕ軸方向（横方向）における白線Ｗ１と白線点ａ３の差分（ピクセルの差）である。ランドマーク認識部１２は、全ての白線点のずれを算出した場合、Ｓ２４に移行する。

Ｓ２４において、ランドマーク認識部１２は、終了条件を満たしたか否かを判定する。終了条件は、Ｓ２２で算出された全ての白線点と白線Ｗ１又は白線Ｗ２とのずれが予め設定された閾値以下である場合に満たされる。また、終了条件は、後述するＳ２６における単眼カメラ１のパラメータ変更処理が予め用意された全てのパターン実行された場合に満たされる。終了条件は、Ｓ２０〜Ｓ２４の処理が予め設定された上限回数に達するまで繰り返された場合に満たされてもよい。

ランドマーク認識部１２は、終了条件を満たしていないと判定した場合（Ｓ２４：ＮＯ）、Ｓ２６に移行する。ランドマーク認識部１２は、終了条件を満たしたと判定した場合（Ｓ２４：ＹＥＳ）、Ｓ２８に移行する。

Ｓ２６において、ランドマーク認識部１２は、次のＳ２０において用いる単眼カメラ１のパラメータを変更する。ランドマーク認識部１２は、予め設定されたパターンで単眼カメラ１のパラメータを変更する。ランドマーク認識部１２は、Ｓ２６を実行する度に、ロール、ピッチ、ヨーのいずれかを所定の角度ずつ増やしてもよい。その他、ランドマーク認識部１２は、Ｓ２２で算出した白線点と白線のずれの大きさに応じて、単眼カメラ１のパラメータを変更してもよい。ランドマーク認識部１２は、単眼カメラ１のパラメータを変更した場合、今回の処理を終了する。その後、再びＳ２０から処理を繰り返す。

Ｓ２８において、ランドマーク認識部１２は、撮像画像上の白線点の位置座標と、地図上の白線点の位置情報の関連付けを行う。ランドマーク認識部１２は、図４に示すフローチャートを複数回繰り返した場合には、全ての白線点と白線の間のずれの平均値が最小となったときの撮像画像上の白線点の位置座標を採用する。ランドマーク認識部１２は、ずれが最小となる撮像画像上の白線点の位置座標を、それぞれ対応する地図上の白線点の位置情報と関連付けする。ランドマーク認識部１２は、関連付けを行なった場合、今回の処理を終了する。その後、ＥＣＵ１０は、図６に示す処理を開始する。

図６は、ランドマークが白線の場合の物体の位置の算出処理を示すフローチャートである。図６に示すフローチャートは、図３のＳ１８に対応する。図６に示すフローチャートは、図５に示すＳ２８が終了した場合に開始される。

図６に示すように、ＥＣＵ１０は、Ｓ３０において、物体位置算出部１４によって撮像画像上で物体の左右に位置する交点Ｌ、Ｒの位置座標を算出する。ここで、図７（ａ）は、撮像画像上の交点Ｌ、Ｒの位置座標の求め方を説明するための図である。図７（ａ）に、物体Ｎ、物体Ｎの下辺中心Ｃ、物体Ｎの下辺をｕ軸方向（横方向）に延長した直線Ｅ、白線点ａ１と白線点ａ２を結ぶ直線状の線分Ｋ１、白線点ａ４と白線点ａ５を結ぶ直線状の線分Ｋ２、直線Ｅと線分Ｋ１との交点Ｌ、及び、直線Ｅと線分Ｋ２との交点Ｒを示す。物体Ｎは、一例として車両Ｍの前方を走行する先行車である。この場合、下辺中心Ｃは、先行車の後輪の車幅方向中心の位置に相当する。

図７（ａ）に示すように、白線点ａ４の位置座標を（ｕ４、ｖ４）、白線点ａ５の位置座標を（ｕ５、ｖ５）、交点Ｒの位置座標を（ｕＲ、ｖＲ）とする。同様に、白線点ａ１の位置座標を（ｕ１、ｖ１）、白線点ａ２の位置座標を（ｕ２、ｖ２）、交点Ｒの位置座標を（ｕＬ、ｖＬ）とする。また、物体Ｎの下辺中心Ｃの位置座標を（ｕＣ、ｖＣ）とする。なお、物体Ｎの下辺中心Ｃの位置座標（ｕＣ、ｖＣ）については、図３のＳ１２において物体認識部１３が認識済みである。

図７（ａ）に示すように、撮像画像のｖ軸座標について下辺中心Ｃ、交点Ｌ、及び交点Ｒは一致する。このため、交点Ｌ及び交点Ｒのｖ軸座標は、下辺中心Ｃのｖ軸座標と等しく、ｖＣ＝ｖＬ＝ｖＲの関係から求めることができる。一方で、撮像画像のｕ軸方向については、線分Ｋ１上に白線点ａ１，ａ２及び交点Ｌが位置し、線分Ｋ２上に白線点ａ４，ａ５及び交点Ｒが位置することから、下記の式（１）、式（２）を用いた線形補間により求めることができる。
ｕＬ＝（ｖＬ−ｖ１）／（ｖ２−ｖ１）×ｕ２＋（ｖＬ−ｖ２）／（ｖ１−ｖ２）×ｕ１・・・（１）
ｕＲ＝（ｖＲ−ｖ４）／（ｖ５−ｖ４）×ｕ５＋（ｖＲ−ｖ５）／（ｖ４−ｖ５）×ｕ４・・・（２）

上記の式（１）、式（２）から、交点Ｌ及び交点Ｒのｕ軸座標を求めることができる。このようにして、物体位置算出部１４は、交点Ｌの位置座標（ｕＬ、ｖＬ）及び交点Ｒの位置座標（ｕＲ、ｖＲ）を算出する。その後、物体位置算出部１４は、図６に示すＳ３２に移行する。

Ｓ３２において、物体位置算出部１４は、地図上の交点Ｌの位置（ｘＬ、ｙＬ）及び地図上の交点Ｒの位置（ｘＲ、ｙＲ）を算出する。ここで、図７（ｂ）は地図上の交点Ｌ、Ｒの位置の求め方を説明するための平面図である。図７（ｂ）においては、先行車である物体Ｎの後輪の幅方向中心が、撮像画像における下辺中心Ｃに対応する。地図上のｙ軸方向（左右方向）と撮像画像上のｕ軸方向は同じであるため、直線Ｅは下辺中心Ｃを通りｙ軸方向に延在する直線として表される。また、図７（ｂ）に示すように、地図上においても交点Ｌは、白線点ａ１及び白線点ａ２と同じ線分Ｋ１上に位置する。同様に、地図上においても交点Ｒは、白線点ａ４及び白線点ａ５と同じ線分Ｋ２上に位置する。

図８（ａ）は、交点Ｌのｘ軸座標の求め方を説明するためのグラフである。図８（ａ）のグラフでは、縦軸がｖ軸、横軸がｘ軸となっている。図８（ａ）に示すように、白線点ａ１〜ａ３の位置情報（ランドマーク情報記憶部３が記憶している位置情報）に基づいて、白線点ａ１〜ａ３を通る曲線ｘ＝ｆ（ｖ）をｖの３次式で表すことができる。この３次式には、ラグランジュ補間、ニュートン補間等を用いることができる。この３次式に、交点Ｌのｖ軸座標（ｖＬ）を代入することで、交点Ｌのｘ軸座標（ｘＬ）を求めることができる。なお、交点Ｒのｘ軸座標（ｘＲ）は、交点Ｌのｘ軸座標（ｘＬ）と等しい。

図８（ｂ）は、交点Ｌのｙ軸座標の求め方を説明するためのグラフである。図８（ｂ）のグラフでは、縦軸がｙ軸、横軸がｕ軸となっている。この場合、図８（ｂ）に示すように、白線点ａ１〜ａ３と交点Ｌはほぼ線形の関係が成り立つ。このため、交点Ｌのｙ軸座標（ｙＬ）は、下記の式（３）を用いた線形補間により求めることができる。
ｙＬ＝（ｕＬ−ｕ２）／（ｕ１−ｕ２）×ｙ１＋（ｕ２−ｕ１）／（ｕ２−ｕ１）×ｙ２・・・（３）

同様に、交点Ｒのｙ軸座標（ｙＲ）は、下記の式（４）を用いた線形補間により求めることができる。
ｙＲ＝（ｕＲ−ｕ５）／（ｕ４−ｕ５）×ｙ４＋（ｕＲ−ｕ４）／（ｕ５−ｕ４）×ｙ５・・・（４）

このようにして、物体位置算出部１４は、地図上の交点Ｌの位置（ｘＬ、ｙＬ）及び地図上の交点Ｒの位置（ｘＲ、ｙＲ）を算出する。その後、物体位置算出部１４は、図６に示すＳ３４に移行する。

Ｓ３４において、物体位置算出部１４は、地図上の物体Ｎの位置を算出する。物体位置算出部１４は、撮像画像上の物体Ｎの下辺中心Ｃの位置座標（ｕＣ、ｖＣ）、撮像画像上の交点Ｌの位置座標（ｕＬ、ｖＬ）、撮像画像上の交点Ｒの位置座標（ｕＲ、ｖＲ）、地図上の交点Ｌの位置（ｘＬ、ｙＬ）、及び、地図上の交点Ｒの位置（ｘＲ、ｙＲ）に基づいて、地図上の物体Ｎの下辺中心Ｃの位置を算出する。

ここで、地図上のｘ軸方向と撮像画像上のｕ軸方向を含む二次元平面を考えると、交点Ｌ及び交点Ｒを結ぶ直線Ｅは地図上でもほぼ直線をなしている。このため、物体Ｎの下辺中心Ｃのｘ軸座標は、下記の式（５）を用いた線形補間により求めることができる。
ｘＣ＝（ｕＣ−ｕＲ）／（ｕＬ−ｕＲ）×ｘＬ＋（ｕＣ−ｕＬ）／（ｕＲ−ｕＬ）×ｘＲ・・・（５）

同様に、地図上のｙ軸方向と撮像画像上のｕ軸方向を含む二次元平面を考えると、物体Ｎの下辺中心Ｃのｙ軸座標は、下記の式（６）を用いた線形補間により求めることができる。
ｙＣ＝（ｕＣ−ｕＲ）／（ｕＬ−ｕＲ）×ｙＬ＋（ｕＣ−ｕＬ）／（ｕＲ−ｕＬ）×ｙＲ・・・（６）

このようにして、物体位置算出部１４は、地図上の物体Ｎの下辺中心Ｃの位置（ｘＣ、ｙＣ）を算出することができる。

［物体認識装置の作用効果］
以上説明した本実施形態に係る物体認識装置１００によれば、撮像画像上の物体Ｎの位置座標とランドマークの位置座標を認識し、予め記憶している地図上のランドマークの位置情報を用いて、地図上の物体Ｎの位置を算出することができる。従って、この物体認識装置１００によれば、予め記憶している地図上のランドマークの位置情報を用いるので、撮像画像上のランドマークの大きさ（横幅）と位置から車両とランドマークの距離を求め当該距離を用いて物体の位置を算出する従来の装置と異なり、撮像画像上でランドマークと物体が縦方向に離れるほど位置の算出精度が低下することがなく、撮像画像から地図上の物体Ｎの位置を精度良く算出することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。例えば、単眼カメラ１が車両Ｍの前方を撮像した撮像画像を例に挙げて説明したが、車両の後方、車両の右側方、車両の左側方を撮像した撮像画像についても本発明は適用可能である。

［ランドマークが道路標識又は道路標示の場合の例］
以下、ランドマークが道路標識又は道路標示の場合の例について説明する。図９（ａ）は、三つのランドマークを用いた物体の位置の求め方の一例を説明するための図である。ここでは、三つのランドマークが撮像画像上で物体Ｎを囲むように配置されている場合について説明する。図９（ａ）に示すように、白線に代えてランドマークとして道路標識又は道路標示を用いる場合、ランドマークの位置座標は点（例えば道路標識の根本、道路標示の中心）として示すことができる。

図９（ａ）に、ランドマークの点ｂ１〜ｂ３、物体Ｎ、物体Ｎの下辺中心Ｃ、物体Ｎの下辺を延長した直線Ｅ、点ｂ１及び点ｂ２を結ぶ直線状の線分Ｋ１０、点ｂ２及び点ｂ３を結ぶ直線状の線分Ｋ１１、直線Ｅと線分Ｋ１０の交点Ｌ、及び、直線Ｅと線分Ｋ１１の交点Ｒを示す。ランドマークの点ｂ１〜ｂ３は、ランドマーク認識部１２によって撮像画像上の位置座標（ｕ軸座標、ｖ軸座標）を認識されている。また、ランドマークの点ｂ１〜ｂ３の地図上の位置情報（ｘ軸座標、ｙ軸座標）は、ランドマーク情報記憶部３に記憶されている。また、物体Ｎの下辺中心Ｃは、物体認識部１３によって撮像画像上の位置座標（ｕＣ、ｖＣ）が認識されている。

図９（ａ）に示す状況において、物体位置算出部１４は、ランドマークが白線の場合と同様の手順により、線形補間を利用して撮像画像上の交点Ｌの位置座標（ｕＬ、ｖＬ）を算出する。物体位置算出部１４は、上述した式（１）において、白線点ａ１の位置座標に代えて点ｂ１の位置座標を採用し、白線点ａ２の位置座標に代えて点ｂ２の位置座標を採用することで、交点Ｌのｕ軸座標（ｕＬ）を求めることができる。なお、交点Ｌのｖ軸座標（ｖＬ）は、物体Ｎの下辺中心Ｃのｖ軸座標（ｖＣ）と同じである。同様にして、物体位置算出部１４は、撮像画像上の交点Ｒの位置座標（ｕＲ、ｖＲ）を算出する。

次に、物体位置算出部１４は、ランドマークが白線の場合と同様の手順により、地図上の交点Ｌの位置（ｘＬ、ｙＬ）を算出する。物体位置算出部１４は、上述した式（３）において、白線点ａ１の位置情報に代えて点ｂ１の位置情報を採用し、白線点ａ２の位置情報に代えて点ｂ２の位置情報を採用することで、交点Ｌのｙ軸座標（ｙＬ）を算出することができる。また、物体位置算出部１４は、同様の線形補間により、交点Ｌのｘ軸座標（ｘＬ）を算出する。上述した式（３）においてｙをｘに置き換え、ｕをｖに置き換えて算出することで、交点Ｌのｘ軸座標（ｘＬ）を算出することができる。同様にして、物体位置算出部１４は、地図上の交点Ｒの位置（ｘＲ、ｙＲ）を算出する。

その後、物体位置算出部１４は、ランドマークが白線の場合と同様の手順により、地図上の交点Ｌの位置（ｘＬ、ｙＬ）及び地図上の交点Ｒの位置（ｘＲ、ｙＲ）に基づいて、地図上の物体Ｎの下辺中心Ｃの位置（ｘＣ、ｙＣ）を算出する。

図９（ｂ）は、三つのランドマークを用いた物体の位置の求め方の他の例を説明するための図である。図９（ｂ）に、ランドマークの点ｂ１１〜ｂ１３、物体Ｎ、物体Ｎの下辺中心Ｃ、物体Ｎの下辺を延長した直線Ｅ、点ｂ１１及び点ｂ１２を結ぶ直線状の線分Ｋ２０、点ｂ１２及び点ｂ１３を結ぶ直線状の線分Ｋ２１、直線Ｅと線分Ｋ２０の交点Ｌ、及び、直線Ｅと線分Ｋ２１の交点Ｒを示す。図９（ｂ）に示す状況においても、交点Ｌ及び交点Ｒが得られることから、上述の手順により、地図上の物体Ｎの下辺中心Ｃの位置（ｘＣ、ｙＣ）を算出することができる。

その他、ＥＣＵ１０は、撮像画像上の位置座標と車両Ｍを基準とした地図上の位置（空間的な位置）とを関連付けたマップデータを予め記憶していてもよい。この場合、物体位置算出部１４は、撮像画像上の物体の位置座標と地図上の車両の位置から、地図上の物体の位置を算出する。このとき、物体位置算出部１４は、撮像画像上のランドマークの位置座標と地図上のランドマークの位置情報を利用して、撮像画像上の物体の位置座標と撮像画像上のランドマークの位置座標の関係から地図上の物体の位置の算出結果を補正することで、精度良く物体の位置を算出することができる。

１…単眼カメラ、２…地図情報記憶部、３…ランドマーク情報記憶部、４…ＧＰＳ受信部、１１…車両位置認識部、１２…ランドマーク認識部、１３…物体認識部、１４…物体位置算出部、１００…物体認識装置、ａ１-ａ６…白線点、Ｃ…下辺中心、ｄ…差分、Ｅ…直線、Ｌ，Ｒ…交点、Ｍ…車両、Ｎ…物体、ｗ１，ｗ２，Ｗ１，Ｗ２…白線。

Claims (1)

1. 車両の周囲を撮像して得られた撮像画像に基づいて、前記車両の周囲の物体を認識する物体認識装置であって、
   地図上の前記車両の位置を認識する車両位置認識部と、
   前記地図上のランドマークの位置情報を記憶する記憶部と、
   前記撮像画像、前記地図上の前記車両の位置、及び前記地図上の前記ランドマークの位置情報に基づいて、前記撮像画像上の前記ランドマークの位置座標を認識するランドマーク認識部と、
   前記撮像画像に基づいて、前記撮像画像上の前記物体の位置座標を認識する物体認識部と、
   前記撮像画像上の前記物体の位置座標、前記撮像画像上の前記ランドマークの位置座標、及び前記地図上の前記ランドマークの位置情報に基づいて、同じ前記撮像画像上における前記ランドマークと前記物体の位置関係を利用して前記地図上の前記物体の位置を算出する物体位置算出部と、
   を備える物体認識装置。

Images