JP6466679B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関する。

従来、物体検出に関し、米国特許第８５４８２２９号明細書に記載されるように、撮像した画像をステレオ画像処理することにより視差画像を生成し、その視差画像に基づいて深度マップを生成する技術が知られている。この物体検出技術は、深度マップにおいて距離の近い画素を複数のセグメントにグループ化し、各セグメントについてオプティカルフローなどにより移動情報を取得し、そのようなセグメントの情報に基づいて車両周囲の物体を検出し、その物体が衝突するまでの時間を推定しようとするものである。

米国特許第８５４８２２９号明細書

上述した物体検出技術においては、距離情報に基づいてグループ化されたセグメントに対し移動情報を対応付ける処理について詳細な手法が記載されていないが、この対応付ける処理として、セグメントを構成する各画素についてそれぞれ移動情報を対応付けることが考えられる。

そのように対応付け処理を行う場合、画素ごとに移動情報を対応付けようとすると、その対応付け処理の負荷が大きくなる。これに対し、複数の画素に対し一つの移動情報を間引いて対応付けることも考えられるが、画像全体に対する移動情報が減少するため、物体検出精度が低下することが懸念される。

そこで、本技術分野において、物体検出精度の低下を抑制しつつ物体検出処理の負荷を低減できるような物体検出装置の開発が望まれている。

すなわち、本発明の一側面における物体検出装置は、車両に搭載されたカメラにより撮像された画像を用いて前記車両の周囲の物体を検出する物体検出装置において、前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得部と、前記奥行距離情報に基づいて複数の前記画素領域をグループ化するグループ化処理部と、前記画像に対し前記画素領域ごとに、前記画像上における被撮像体の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得部と、前記グループ化処理部にてグループ化された前記画素領域に対し前記移動情報取得部にて取得された前記オプティカルフローを対応付ける対応付け部と、前記対応付け部により対応付けられた前記オプティカルフローを用いて前記車両の周囲の物体の移動状態を検出する物体検出部と、を備え、前記対応付け部は、前記奥行距離が近い前記画素領域のグループほど前記画像の単位面積当たりの前記オプティカルフローの対応付けの数を少なくして、前記オプティカルフローの対応付けを行い、前記グループ化された前記画素領域が立体物であるかを示す信頼度に基づいて前記オプティカルフローの対応付けの数を変更して、前記オプティカルフローの対応付けを行うように構成される。

このような装置によれば、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付け数を少なくしてオプティカルフローの対応付けが行われる。これにより、奥行距離の近い画素領域のグループほど画像処理の負荷が低減される。このとき、奥行距離の近い画素領域のグループは物体が画像上で大きく表示されるため、オプティカルフローの対応付け数を少なくしても物体の検出精度が大きく低下することはない。従って、奥行距離が近い画素領域のグループにおける物体検出精度の低下を抑制しつつ物体検出処理の負荷を低減させることが可能となる。
また、この物体検出装置において、画像上の位置に応じた、グループ化された画素領域の奥行距離情報に対応する値である視差の変化状態に基づいて前記信頼度を設定してもよい。
また、この物体検出装置において、視差の変化状態が大きい時の信頼度と比較して、視差の変化状態が小さい時の信頼度を高くし、信頼度が高いほどオプティカルフローの対応付けの数を多くしてもよい。

また、この物体検出装置において、対応付け部は、実空間において予め設定された間隔でオプティカルフローが対応付けられるように、画素領域に対しオプティカルフローを対応付けてもよい。この場合、実空間において予め設定された間隔でオプティカルフローが対応付けられるように画像上でオプティカルフローの対応付けを行うことにより、撮像される物体の奥行距離が近くなるほどその物体に対するオプティカルフローの対応付け数が少なくなる。これにより、奥行距離が近い物体の検出精度の低下を抑制しつつ物体検出処理の負荷を低減させることが可能となる。

本発明によれば、画像を用いた物体検出において、物体検出精度の低下を抑制しつつ物体検出処理の負荷を低減できる。

本発明の一実施形態に係る物体検出装置の構成概要を示すブロック図である。 図１の物体検出装置の物体検出に用いられる画像の説明図である。 図１の物体検出装置におけるグループ化処理についての説明図である。 図１の物体検出装置におけるオプティカルフローの取得についての説明図である。 図１の物体検出装置におけるオプティカルフローの対応付けに関する説明図である。 図１の物体検出装置におけるオプティカルフローの対応付けに関する説明図である。 図１の物体検出装置における物体検出処理のフローチャートである。

以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る物体検出装置１の構成概要図である。図２は、物体検出装置１の物体検出に用いられる画像の説明図である。

図１に示されるように、物体検出装置１は、車両に搭載されたカメラ２により撮像された画像を用いて車両周囲の物体を検出する装置である。この物体検出装置１は、例えば、車両に搭載され、カメラ２、ＥＣＵ（Electronic Control Unit）３を備えて構成される。

カメラ２は、車両の周囲を撮像する撮像部として機能するものであり、例えば車両の進行方向の周囲を撮影できるように取り付けられる。カメラ２としては、画像の輝度情報及び奥行距離情報を取得できるものが用いられる。すなわち、カメラ２としては、画像を構成する画素領域ごとの輝度情報及び画素領域ごとの奥行距離情報を取得できるものが用いられ、例えばステレオカメラが用いられる。この場合、カメラ２として、撮像方向に対し交差する方向に並べて配置された複数の撮像部を備えたものが用いられる。画素領域の詳細については、後述する。

カメラ２により撮像される画像は、カラーでもモノクロであってもよい。また、撮像波長帯は、可視波長でも、近赤外波長であってもよく、車両周囲の物体が認識できる画像データが得られれば、いずれの波長帯であってもよい。また、カメラ２としては、画像の輝度情報及び奥行距離情報を取得できるものであれば、ステレオカメラ以外のセンサであってもよく、例えばＴＯＦ（Time of flight）カメラを用いてもよいし、輝度情報の画像を撮像するカメラと奥行距離情報を取得するセンサ、例えばレーザレーダセンサなどを組み合わせたものを用いてもよい。

ＥＣＵ３は、物体検出装置１全体の制御を行う電子制御ユニットであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。ＥＣＵ３は、カメラ２と電気的に接続されており、カメラ２の撮像信号が入力される。ＥＣＵ３は、距離情報取得部３０、グループ化処理部３１、移動情報取得部３２、対応付け部３３及び物体検出部３４を備えている。

距離情報取得部３０は、カメラ２により撮像された画像における奥行距離の情報を取得する。例えば、距離情報取得部３０は、カメラ２により撮像された画像データを取得し、その画像データを用い、画像を構成する画素領域ごとに奥行距離情報を取得する。画像データは、画像の画素領域ごとの輝度情報及び奥行距離情報を取得可能なデータであり、所定周期で繰り返して取得され、その取得ごとに記録される。

画像を構成する画素領域は、一つの画素からなる領域であってもよいし、複数の画素からなる領域であってもよい。画素領域を複数の画素からなる領域として設定する場合、例えば２×２の四つの画素からなる領域、それ以上の数の画素からなる領域とされる。輝度情報は、例えば画素領域の輝度値である。画素領域が一つの画素からなる場合には、その画素の輝度値が画素領域の輝度情報となる。画素領域が複数の画素から構成される場合、複数の画素における輝度値の平均値、最高値、最低値又は所定の代表値が画素領域の輝度情報とされる。また、奥行距離情報は、画素領域に撮像される被撮像体の奥行距離に関する情報であり、奥行距離を含む情報である。例えば、奥行距離は、カメラ２の撮像方向における被撮像体までの距離である。カメラ２としてステレオカメラを用いる場合、奥行距離は複数のカメラの設置位置を結ぶ直線から被撮像体までの距離となる。被撮像体は、画像に撮像されるものであって、立体物である物体のほか、路面、空などの背景を含む。画素領域が一つの画素からなる場合には、その画素の奥行距離が画素領域の奥行距離情報となる。画素領域が複数の画素から構成される場合、複数の画素における奥行距離の平均値、最高値、最低値又は所定の代表値を画素領域の奥行距離情報として用いればよい。

なお、奥行距離情報は、奥行距離の値をそのまま用いてもよいが、奥行距離に対応する値であってもよい。例えば、奥行距離に対応した視差の値を奥行距離情報として用いてもよい。視差の値は、二つのカメラによって撮像される二つの画像における被撮像体ないし物体の視差の値であり、奥行距離が近いほど大きな値となる。

カメラ２としてステレオカメラが用いられる場合、距離情報取得部３０は、二つの左右の画像について視差画像を生成する。そして、距離情報取得部３０は、視差画像における画素領域の視差の値を奥行距離情報として用いる。また、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として用いてもよい。奥行距離情報の算出手法としては、例えばdense stereo技術が用いられ、より具体的にはＳＧＭ法やＥＬＡＳ法などが用いられる。

グループ化処理部３１は、奥行距離情報を取得した画像について、その奥行距離情報に基づいて複数の画素領域をグループ化する。このグループ化処理部３１は、三次元空間上において近接する画素領域を同一のグループとして設定しグループ化するものである。例えば、グループ化処理部３１は、画像の縦方向において同一奥行距離範囲の画素領域が近接する場合に同一のグループとしてグループ化を行う。同一奥行距離範囲とは、同一奥行距離、及び、同一奥行距離に対し所定の奥行距離範囲内のほぼ同一距離を含む範囲である。また、グループ化処理部３１は、画像の縦方向及び横方向において同一奥行距離範囲の画素領域が近接する場合に同一のグループとしてグループ化してもよい。

グループ化処理部３１におけるグループ化処理を具体的に説明する。図２に示す画像８１は、物体検出装置１を搭載した自車両の進行方向を撮像した画像である。この図２の画像８１に対し、距離情報取得部３０は、画素領域ごとに視差を奥行距離情報として演算する。画像８１の視差は、例えば、画像８１と同時に撮像される左右の画像のうち他方側の画像を用いて演算される。そして、グループ化処理部３１は、画像の縦方向において視差が所定範囲内で隣接する画素領域を一つのグループとしてグループ化する。所定範囲は、予めグループ化処理部３１に設定される視差範囲を用いればよい。

また、このグループ化処理において、縦の位置に対する視差の変化状態を用いてグループ化を行ってもよい。図３（ａ）の画像８２は、グループ化した画像の模式図である。画像８２では、縦方向において同一奥行距離範囲で近接ないし隣接する画素が同一グループとして設定されている。例えば、グループ８３ａ、８３ｂ、８３ｃのように複数のグループが設定され、グループ化される。

図３（ｂ）は、図３（ａ）のｂ−ｂにおける画像の縦の位置に対する視差を示すグラフである。図３（ｂ）に示すように、画素の視差に基づいて三つのグループ８３ａ、８３ｂ、８３ｃが設定されている。グループ８３ａは、小さい視差で同一奥行距離範囲の画素からなるグループであり、視差が小さいことにより遠方の背景を表していると認識される。グループ８３ｂは、同一奥行距離範囲の画素からなるグループであり、視差が小さくないことから、背景でなく立体物ないし検出対象となる物体であると認識される。グループ８３ｃは、同一奥行距離範囲の画素が隣接するグループであり、視差が下方の位置に行くほど大きくなるように変化している。このため、グループ８３ｃは、路面を表していると認識される。グループ化処理部３１は、グループ化したグループ結果を記録し保存する。このため、グループ化処理部３１は、グループ記録部としても機能する。グループ結果は、グループ化が行われるごとに記録される。記録されたグループ結果は、グループが表す物体の動きの検出に用いることができる。

図１において、移動情報取得部３２は、画像に対し画素領域ごとに、画像上における被撮像体の移動方向および移動量の情報を含むオプティカルフローを取得する。例えば、移動情報取得部３２は、カメラ２により撮像された画像について画素領域ごとにオプティカルフローを算出し、移動情報として取得する。オプティカルフローは、画素領域の動きベクトルであり、画像上の被撮像体をベクトルで表したものである。このため、オプティカルフローは、画素領域に表示される被撮像体の移動方向及び移動量の情報を有している。画素領域は、上述したように、一つの画素からなる領域でもよいし、複数の画素からなる領域でもよい。画素領域が複数の画素からなる領域として設定される場合、例えば、複数の画素におけるオプティカルフローの平均値、最高値、最低値又は所定の代表値を画素領域のオプティカルフローとして用いればよい。オプティカルフローを取得する画素領域は、奥行距離情報を取得する画素領域と同じ大きさの領域として設定されるが、奥行距離情報を取得する画素領域と異なる大きさの領域として設定する場合もある。

オプティカルフローの具体的な算出は、現在の画像に対し先に撮像した画像を用いて画素領域の移動を解析して行われ、マッチング法や勾配法などを用いて行えばよい。図４の画像８４は、オプティカルフロー８５を模式的に表したものである。なお、オプティカルフロー８５の算出は、背景を表す領域を除いて行ってもよい。例えば、図４に示すように、予め設定された画像の上方領域８６においてオプティカルフロー８５の算出、すなわち移動情報の取得を省略してもよい。この処理の省略により、物体検出の処理負荷を低減することができる。

対応付け部３３は、グループ化処理部３１にてグループ化された画素領域に対し、移動情報取得部３２にて取得されたオプティカルフローを対応付ける。例えば、グループ化処理部３１にてグループとして設定された画素領域に対し、移動情報取得部３２にて取得されたオプティカルフローが対応付けられる。その際、対応付け部３３は、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を少なくして、オプティカルフローの対応付けを行う。オプティカルフローの対応付けの数は、奥行距離が近くなるに連れて少なくなるように数式を用いて算出してもよいし、奥行距離に対応したオプティカルフローの対応付けのマップ又はテーブルを用いて演算してもよい。その際、オプティカルフローの対応付けの数が奥行距離に応じて連続的に変化するように設定されてもよいし、奥行距離に応じて段階的に変化するように設定されてもよい。具体的な対応付けの処理としては、例えば、グループとして設定された画素領域に対し、画像上において同じ座標位置のオプティカルフローのデータをその画素領域のオプティカルフローとして設定して行われる。

図５及び図６は、グループ化処理部３１における対応付け処理の説明図である。図５（ａ）は、画素領域８４ａごとにオプティカルフロー８５を取得した画像８４を示している。図５（ｂ）は、グループ化した画素領域８７ａに対しオプティカルフロー８５を対応付けした画像８７を示している。図６（ａ）は、図５（ａ）の画像８４から所定の時間ｔを経過した画像８４であって、画素領域８４ａごとにオプティカルフロー８５を取得した画像８４を示している。図６（ｂ）は、図５（ｂ）の画像８７から所定の時間ｔを経過した画像８７であって、グループ化した画素領域８７ａに対しオプティカルフロー８５を対応付けした画像８７を示している。図５（ｂ）及び図６（ｂ）の画像８７におけるグループ８３ｄは、車両を表す画像領域８７ａがグループ化されたものである。図５（ｂ）の車両は遠方に位置しているが、図６（ｂ）では時間ｔの経過によって車両が近接して表されている。なお、図５（ｂ）及び図６（ｂ）における車両の表示はイメージ表示であり、車両の表示の大きさと画素領域８７ａの大きさの比率は必ずしも実際のものと一致していない。

図５（ｂ）及び図６（ｂ）において、それぞれグループ８３ｄの画素領域８７ａに対しオプティカルフロー８５が対応付けられている。図６（ｂ）のグループ８３ｄは、図５（ｂ）のグループ８３ｄに対し奥行距離が近い画素領域８７ａにより構成されているため、オプティカルフロー８５が密に対応付けられており、単位面積当たりのオプティカルフロー８５の対応付けの数が少なくなっている。言い換えれば、奥行距離が近いグループほど、オプティカルフロー８５が対応付けられる間隔（飛ばし間隔）が大きくなっている。例えば、同じ物体が遠方から近づいてくる場合、物体が接近するほど物体が画像上で大きく表示されるが、その物体に対応付けられるオプティカルフロー８５はそれに応じて増えるわけではない。

対応付け部３３は、撮像空間である実空間に予め設定された間隔でオプティカルフローが対応付けられるように、画像８７上におけるオプティカルフローの対応付けを行ってもよい。例えば、実空間でＨ（例えば５０ｃｍ）の間隔で移動情報であるオプティカルフロー８５が対応付けられるように、画像８７においてオプティカルフローを対応付けしてもよい。この場合、オプティカルフロー８５の対応付けの間隔ｈは、例えば、ｈ＝ｆ・Ｈ／Ｚの数式を用いて設定することができる。この数式において、ｈは画像上における対応付け間隔であり、ｆは画素換算した焦点距離である。Ｈは実空間における対応付け間隔距離であり、Ｚは奥行距離である。この数式を用いることにより、オプティカルフロー８５を対応付けられる間隔は奥行距離が近いほど大きくなり、単位面積あたりのオプティカルフロー８５の対応付け数が少なくなる。

また、この数式に代えて、奥行距離に応じて対応付け間隔を設定するためのマップやテーブルを用いて、対応付け間隔、すなわち画像の単位面積当たりのオプティカルフロー８５の対応付けの数を演算してもよい。例えば、奥行距離が５ｍ未満の対応付け間隔、５ｍ以上で３０ｍ未満の対応付け間隔、および３０ｍ以上の対応付け間隔をそれぞれ設定して、オプティカルフロー８５の対応付けを行えばよい。この対応付け間隔の距離値は一例であり、その他の距離値であってよい。また、対応付け間隔の数は、三つに限らず、二つ又は四つ以上であってもよい。このように、奥行距離が近いほど対応付け間隔が大きくなるように設定することで、奥行距離が近いほど画像の単位面積当たりのオプティカルフロー８５の対応付け数を少なくすることができる。

さらに、奥行距離のしきい値を設定し、奥行距離がしきい値未満の場合の対応付け間隔、奥行距離がしきい値以上の場合の対応付け間隔を設定して、オプティカルフロー８５の対応付けを行ってもよい。このしきい値の設定は一例を示すものであり、しきい値の数は一つに限らず、複数であってもよい。このように、奥行距離がしきい値未満の場合の対応付け間隔を奥行距離がしきい値以上の場合の対応付け間隔より大きく設定することで、奥行距離が近いほど画像の単位面積当たりのオプティカルフロー８５の対応付け数を少なくすることができる。

なお、対応付け部３３について、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を少なくする場合について説明したが、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を少なくしてオプティカルフローの対応付けを行う場合、対応付け部３３は、奥行距離が遠い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を多くしてオプティカルフローの対応付けを行うこととなる。

図１において、物体検出部３４は、対応付け部３３により対応付けられたオプティカルフローを用いて車両の周囲の物体の移動状態を検出する。例えば、オプティカルフローを対応付けられたグループが車両周囲の物体と認識され、そのオプティカルフローに基づいてグループの移動状態が検出される。そのグループの移動状態に基づいて物体の三次元空間における相対速度が算出される。物体の移動状態としては、相対速度のほか、絶対速度であってもよいし、加減速度であってもよい。この物体の移動状態を検出結果に基づいて、自車両の走行の支障となる物体であるか否かを判定し、その判定結果を自車両の運転者に報知してもよい。

上述した距離情報取得部３０、グループ化処理部３１、移動情報取得部３２、対応付け部３３及び物体検出部３４は、それぞれの機能を実現するソフトウェア又はプログラムをＥＣＵ３に導入することにより構成すればよい。また、それらの一部又は全部を個別の電子制御ユニットにより構成してもよい。

ＥＣＵ３には、出力部４が電気的に接続されている。出力部４は、物体の検出結果に基づいて作動するものであり、例えば運転者への報知装置、運転制御を実行する制御装置などが該当する。

次に、本実施形態に係る物体検出装置１の動作について説明する。

図７は、本実施形態に係る物体検出装置１における物体検出処理を示すフローチャートである。物体検出処理は、例えば、ＥＣＵ３により行われ、所定の周期で繰り返して実行される。

図７のステップＳ１０（以下、単に「Ｓ１０」という。他のステップＳについても同様とする。）に示すように、まず、画像の読み込み処理が行われる。画像の読み込み処理は、カメラ２により撮像された画像の画像データを読み込む処理である。カメラ２としてステレオカメラを用いる場合、複数の画像データが読み込まれる。そして、Ｓ１２に処理が移行し、距離情報の取得処理が行われる。距離情報の取得処理は、カメラ２により撮像された画像における奥行距離の情報を取得する処理である。すなわち、この取得処理では、画像データを用い、画像を構成する画素領域ごとに奥行距離情報が取得される。この取得処理で取得された奥行距離情報は、所定周期で繰り返して取得され、取得されるごとに記録される。具体的な処理内容としては、例えば、カメラ２としてステレオカメラが用いられる場合、二つの左右の画像について視差画像を生成する処理が行われる。視差画像における画素領域ごとの視差の値が奥行距離情報として取得される。また、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として取得してもよい。

そして、Ｓ１４に処理が移行し、グループ化処理が行われる。グループ化処理は、奥行距離情報を取得した画像について、その奥行距離情報に基づいて複数の画素領域を関連付けてグループ化を行う処理である。このグループ化処理では、三次元空間上において近接する画素領域を同一のグループとして設定する。例えば、図３（ａ）に示すように、画像の縦方向において同一奥行距離範囲の画素領域が近接する場合に、それらの画素領域が同一のグループとして設定される。同一奥行距離範囲は、同一奥行距離及び同一奥行距離に対し所定の奥行距離範囲内のほぼ同一奥行距離を含む範囲である。また、グループ化処理は、画像の縦方向及び横方向において同一距離範囲の画素領域が近接する場合に同一のグループとしてグループ化を行うものであってもよい。

そして、Ｓ１６に処理が移行し、グループ信頼度の設定処理が行われる。グループ信頼度の設定処理は、グループ設定された画素領域が立体物を表示するものであるかどうかの信頼度を設定する処理である。例えば、画素領域の奥行距離情報に基づいてグループ化された画素領域が立体物を示すものであるかどうかが判定される。立体物とは、背景や路面でなく、検出対象となる物体を含む立体的な物体である。図３（ｂ）に示すように、グループ８３ａ、８３ｂ、８３ｃが設定されている場合、奥行距離情報である視差の値及び画像上の位置に応じた視差の変化状態に基づいて、グループ８３ａ、８３ｂ、８３ｃがそれぞれ立体物を表示するものであるかどうかが判定される。例えば、視差の値が所定以上の遠方を示す値でなく、画像上の位置に応じて視差の変化状態が所定以上でない場合に、立体物であると判定すればよい。これに対し、視差の値が所定以上の遠方を示す値であり、または、画像上の位置に応じて視差の値の変化状態が所定以上である場合、立体物でないと判定すればよい。グループ８３ａは、視差の値の変化状態が位置に応じて所定以上でないが、所定以上の遠方を示す値となっており、立体物でなく、背景を示すものであると判定される。グループ８３ｂは、視差の値が所定以上の遠方を示す値となっておらず、かつ、視差の値の変化状態が位置に応じて所定以上でない。このため、立体物を示すものであると判定される。グループ８３ｃは、視差の値が所定以上の遠方を示す値となっていないが、位置に対して視差の値が所定以上に傾斜しており、視差の値の変化状態が位置に応じて所定以上となっている。このため、立体物を示すものでなく、路面を示すものであると判定される。このように、グループ８３ａ、８３ｃは、グループ信頼度が所定以上でなく立体物を示すものでないと判定され、グループ８３ｂはグループ信頼度が所定以上であり立体物を示すものであると判定される。

そして、図７のＳ１８に処理が移行し、移動情報の取得処理が行われる。移動情報の取得処理は、画像の画素領域ごとに、画像上における被撮像体の移動方向および移動量を含むオプティカルフローを取得する処理である。例えば、この取得処理では、カメラ２により撮像された画像について画素領域ごとにオプティカルフローを算出し、移動情報として取得する。オプティカルフローの具体的な算出は、上述したように、マッチング法や勾配法など公知の手法を用いることができる。

そして、Ｓ２０に処理が移行し、移動情報の対応付け処理が行われる。移動情報の対応付け処理は、Ｓ１４のグループ化処理にてグループ化された画素領域に対し、Ｓ１８の移動情報取得処理にて取得されたオプティカルフローを対応付ける処理である。この対応付け処理は、画像において設定されたグループの全部に対して行ってもよいが、Ｓ１６にて立体物を示すグループと判定されたグループのみに行ってもよい。グループ化処理としては、例えば、Ｓ１４のグループ化処理にてグループとして設定された画素領域に対し、画像上で同じ位置のオプティカルフローが対応付けられる。その際、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を少なくして、オプティカルフローの対応付けが行われる。オプティカルフローの対応付けの数は、上述したように、奥行距離が近くなるに連れて少なくなるように数式を用いて算出してもよいし、奥行距離に対応したオプティカルフローの対応付けのマップ又はテーブルを用いて演算してもよい。その際、オプティカルフローの対応付けの数が奥行距離に応じて連続的に変化するように設定されてもよいし、奥行距離に応じて段階的に変化するように設定されてもよい。さらに、Ｓ１６にて算出されたグループ信頼度が高いほど、画像の単位面積当たりのオプティカルフローの対応付けの数を多くして、オプティカルフローの対応付けを行ってもよい。例えば、画像上の位置に対して視差の差の変化状態が所定の閾値より小さいグループについて、グループ信頼度が高いグループとして判定し、より密なオプティカルフローの対応付けを行うマップ又はテーブルを用いたり、対応付け数算出の数式に対し重みをかけてもよい。

そして、Ｓ２２に処理が移行し、グループの動きの算出処理が行われる。この算出処理は、グループ化された画素領域の動きを算出する処理であり、物体検出部３４により行われる。例えば、Ｓ２０の対応付け処理により対応付けられたオプティカルフローを用いて車両の周囲の物体の移動状態を検出する。すなわち、オプティカルフローを対応付けられたグループが物体と認識され、そのオプティカルフローに基づいてグループの移動状態が検出される。具体的には、グループの移動状態に基づいて物体の三次元空間における相対速度が算出される。物体の移動状態としては、相対速度のほか、絶対速度であってもよいし、加減速度であってもよい。この算出処理で検出されたグループのオプティカルフローは、記録保存され、次以降の周期で実行される算出処理で用いられる。

そして、Ｓ２４に処理が移行し、出力処理が行われる。出力処理は、物体の検出結果を出力する処理である。例えば、運転者へ報知を行う報知装置、運転制御を実行する制御装置などの出力部４へ物体の検出結果が出力される。Ｓ２４の処理を終えたら、一連の制御処理を終了する。

なお、図７の一連の制御処理において、制御結果に影響を及ぼさなければ、制御処理の順番を入れ替えてもよいし、制御処理の一部の実行を省略してもよい。

以上説明したように、本実施形態に係る物体検出装置１によれば、画像を用いた物体検出において、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付け数を少なくしてオプティカルフローの対応付けが行われる。これにより、奥行距離の近い画素領域のグループほど画像処理の負荷が低減される。このとき、奥行距離の近い画素領域のグループは物体が画像上で大きく表示されるため、オプティカルフローの対応付け数を少なくしても物体の検出精度が大きく低下することはない。従って、奥行距離が近い画素領域のグループにおける物体検出精度の低下を抑制しつつ物体検出処理の負荷を低減させることが可能となる。

例えば、図２の画像８１に撮像される車両について物体検出を行う場合、この車両が遠くにいる場合には車両は小さく表示され、車両を表示する画素領域の数は少ないものとなる。一方、車両が近づくに連れて画像８１上で大きく表示され、車両を表示する画素領域の数が多くなる。このとき、車両を表示する画素領域が同一のグループとして設定される場合、車両の遠近にかかわらず車両を表示する画素領域の全てに対しオプティカルフローを対応付けすると、車両が近くに来た際に車両を表示する画素領域が多数になり、オプティカルフローの対応付け処理が大きな負荷となる。しかも、車両を表示する画素領域にはほぼ同じオプティカルフローが対応付けられることとなり、物体検出の精度が大きく向上するわけではない。これに対し、本実施形態に係る物体検出装置１では、近くに表示される物体ほどオプティカルフローの対応付けの数を少なくすることにより、物体の検出精度の低下を抑制しつつ、物体検出処理の負荷を低減させることができるのである。これにより、メモリ量の少ない画像処理プロセッサを用いても物体検出処理が可能となる。また、画像処理を低減することによって、物体検出の迅速化が図れる。

また、本実施形態に係る物体検出装置１において、実空間において予め設定された間隔でオプティカルフローが対応付けられるように画素領域に対しオプティカルフローの対応付けが行われることにより、撮像される物体の奥行距離が近くなるほどオプティカルフローの対応付け数が少なくすることができる。従って、奥行距離が近い物体の検出精度の低下を抑制しつつ物体検出処理の負荷を低減させることが可能となる。

なお、上述した実施形態は、本発明に係る物体検出装置の一実施形態を説明したものであり、本発明に係る物体検出装置は上記実施形態に記載されたものに限定されない。本発明に係る物体検出装置は、各請求項に記載した要旨を変更しないように上記実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。

１…物体検出装置、２…カメラ、３…ＥＣＵ、４…出力部、３０…距離情報取得部、３１…グループ化処理部、３２…移動情報取得部、３３…対応付け部、３４…物体検出部、８５…オプティカルフロー。

Claims (4)

1. 車両に搭載されたカメラにより撮像された画像を用いて前記車両の周囲の物体を検出する物体検出装置において、
   前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得部と、
   前記奥行距離情報に基づいて複数の前記画素領域をグループ化するグループ化処理部と、
   前記画像に対し前記画素領域ごとに、前記画像上における被撮像体の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得部と、
   前記グループ化処理部にてグループ化された前記画素領域に対し前記移動情報取得部にて取得された前記オプティカルフローを対応付ける対応付け部と、
   前記対応付け部により対応付けられた前記オプティカルフローを用いて前記車両の周囲の物体の移動状態を検出する物体検出部と、を備え、
   前記対応付け部は、前記奥行距離が近い前記画素領域のグループほど前記画像の単位面積当たりの前記オプティカルフローの対応付けの数を少なくして、前記オプティカルフローの対応付けを行い、前記グループ化された前記画素領域が立体物であるかを示す信頼度に基づいて前記オプティカルフローの対応付けの数を変更して、前記オプティカルフローの対応付けを行う、
   物体検出装置。
2. 前記画像上の位置に応じた、前記グループ化された前記画素領域の前記奥行距離情報に対応する値である視差の変化状態に基づいて前記信頼度を設定する、
   請求項１に記載の物体検出装置。
3. 前記視差の変化状態が大きい時の前記信頼度と比較して、前記視差の変化状態が小さい時の前記信頼度を高くし、前記信頼度が高いほど前記オプティカルフローの対応付けの数を多くする、
   請求項２に記載の物体検出装置。
4. 前記対応付け部は、実空間において予め設定された間隔で前記オプティカルフローが対応付けられるように、前記画素領域に対し前記オプティカルフローの対応付けを行う、
   請求項１〜３のいずれか一項に記載の物体検出装置。

Images