JP7018285B2 - 車両の周辺監視装置および周辺監視方法 - Google Patents

Description

本発明は、２つの撮像装置により得られた２つの撮像画像に基づいて対象物の距離を算出して、車両の周辺を監視する周辺監視装置および周辺監視方法に関する。

ステレオカメラ等の２つの撮像装置により得られた２つの画像から求めた視差に基づいて対象物の距離を算出する技術として、ステレオマッチング処理が知られている。ステレオマッチング処理においては、２つの画像上で互いに対応する特徴点である対応点を探索し、視差を求めることによって距離を算出することができる。各撮像装置を正確な位置に配置できていない場合に、画像から得られる視差にずれが生じ、算出した対象物の距離の精度が低下する。距離計測の精度を維持するために、撮像装置を配置する位置は製品出荷前に正確に調整されるが、車両走行中の振動や温度変化等によって、正確な位置を維持できない場合がある。

このため、撮像装置の配置ずれに起因する対応点ごとに対応位置のずれ量を算出して撮像装置を補正する技術が知られている。例えば、特許文献１では、複数の撮像装置から得られた複数の画像についてマッチング処理を行って複数の対応点を探索し、複数の対応点における対応位置のずれに基づいて画像のずれを補正する。

特許第５４４０４６１号公報

マッチング処理においては、対応位置のずれ量に対して適切な大きさの探索領域を設定することが好ましい。探索領域の大きさは、対応位置のずれ量よりも大きく設定する必要がある。このため、広い範囲の対応位置のずれ量に対応するためには、探索領域は大きい方が好ましい。一方で、対応位置のずれ量に対して過剰に探索領域が大き過ぎると、マッチング処理速度が低下し、対応位置のずれ量の算出精度が低下する。

本発明は、上記実情に鑑み、車両の周辺監視装置および周辺監視方法において、マッチング処理の速度と精度とを確保しつつ、広範囲の対応位置のずれ量に対応可能な技術を提供することを目的とする。

本発明は、対象物を異なる位置から撮影した複数の画像を取得する画像取得部と、前記複数の画像について探索領域を設定して、前記探索領域内で複数の対応点ごとの位置ずれ量である対応点ずれ値を算出する対応点ずれ算出部と、前記対応点ずれ値の個数が閾値未満であることを条件として、前記探索領域を変更する変更部と、前記対応点ずれ値の個数が前記閾値以上であることを条件として、前記対応点ずれ値に基づいて前記複数の画像全体の位置ずれ量である画像ずれ値を算出する画像ずれ算出部と、前記画像の画像ずれ値に基づいて前記画像のずれを補正するずれ補正部と、を備える、車両の周辺監視装置を提供する。

本発明によれば、変更部は、対応点ずれ算出部によって算出される対応点ずれ値の個数が閾値未満であることを条件として、対応点ずれ値を算出する際に設定される探索領域を変更する。すなわち、探索領域の設定が不適切であり、収集された対応点ずれ値が不十分であった場合には、変更部によって探索領域を調整して対応点ずれ値を算出することができる。このため、画像ずれ算出部において、十分な個数の対応点ずれ値を用いて画像ずれ値を算出することができ、画像ずれ値の算出精度が高くなる。また、変更部によって探索領域を調整できるため、例えば、通常は、マッチング処理の速度と精度とを優先して探索領域を設定し、例外的に対応点ずれ値の個数が閾値未満である場合には探索領域を変更するように構成することができ、処理速度と精度とを確保しつつ、広範囲の対応位置のずれ量に対応することができる。

本発明は、また、上記の周辺監視装置によって実現可能な周辺監視方法を提供する。この周辺監視方法は、対象物を異なる位置から撮影した複数の画像を取得する画像取得ステップと、前記複数の画像について探索領域を設定して、前記探索領域内で複数の対応点ごとの位置ずれ量である対応点ずれ値を算出する対応点ずれ算出ステップと、前記対応点ずれ値の個数が閾値未満であることを条件として、前記探索領域を変更する変更ステップと、前記対応点ずれ値の個数が前記閾値以上であることを条件として、前記対応点ずれ値に基づいて前記複数の画像全体の位置ずれ量である画像ずれ値を算出する画像ずれ算出ステップと、前記画像の画像ずれ値に基づいて前記画像のずれを補正するずれ補正ステップと、を含む。

実施形態の周辺監視装置を説明するためのブロック図。 ステレオマッチングの説明図。 実施形態の周辺監視方法を説明するためのフローチャート。

図１に示すように、周辺監視装置１０は、画像取得部１００と、ずれ算出部１１０と、ずれ補正部１２０とを備えている。周辺監視装置１０は、Ａ／Ｄ変換回路、Ｉ／Ｏ、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子制御ユニット（ＥＣＵ）であり、ＣＰＵは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。ＣＰＵに替えて、またはＣＰＵとともに、デジタル処理回路を書き込んだＦＰＧＡ(Field-Programmable Gate Array)等を備えていてもよい。

撮像装置２１、２２から出力される信号は、デジタル信号に変換されて、周辺監視装置１０のＣＰＵに入力される。周辺監視装置１０は、入力された画像データにおける位置ずれ量を算出し、画像を補正する。周辺監視装置１０は、補正した画像データや、この画像データに基づく制御信号を報知装置、表示装置、運転制御装置等の外部装置に出力してもよい。

撮像装置２１，２２は、ＣＣＤやＣＭＯＳセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置２１、２２は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置２１、２２は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。撮像装置２１及び撮像装置２２は、互いに同期が取れており、同一タイミングで周辺環境を撮影する。撮像装置２１から基準画像Ｔｏが得られ、撮像装置２２から参照画像Ｔｃが得られて、一対のアナログ画像Ｔｏ，Ｔｃは、画像取得部１００へ出力される。

画像取得部１００は、１対の撮像装置２１、２２が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。画像取得部１００は、Ａ／Ｄ変換回路により、撮像装置２１，２２から入力された一対のアナログ画像Ｔｏ，Ｔｃを、それぞれ所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換し、ずれ算出部１１０に出力する。このデジタル化された画像データは、画像の左上隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とするｉ－ｊ座標系で表現される。

ずれ算出部１１０は、画像取得部１００から入力された１対の画像Ｔｏ，Ｔｃにおける位置ずれ量を算出して、ずれ補正部１２０に出力する。ずれ算出部１１０は、１対の画像Ｔｏ，Ｔｃについて対応点探索を行って、対応点ごとの位置ずれ量を算出し、これに基づいて、画像全体の位置ずれ量を算出する。ずれ算出部１１０は、対応点ずれ算出部１１１と、変更部１１２と、画像ずれ算出部１１３とを備えている。

対応点ずれ算出部１１１は、１対の画像Ｔｏ，Ｔｃの対応点ごとに参照画像Ｔｃ上に探索領域を設定して、探索領域内で対応点ごとの位置ずれ量である対応点ずれ値ｄを算出する。対応点ずれ値ｄは、例えば、ピクセル単位で算出することができる。なお、探索領域とは、基準画像Ｔｏの所定の画素領域を探索するために、参照画像Ｔｃの画面上に設定され、対応点探索に使用される領域であり、通常、探索対象となる基準画像Ｔｏ上の画素領域よりも広い画素領域が含まれるように設定される。探索領域の大きさは、対応点ずれ値ｄに対して適切に設定されることが好ましい。対応点ずれ値ｄに対して大き過ぎる探索領域を設定すると、対応点ずれ値ｄの算出精度が低下し、対応点ずれ算出部１１１における対応点ずれ値ｄの算出処理負荷が増加する。対応点ずれ値ｄに対して小さ過ぎる探索領域を設定すると、探索領域内に一致する対応点を見出すことができず、対応点ずれ値ｄを適切に算出することが困難となる。

対応点ずれ算出部１１１は、基準画像Ｔｏと参照画像Ｔｃに対して、ステレオマッチング処理を行い、２つの画像Ｔｏ，Ｔｃに上の同一点の対応位置を求める対応点探索を実行する。具体的には、参照画像Ｔｃに設定された探索領域内の画素領域の中から、基準画像Ｔｏにおける所定の画素領域と一致する画素領域を探索する。

対応点ずれ算出部１１１が実行するステレオマッチング処理においては、周知の領域探索法を用いることができ、これによって、基準画像Ｔｏと参照画像Ｔｃとの相関度が評価される。本実施の形態においては、相関度の評価関数として、基準画像Ｔｏの小領域（ブロック）と参照画像の小領域（ブロック）との間のピクセル値の差分（絶対値）の総和（ＳＡＤ：Sum of Absolute Difference）を演算する場合を例示して説明する。なお、ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。

ＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、シティブロック距離の値が小さくなり、シティブロック距離が最小値を取るブロック間の水平方向のシフト量により、視差が与えられる。シティブロック距離ＣＢは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０～ｎ，ｊ＝０～ｎ）の探索ブロックとするとき、下記式（１）式に示すように、基準画像Ｔｏの探索ブロックＭ（ｉ，ｊ）と、参照画像の探索ブロックＳ（ｉ，ｊ）とのＳＡＤ値を、ｉ軸またはｊ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
ＣＢ＝Σ│Ｍ（ｉ，ｊ）－Ｓ（ｉ，ｊ）│ …（１）。

例えば、４×４画素の探索ブロックを対象として、基準画像Ｔｏの所定の探索ブロック（メインブロック）に対して、参照画像の探索ブロック（サブブロック）を数ブロック含む探索領域を設定する。そして、メインブロックと、探索領域中のそれぞれのサブブロックについて、上記式（１）に従い、ＳＡＤ演算を行う。これによって、図２に示すように、シティブロック距離が最小値Ｃ０となる点がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められる。この一致点におけるメインブロックとサブブロックとの画素単位のずれ量（メインブロックの位置座標（ｉｍ，ｊｍ）とサブブロックの位置座標（ｉｓ，ｊｓ）との差）は、画素単位の分解能を有する対応点ずれ値ｄを与える。対応点ずれ値ｄは、ｉ方向およびｊ方向のそれぞれについて表されるものであってもよい。例えば、図２に示すように、対応点ずれ値ｄのｉ軸成分をｉｄ、ｊ軸成分をｊｄと表し、ｉｓ＝ｉｍ＋ｉｄ，ｊｓ＝ｊｍ＋ｊｄと表してもよい。１対の画像Ｔｏ，Ｔｃにおいて、基準画像Ｔｏの探索ブロック毎に対応点ずれ値ｄが算出され、画像全体として複数の対応点ずれ値ｄが算出される。なお、画像全体について対応点ごとに算出された複数の対応点ずれ値ｄは、周辺監視装置１０の記憶手段（ＲＡＭ等）に記憶されてもよい。

変更部１１２は、対応点ずれ算出部１１１によって算出された対応点ずれ値ｄについて、その信頼性を評価する。変更部１１２は、対応点ずれ値ｄの集合についての信頼性が十分ではないと判断した場合には、対応点ずれ算出部１１１によって設定された探索領域を変更する。なお、変更部１１２は、参照画像Ｔｃ上の水平方向（図２に示すｉ方向）、垂直方向（図２に示すｊ方向）のいずれの方向に探索領域の大きさを変更してもよい。

具体的には、変更部１１２は、対応点ずれ算出部１１１によって所定時間内に収集された対応点ずれ値ｄの個数ｋをカウントする。そして、変更部１１２は、この対応点ずれ値ｄの個数ｋが所定の閾値Ｘ未満（ｋ＜Ｘ）である場合に、対応点ずれ算出部１１１によって設定された探索領域を変更する。

探索領域の大きさは、対応点ずれ値ｄよりも大きく設定する必要がある。例えば、対応位置に対して、探索領域が小さすぎると、基準画像Ｔｏと参照画像Ｔｃとの間で一致点を求めることができず、所定時間内に収集される対応点ずれ値ｄの個数が少なくなる。変更部１１２は、対応点ずれ算出部１１１によって所定時間内に収集された対応点ずれ値ｄの個数ｋが所定の閾値Ｘ未満である場合に、より大きい探索領域を設定する。対応点ずれ算出部１１１は、変更部１１２によって拡大された探索領域内で基準画像Ｔｏと参照画像Ｔｃとの対応点探索を行うことができる。対応点ずれ値ｄに対して探索領域が十分に拡大された場合には、所定時間内に十分な個数の対応点ずれ値ｄを収集することができる。

例えば、周辺監視装置１０によれば、通常は、対応点ずれ算出部１１１の処理の速度と精度とを優先して探索領域を小さく設定し、例外的に対応点ずれ値ｄの個数ｋが閾値Ｘ未満である場合には、変更部１１２によって探索領域を大きく変更するように構成することができる。このように構成することによって、周辺監視装置１０によれば、対応点ずれ算出部１１１の処理速度と精度とを確保しつつ、広範囲の対応点ずれ値ｄに対応することができる。

一方、変更部１１２は、対応点ずれ値ｄの個数ｋが所定の閾値Ｘ以上（ｋ≧Ｘ）である場合には、画像ずれ算出部１１３に、対応点ずれ値ｄの集合に基づいて、画像Ｔｏ，Ｔｃについての対応位置のずれ量である画像ずれ値Ｇを算出することを指示する。

画像ずれ算出部１１３は、変更部１１２からの指示を受けて、対応点ずれ値ｄに基づいて、画像Ｔｏ，Ｔｃ全体の位置ずれ量である画像ずれ値Ｇを算出する。画像ずれ値Ｇは、例えば、対応点ずれ値ｄと同様にピクセル単位で算出することができる。画像ずれ算出部１１３は、対応点ずれ値ｄの加算平均値を画像ずれ値Ｇとして算出してもよいし、対応点ずれ値ｄについて、正規分布、多項式分布、２項分布、ポアソン分布等を用いた回帰分析等の統計処理を行って画像ずれ値Ｇを算出してもよい。

一方で、対応点ずれ値ｄの個数ｋが所定の閾値Ｘ未満である場合には、変更部１１２から画像ずれ値Ｇを算出する指示が送信されず、画像ずれ算出部１１３は画像ずれ値Ｇを算出しない。画像ずれ算出部１１３は、所定の閾値Ｘ以上の個数の対応点ずれ値ｄ、すなわち、十分な個数の対応点ずれ値ｄを用いて画像ずれ値Ｄを算出するため、高い精度で画像ずれ値Ｇを算出することができる。なお、算出された画像ずれ値Ｇは、周辺監視装置１０の記憶手段（ＲＡＭ等）に記憶されてもよい。

ずれ算出部１１０は、基準画像Ｔｏおよび参照画像Ｔｃの画像データとともに画像ずれ値Ｇの値をずれ補正部１２０に送信する。ずれ補正部１２０は、画像ずれ値Ｇに基づいて画像のずれを補正する。画像ずれの補正方法としては、例えば、画像データを座標軸に沿って移動させる画像シフト法、高次多項式を用いて画像データの座標を変換する高次多項式法等の従来公知の補正方法を用いることができる。

図３は、周辺監視装置１０によって実施される周辺監視方法の一部を構成する、画像取得部１００、ずれ算出部１１０、および、ずれ補正部１２０が行う演算処理のフローチャートを示す。

画像取得部１００は、画像取得ステップ（Ｓ１０１）を実行し、撮像装置２１，２２が撮影した画像データを取得する。画像データは、対象物を異なる位置から撮影した基準画像Ｔｏおよび参照画像Ｔｃであり、画像取得部１００によってデジタルデータに変換されて、対応点ずれ算出部１１１に出力される。

次に、対応点ずれ算出部１１１は、対応点ずれ算出ステップを実行し、複数の画像について探索領域を設定して（ステップＳ１０２）、設定した探索領域内で、複数の対応点ごとに対応点ずれ値ｄを算出する（ステップＳ１０３）。

次に、変更部１１２は、変更ステップを実行し、対応点ずれ値ｄの個数ｋが所定の閾値Ｘ以上であるか否かを判定する（ステップＳ１０４）。そして、変更部１１２は、対応点ずれ値ｄの個数ｋが所定の閾値Ｘ未満（ｋ＜Ｘ）であることを条件として、探索領域を変更し（ステップＳ１１０）、ステップＳ１０２に戻る。ステップＳ１１０の後に実行されるステップＳ１０２では、対応点ずれ算出部１１１は、ステップＳ１１０において変更された探索領域内で対応点探索を行い、対応点ずれ値ｄを算出する。

ステップＳ１０４において、対応点ずれ値ｄの個数ｋが所定の閾値Ｘ以上（ｋ≧Ｘ）であると判定された場合には、ステップＳ１０５に進む。ステップＳ１０５では、変更部１１２は、画像ずれ算出部１１３に、対応点ずれ値ｄの集合に基づいて、画像Ｔｏ，Ｔｃについて画像ずれ値Ｇを算出することを指示する。

画像ずれ算出部１１３は、変更部１１２からの指示を受けて、画像ずれ算出ステップ（Ｓ１０６）を実行し、対応点ずれ値ｄに基づいて、画像Ｔｏ，Ｔｃについて画像ずれ値Ｇを算出する。

ずれ補正部１２０は、補正ステップ（ステップＳ１０７）を実行し、ステップＳ１０６において算出された画像ずれ値Ｇに基づいて画像ずれの補正を行い、出力装置に画像データや制御信号を出力する。

以上説明した本実施形態によれば、以下の効果を奏する。

周辺監視装置１０によれば、変更部１１２は、対応点ずれ算出部１１１によって所定時間内に収集された対応点ずれ値ｄの個数ｋが所定の閾値Ｘ未満である場合に、対応点ずれ算出部１１１が対応点探索を行う際の探索領域を変更する。この場合、対応点ずれ算出部１１１は、変更部１１２によって変更後の探索領域内で基準画像Ｔｏと参照画像Ｔｃとの対応点探索を行い、対応点ずれ値ｄを算出する。変更部１１２によって、対応点ずれ値ｄに応じて探索領域を調整できるため、十分な個数の対応点ずれ値ｄを収集することができる。そして、画像ずれ算出部１１３は、十分な個数の対応点ずれ値ｄを用いて画像ずれ値Ｄを算出することができる。

また、周辺監視装置１０によれば、通常は、対応点ずれ算出部１１１の処理の速度と精度とを優先して探索領域を小さく設定し、例外的に対応点ずれ値ｄの個数ｋが閾値Ｘ未満である場合には探索領域を大きく変更するように構成することができる。このため、周辺監視装置１０によれば、対応点ずれ算出部１１１の処理速度と精度とを確保しつつ、広範囲の対応点ずれ値ｄに対応することができる。

なお、上記の実施形態では、撮像装置と、報知装置、表示装置、運転制御装置等の出力装置とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。

１０…周辺監視装置、１００…画像取得部、１１１…対応点ずれ算出部、１１２…変更部、１１３…画像ずれ算出部、１２０…ずれ補正部

Claims (3)

1. 対象物を異なる位置から撮影した複数の画像を取得する画像取得部（１００）と、
   前記複数の画像について探索領域を設定して、前記探索領域内で複数の対応点ごとの位置ずれ量である対応点ずれ値を算出する対応点ずれ算出部（１１１）と、
   前記対応点ずれ値の個数が閾値未満であることを条件として、前記探索領域を変更する変更部（１１２）と、
   前記対応点ずれ値の個数が前記閾値以上であることを条件として、前記対応点ずれ値に基づいて前記複数の画像全体の位置ずれ量である画像ずれ値を算出する画像ずれ算出部（１１３）と、
   前記画像の画像ずれ値に基づいて前記画像のずれを補正するずれ補正部（１２０）と、を備える、車両の周辺監視装置。
2. 前記変更部は、前記対応点ずれ値の個数が前記閾値未満であることを条件として、前記探索領域を大きくする請求項１に記載の周辺監視装置。
3. 対象物を異なる位置から撮影した複数の画像を取得する画像取得ステップ（Ｓ１０１）と、
   前記複数の画像について探索領域を設定して、前記探索領域内で複数の対応点ごとの位置ずれ量である対応点ずれ値を算出する対応点ずれ算出ステップ（Ｓ１０２，１０３）と、
   前記対応点ずれ値の個数が閾値未満であることを条件として、前記探索領域を変更する変更ステップ（Ｓ１０４，Ｓ１１０）と、
   前記対応点ずれ値の個数が前記閾値以上であることを条件として、前記対応点ずれ値に基づいて前記複数の画像全体の位置ずれ量である画像ずれ値を算出する画像ずれ算出ステップ（Ｓ１０６）と、
   前記画像の画像ずれ値に基づいて前記画像のずれを補正するずれ補正ステップ（Ｓ１０７）と、を含む、車両の周辺監視方法。

Images