JP7685065B2 - 車載制御装置、および、３次元情報取得方法 - Google Patents

Description

本発明は、一対の車載カメラで撮像した一対の静止画に基づいて車両周辺の３次元情報を取得する、車載制御装置、および、３次元情報取得方法に関する。

近年、先進運転支援システム（ＡＤＡＳ、Advanced Driver Assistance System）や自動運転（ＡＤ、Autonomous Driving）の技術開発の一環として、車両の周辺状況を正確に把握する技術の開発が行われている。車両の周辺状況を把握するための外界センサの一種として、人の目と同様に周辺状況を映像として取得可能なカメラがある。しかし、一台のカメラが、ある一つの視点から撮像した静止画からは、原理的に、撮像した対象物までの距離を測定することができない。そこで、一台のカメラでは測定できない対象物までの距離を、測距装置であるＬｉＤＡＲを併用して測定するセンサフュージョンシステムが提案されている（例えば、特許文献１）。

しかしながら、特許文献１のセンサフュージョンシステムは、同文献の要約に「光源部を含む光源モジュールと光源制御部と受光部とを備える測距装置と、画素部とAD変換部と露光制御部とを備える撮像装置と、光源部が所定の領域へ光を出射するタイミングと、所定の領域に対応する画素群が露光するタイミングとが同期するように、光源制御部と露光制御部とを制御する同期制御部とを具備するセンサフュージョンシステムが提供される。」とあるように、撮像装置（カメラ）と測距装置（ＬｉＤＡＲ）による所定領域でのセンシングタイミングを同期させる必要があり、センシング制御が複雑になるという問題がある。また、一般的に、ＬｉＤＡＲはカメラより高額なため、ＬｉＤＡＲを使用する特許文献１のセンサフュージョンシステムは、ＬｉＤＡＲを使用しない測距システムに比べ、製造コストが上昇するという問題もある。

それらの問題のため、ＡＤＡＳやＡＤを比較的安価に実現したい場合には、センサフュージョンシステムよりも、センシング制御が容易であり、かつ、安価なステレオカメラを利用することが多い。ステレオカメラを利用する場合は、左右カメラの位置と姿勢（視線方向）の関係が判明しているため、左右カメラで撮像した左右画像において同一対象部分をパターンマッチングなどの手法で対応付けし、視差を求めることで、三角測量の要領を用いて車両周辺の測距対象までの距離（３次元情報）を算出することができる。

国際公開第２０２０／０７５５２５号

ところで、近年の車両には、車両周囲の各方向を監視すべく、車両の様々な位置に様々な向きで単眼カメラを取り付けたものもある。このため、撮像範囲が重複する任意の２台の単眼カメラの撮像画像を併用すれば、ステレオカメラで監視しない方向であっても、上記した三角測量の要領で車両周辺の３次元情報を取得することができる。そのためには、重複する撮像範囲を同時に撮像するように、２台の単眼カメラの撮像タイミングを同期させれば良い。

しかしながら、２台の単眼カメラの少なくとも一方が、ＣＭＯＳセンサなどのローリングシャッタ方式の画像センサ（受光面上の撮像ライン毎に、露光タイミングをずらしながら順次撮像する画像センサ）を採用したカメラであった場合には、２台の単眼カメラの撮像開始のタイミングを同期させても、ある位置からある方向を撮像する一方の単眼カメラがある対象物を撮像する露光タイミング（すなわち、一方の単眼カメラ側の撮像ラインの垂直位置）と、別の位置から別の方向を撮像する他方の単眼カメラが同一対象物を撮像する露光タイミング（すなわち、他方の単眼カメラ側の撮像ラインの垂直位置）が異なる可能性があり、その場合は露光タイミングの差（両カメラの撮像ラインの垂直位置の差）に相当する期間に生じた車両（カメラ）と測距対象の相対位置の変化に起因し、当該対象物の測距に誤差が発生するという問題がある。

そこで、本発明は、少なくとも一台のローリングシャッタ方式カメラを含む一対のカメラで撮像した一対の静止画に基づいて、車両周辺の３次元情報を取得する場合、ローリングシャッタ方式カメラの撮影開始タイミングを状況に応じて制御し、測距誤差を抑制する車載制御装置、または、３次元情報取得方法を提供することを目的とする。

ローリングシャッタ方式の画像センサを備えた第一カメラを含む複数のカメラと通信する車載制御装置であって、前記第一カメラと、前記第一カメラの撮像領域の少なくとも一部において同一の測距対象を撮像可能な第二カメラと、で撮像した複数の画像を用いて、前記測距対象の測距を行う測距部と、前記複数の画像のうち少なくとも一つの画像上の測距位置に基づいて、前記第一カメラ又は前記第二カメラの少なくとも一方の露光タイミングを調整する露光タイミング調整部と、を有する車載制御装置。

本発明の車載制御装置、または、３次元情報取得方法によれば、少なくとも一台のローリングシャッタ方式カメラを含む一対のカメラで撮像した一対の静止画に基づいて、車両周辺の３次元情報を取得する場合、ローリングシャッタ方式カメラの撮影開始タイミングを状況に応じて制御し、測距誤差を抑制することができる。

実施例１の車両への２台のカメラの取り付け位置を示す平面図。 図１の２台のカメラで同期撮像した２枚の静止画の一例。 光軸が非平行な２台の実在カメラと、光軸が平行な２台の仮想カメラの光学仕様の関係の一例。 図３の仮想カメラの画像センサ面上に投影される点Ｑの位置の一例。 実施例１の左カメラで撮像した点が、右カメラでどう撮像されるかを示す例。 実施例１による、左右カメラで同一点を同時に露光する方法の一例。 変形例１による、画像上で領域を分け測距を行う例（組合せＡ_Ａ）。 変形例１による、画像上で領域を分け測距を行う例（組合せＡ_Ｂ）。 変形例１による、画像上で領域を分け測距を行う例（組合せＡ_Ｃ）。 変形例１による、左右カメラの露光タイミングの関係を示す例。 変形例２の左カメラで撮像した点が、右カメラでどう撮像されるかを示す例。 図９の左右カメラの設置条件における視差誤差の現れ方の一例。 図９の左右カメラの設置条件における視差誤差の現れ方の一例。 実施例１の車載制御装置の構成例。 図１１のカメラ信号処理部の内部構成例。 実施例２の車載制御装置による撮像タイミング例。 実施例２の車載制御装置による撮像タイミング例。 実施例２の車載制御装置による撮像タイミング例。

以下、本発明の車載制御装置、および、３次元情報取得方法の実施例について、図面を参照して説明する。

まず、図１から図１２を用い、本発明の実施例１に係る車載制御装置１を説明する。

図１は、本実施例の車載制御装置１を搭載した車両１００を上方から見た平面図であり、車両１００に取り付けた２台のカメラＣ（前方を撮像するカメラＣ_１、右前方を撮像するカメラＣ_２）と、両カメラの撮像範囲Ｓ（カメラＣ_１の撮像範囲Ｓ_１、カメラＣ_２の撮像範囲Ｓ_２）と、両カメラで撮像中の歩行者（以降「測距対象ＯＢ」と称する。）の位置関係を例示したものである。

なお、図１では、２台のカメラＣ_１，Ｃ_２のみを例示しているが、車両１００には、右方向、右後方、後方、左後方、左方向、左前方などの各方向を撮像するための複数のカメラ（図示せず）も、各カメラの撮像範囲が重複するように取り付けられている。このため、撮像範囲が重複する任意の２台のカメラが撮像した一対の画像を利用することで、任意方向の３次元情報を取得できるが、以下では、カメラＣ_１，Ｃ_２の撮像画像に基づいて、車両右前の測距対象ＯＢの３次元情報を取得する状況を例に、本実施例の車載制御装置１の詳細を説明する。

図２は、車両１００と測距対象ＯＢが共に停止しており、かつ、カメラＣ_１、Ｃ_２が共に上側から下側の撮像ラインに向かって順次露光するローリングシャッタ方式のカメラである場合に、両カメラが図１の環境下で撮像した画像Ｉを例示したものである。この例では、カメラＣ_１で撮像した画像Ｉ_１と、カメラＣ_２で撮像した画像Ｉ_２の双方に同一の測距対象ＯＢが写っている。ここで、車両１００から測距対象ＯＢまでの距離を測定するための特徴点として、点Ｐを用いることとする。なお、図２中の撮像ラインは本発明を説明するためのイメージであり、実際の撮像ラインは図示するより高い解像度である。

画像Ｉ_１を基準画像とした場合、画像Ｉ_１上の点Ｐは、両画像に歪みがなければ、画像Ｉ_２上では、エピポーラ幾何に基づき、点Ｐまでの距離に応じてエピポーラ線Ｌ_Ｅ上のどこかに現れる。そして、画像Ｉ_２上で、エピポーラ線Ｌ_Ｅ上のどこに点Ｐに存在するかにより、点Ｐまでの距離を算出することができる。

ここで、図３を用い、車両１００に取り付けた、光軸が平行でない２台のカメラが撮像した一対の静止画に基づいて、ステレオ視によって測距対象点までの距離を測定する方法の一例を説明する。

図３において、点Ｏｌは、相対的に左側にあるカメラ（図１ではカメラＣ_１に該当、以降「左カメラ」と称する）の光学中心、点Ｏｒは、相対的に右側にあるカメラ（図１ではカメラＣ_２に該当、以降「右カメラ」と称する）の光学中心である。また、線分ＢＬは、両光学中心を結んだ基線であり、その長さは点Ｏｌと点Ｏｒの距離である。

図３に示す座標系は、上記した線分ＢＬの中心点Ｏを原点とする、Ｘ軸、Ｙ軸、Ｚ軸の三軸からなる直交座標系である。この直交座標系では、Ｙ軸が線分ＢＬと重なっており、Ｘ軸がＹ軸と直交しており、Ｚ軸がＸ軸及びＹ軸と直交しており、左右カメラの光軸がＸＹ平面上に存在している。なお、Ｘ軸は車両から離れる方向を正方向としており、Ｙ軸は左方向を正方向としており、Ｚ軸は上方向を正方向と定義している。そして、左カメラの仕様を、図中の左カメラ光軸Ｃｌ_ＯＡ、左カメラ画像センサ面Ｃｌ（太実線で示す平面）、左カメラ焦点距離ｆｌで定義し、右カメラの仕様を、図中の右カメラ光軸Ｃｒ_ＯＡ、右カメラ画像センサ面Ｃｒ（太実線で示す平面）、右カメラ焦点距離ｆｒで定義する。

実在の左右カメラの他に、一般的なステレオカメラ同等の平行ステレオ視の実現を想定した仮想の左右カメラを考える。この仮想カメラＶについては、仮想左カメラの仕様を、図中の仮想左カメラ光軸Ｖｌ_ＯＡ、仮想左カメラ画像センサ面Ｖｌ（太破線で示す平面）、仮想左カメラ焦点距離ｓｌで定義し、仮想右カメラの仕様を、図中の仮想右カメラ光軸Ｖｒ_ＯＡ、仮想右カメラ画像センサ面Ｖｒ（太破線で示す平面）、仮想右カメラ焦点距離ｓｒで定義する。なお、仮想左カメラ焦点距離ｓｌと仮想右カメラ焦点距離ｓｒは同じとする。また、仮想左カメラの光学中心は実在の左カメラの光学中心と同じ点Ｏｌに位置し、仮想右カメラの光学中心は実在の右カメラの光学中心と同じ点Ｏｒに位置するものとする。そして、仮想左カメラ画像センサ面Ｖｌ、仮想右カメラ画像センサ面Ｖｒは共にＹＺ平面と平行な面に設定する。また、各画像センサ面はそれぞれの面に対応する光軸と直角であるものとする。

ここで、実在の左右カメラの撮像範囲にある、空間上のある点Ｑまでの距離を測距する状況を考える。実在の左カメラでは点Ｑは左カメラ画像センサ面Ｃｌ上の点Ｃｌ_Ｑに投影される。この場合、図３からわかるように、点Ｏｌと点Ｃｌ_Ｑを結ぶ直線と仮想左カメラ画像センサ面Ｖｌが交わる点Ｖｌ_Ｑが仮想左カメラ画像センサ面Ｖｌ上に投影される点Ｑの位置となる。すなわち、共に点Ｏｌを光学中心とした仮想左カメラと左カメラの姿勢の関係（両者の光軸がなす角度であるθｌなど）と、左カメラ焦点距離ｆｌ、仮想左カメラ焦点距離ｓｌが分かれば、左カメラ画像センサ面Ｃｌ上に投影される点Ｃｌ_Ｑの位置から仮想左カメラ画像センサ面Ｖｌに投影される点Ｖｌ_Ｑの位置を求めることができる。同様に、右カメラ画像センサ面Ｃｒ上に投影される点Ｃｒ_Ｑの位置から仮想右カメラ画像センサ面Ｖｒに投影される点Ｖｒ_Ｑの位置を求めることができる。

なお、図３では、左カメラ光軸Ｃｌ_ＯＡと右カメラ光軸Ｃｒ_ＯＡを共にＸＹ平面上に配置した構成を前提に、互いに平行な仮想左カメラ光軸Ｖｌ_ＯＡと仮想右カメラ光軸Ｖｒ_ＯＡを設定したが、測距対象である点Ｑが撮像可能な範囲で、実在の左右カメラの光軸を３次元的に回転させ（具体的には、左右カメラの光軸を任意の仰角または俯角の方向に傾け）、左カメラ光軸Ｃｌ_ＯＡと右カメラ光軸Ｃｒ_ＯＡがＹ軸上でのみＸＹ平面と交差する構成にしても、図３と同様に、互いに平行な仮想左カメラ光軸Ｖｌ_ＯＡと仮想右カメラ光軸Ｖｒ_ＯＡを設定し、上記した点Ｖｌ_Ｑや点Ｖｒ_Ｑの位置を求めることができる。

したがって、実在の左カメラで撮像した左画像Ｉｌから左仮想カメラで仮想的に撮像した仮想左画像を算出することができ、実在の右カメラで撮像した右画像Ｉｒから右仮想カメラで仮想的に撮像した仮想右画像を算出することができる。そして、図３における左仮想カメラと右仮想カメラは、仮想的な平行ステレオカメラを構成するので、仮想左画像と仮想右画像に基づいて測距対象ＯＢまでの距離を三角測量の要領で計算することができる。

＜仮想カメラＶの画像センサ面への点Ｑの投影位置＞
図４に、図３の仮想左カメラ画像センサ面Ｖｌ、仮想右カメラ画像センサ面ＶｒをＸ軸の負方向から見た図を示す。図４を用いて、仮想的な平行ステレオカメラにおける画像センサ面上の位置と測距対象ＯＢまでの距離の関係を述べる。

図４では、左右の画像センサ面上の座標系としてＵ軸とＶ軸を定義し、仮想左カメラ画像センサ面Ｖｌの原点を点Ｖｌ_Ｏ、仮想右カメラ画像センサ面Ｖｒの原点を点Ｖｒ_Ｏとする。図３に示すように、点Ｖｌ_Ｏは仮想左カメラ画像センサ面Ｖｌと仮想左カメラ光軸Ｖｌ_ＯＡの交点に位置し、点Ｖｒ_Ｏは仮想右カメラ画像センサ面Ｖｒと仮想右カメラ光軸Ｖｒ_ＯＡの交点に位置する。

画像センサ面の座標を（Ｕ座標、Ｖ座標）の形式で表すと、仮想左カメラ画像センサ面Ｖｌ上に投影された点Ｑ（すなわち点Ｖｌ_Ｑ）の座標を（ｕｌ，ｖｌ）とし、仮想右カメラ画像センサ面Ｖｒ上に投影された点Ｑ（すなわち点Ｖｒ_Ｑ）の座標を（ｕｒ，ｖｒ）とすると、図３におけるＹＺ平面から点Ｑまでの距離Ｄ、すなわち点ＱのＸ座標の値は式１で表すことができる。

ここで、ｓは仮想左カメラ焦点距離ｓｌ（或いは、これと同値の仮想右カメラ焦点距離ｓｒ）であり、ｄは線分ＢＬの長さ（基線長）である。

また、ｖｒ及びｖｌは式２で表すことができる。

ここで、ｘは図３における点ＱのＸ座標（すなわち距離Ｄに等しい）であり、ｚは図３における点ＱのＺ座標である。式２が示すように、歪のない同じ２台のカメラで構成された平行ステレオカメラでは左右の画像センサ面のＶ座標が一致する。すなわち、当該２台のカメラがローリングシャッタ方式の画像センサを用いていても、２台を同期して動作させれば、左右のカメラの画像センサ面で同じ撮像ライン（垂直位置）に点Ｑが投影されるので、距離Ｄの計算に用いる画像上の点は左右のカメラで同時に露光できる。

＜左右画像の関係の一例＞
図５は、図３において、左右のカメラの焦点距離ｆｌ、ｆｒが同一、実在の左カメラは左仮想カメラと同じ姿勢（θｌ＝０°）、実在の右カメラは点Ｏｒを通るＺ軸と平行な直線を中心に右仮想カメラから右に３０度回転（θｒ＝３０°）している状況において、左カメラで画像として捉えた点が、右カメラでどのように捉えられるかを例示したものである。

左カメラで撮像した画像を左画像Ｉｌ、右カメラで撮像した画像を右画像Ｉｒとすると、左画像Ｉｌは左カメラ画像センサ面Ｃｌの画像に相当するが、図４の仮想左カメラ画像センサ面Ｖｌではカメラのレンズの影響で画像が上下左右反転しているため、図５では再度上下左右を反転して元の向きで示している。右画像Ｉｒも同様である。以降、カメラの捉えた画像の向きは、図５と同様の向きで示す。

右画像Ｉｒは、左画像Ｉｌに示す各点までの距離がある範囲で変化した場合にについてまとめて示しているので、左画像Ｉｌの各点が右画像Ｉｒでは各線分となっている。すなわち、左画像Ｉｌ上のある点は、当該点までの距離により右画像Ｉｒで対応する線分、あるいは線分を延長した直線のどこかに現れ、また逆に当該線分あるいは直線のどこに現れるかにより、当該点までの距離を算出できる。

左画像Ｉｌの各点と右画像Ｉｒの各線分が対応するように図示しているが、左右カメラの撮像範囲の違いから、左画像Ｉｌ上の点の一部は、右画像Ｉｒの範囲外になっている。いくつかの点と線分の対応を例示すると、左画像Ｉｌの点Ｐ_１、Ｐ_２、Ｐ_３が右画像Ｉｒの線分Ｌ_１、Ｌ_２、Ｌ_３にそれぞれ対応する。

図５において、左画像Ｉｌの点Ｐ_１、Ｐ_２、Ｐ_３が存在する撮像ラインＨ（垂直位置）と、右画像Ｉｒの線分Ｌ_１、Ｌ_２、Ｌ_３の垂直位置を比較すると、線分Ｌ_１は撮像ラインＨの上側、線分Ｌ_２はほぼ撮像ラインＨの位置、線分Ｌ_３は撮像ラインＨの下側になっている。したがって、ローリングシャッタ方式の左カメラと右カメラの撮像タイミングが同期しており、左画像Ｉｌ及び右画像Ｉｒが共に同じ速度で上側の撮像ラインから下側の撮像ラインに順次露光を行うと、点Ｐ_１については左画像Ｉｌより右画像Ｉｒが早く露光されるという露光時刻のずれが生じ、逆に、点Ｐ_３については左画像Ｉｌより右画像Ｉｒが遅く露光されるという露光時刻のずれが生じることになる。

この露光時刻のずれは、車載カメラのようにカメラＣの位置（車両１００の位置）と測距対象ＯＢの位置の相対関係が時々刻々と変化する状況において大きな問題となる。すなわち、視差の影響だけでなく、露光時刻のずれに相当する期間中のカメラと測距対象ＯＢの相対位置関係の変化も、左画像Ｉｌと右画像Ｉｒの違いとして現れるため、測距対象点までの測距に必要な、左画像Ｉｌと右画像Ｉｒの測距対象点位置の関係に影響を及ぼし、測距誤差が発生するからである。したがって、露光時刻のずれに起因する測距誤差を抑えるためには、測距対象点の投影位置に応じて左右カメラの露光時刻の差を抑制する必要がある。

＜露光時刻差の抑制方法＞
次に、図６を用いて、同一の測距対象ＯＢを左右カメラで撮像する際の露光時刻の差を抑制する方法を説明する。図６は、図５と同じ設置条件下の左右カメラで捉えた左右画像における、測距対象ＯＢと、その測距対象ＯＢまでの距離の測定に用いる特徴点である点Ｐを例示している。なお、説明のため、図６の左画像Ｉｌ_１には図５の左画像Ｉｌと同じ画像上の点を記載しており、図６の右画像Ｉｒ_１には図５の右画像Ｉｒと同じ画像上の線分も記載している。また、左画像における点Ｐの垂直位置を示す撮像ラインＨｌ、右画像における点Ｐ’の垂直位置を示す撮像ラインＨｒも記載している。点Ｐ’は点Ｐが測距対象範囲とする最大距離に位置すると仮定したときの点Ｐの右画像上の位置である。

測距対象ＯＢの特徴点（点Ｐ）は、図５の左画像Ｉｌの点Ｐ_３と同じ位置にあるものとする。この場合、左右カメラの露光開始時刻が同じと仮定すれば、図６の左画像Ｉｌ_１の点Ｐは、図５の右画像Ｉｒでは線分Ｌ_３（あるいは、その線分と重なる直線）上に位置することになる。この場合には、上記したように、左カメラによる点Ｐ_３の露光タイミングに比べ、右カメラによる線分Ｌ_３の露光タイミングが遅れることになる。そこで、点Ｐ_３と線分Ｌ_３の露光タイミングのずれを抑制すべく、図５の右画像Ｉｒの線分Ｌ_３（あるいはその線分と重なる直線）の垂直位置を図５の撮像ラインＨ（図６の撮像ラインＨｌ）に近くすることを考える。

左画像Ｉｌの点Ｐ_３に対応する右画像Ｉｒの線分Ｌ_３は水平とは限らないため、線分Ｌ_３、あるいはその線分と重なる直線上のどの点を撮像ラインＨ（Ｈｌ）の垂直位置に合せるか決める必要があるが、式１で示す関係により、画像上の位置変化は測距対象ＯＢまでの距離に反比例して小さくなり、遠距離ほど画像上の位置のずれに敏感になることから、実質的な測距誤差抑制の効果を考え、測距対象範囲とする最大距離に対応する点とする。図６の右画像Ｉｒ_１ではこの点を点Ｐ’として示す。

測距対象範囲とする最大距離は測距目的、例えば大きい交差点で進行する先の横断歩道上の交通参加者までの距離を確認するなど、を勘案して決定する。この際、最大距離の測距に必要な実効的な解像度を得られるカメラや、カメラの取り付け姿勢の精度、車両に取り付けた時点で実施するカメラのキャリブレーションの精度、車両が運行される際のセンシング誤差補正機能を考慮する。

カメラのキャリブレーションについては既に一般的に実施されているので、その方法についての説明は省略する。センシング誤差補正機能についても既に実施されているので詳細説明は省略するが、例えば車両が停止している状態で標識や信号機など固定されていることが確実な物標に対し、複数のカメラ画像や他の外界センサによる物標検出位置を比較して各センサのセンシングずれを検出し、補正を行う方法などがある。

図６において、点Ｐ’の右画像Ｉｒ_１上での垂直位置、すなわち点Ｐ’の撮像ラインＨｒが分かれば、左画像Ｉｌ_１と右画像Ｉｒ_１の撮像タイミングで何撮像ライン分差をつければ点Ｐを左右カメラで同時に撮像できるかが分かる。そして、画像センサの動作パラメータ決定できる１撮像ライン当たりの露光時刻のずれから露光開始時刻の差を計算することができる。したがって、計算で求めたタイミングに合うように同期信号などのフレームタイミング制御用の信号を左カメラと右カメラにそれぞれ与えることで、左右のカメラで点Ｐを露光するタイミングを揃えることができ、点Ｐの測距誤差を抑制することができる。

図６に例示するように、左画像Ｉｌ_１上での点Ｐの撮像ラインがＨｌであり、右画像Ｉｒ_１上での点Ｐ’の撮像ラインがＨｒであれば、ＨｌとＨｒの差分である撮像ラインΔＨの露光時間に相当する時間だけ右カメラの撮像タイミングを早めれば、左画像Ｉｌ_１上の点Ｐと、右画像Ｉｒ_１上の点Ｐ’を同時に撮像することができる。この結果、左右画像にはほぼ同時刻の測距対象ＯＢが撮像されるため、この左右画像から算出した仮想左右画像に基づいて、点Ｐの位置を精度良く測定することができる。

＜変形例１＞
次に、図７と図８を用いて、本実施例の変形例１を説明する。図６を用いて説明した方法では、測距対象となる点Ｐを画像上で特定した後に、撮影タイミングの適切な修正量（ΔＨラインの露光に要する時間に相当）を決定し、さらに、撮像タイミングを調整した左右画像に基づいて測距対象点を測距する必要がある。つまり、図６の方法により、正確に測距できる測距対象点は、基本的に特定の一点（点Ｐ）のみであった。

しかし、画像上で注目したい領域単位で、そこに存在する対象をまとめて測距したい場合がある。このような場合に対応する方法の例として、図７Ａから図７Ｃを用い説明する。

本変形例の図７Ａから図７Ｃでは、左画像Ｉｌ_２と右画像Ｉｒ_２の露光タイミング差の関係を、予め準備した３通りの組み合わせから選択する。図７Ａの組合せＡ_Ａでは、左カメラより右カメラの露光タイミングを所定のΔＨライン分早め、図７Ｂの組合せＡ_Ｂでは、左カメラと右カメラの露光タイミングを合わせ、図７Ｃの組合せＡ_Ｃでは、左カメラより右カメラの露光タイミングを所定のΔＨライン分遅らせている。ここで、各図では、左画像Ｉｌ_２に存在する各点の垂直方向の位置が分かりやすいように、水平線（点線）を描いている。

尚、露光は実際には一瞬ではなく、本来画像センサ上に届く光の強さと画像センサの感度特性を考慮して、ある程度の期間行うものであるが、本明細書において露光タイミングとは、露光を開始するタイミング、あるいは露光期間の中央となるタイミングなど、露光期間を代表するタイミングを指す。但し、露光期間を代表するタイミングの考え方は一つに揃えて考える必要がある。

図７Ａの組合せＡ_Ａでは、右画像Ｉｒ_２の右上と左下の領域Ｒ_Ａの部分に存在する線分の遠距離側に対応する端（右画像Ｉｒにおいて、各線分の右端）の垂直方向の位置の差が組合せＡ_Ｂに対し改善している。これに対し、図７Ｃの組合せＡ_Ｃでは、右画像Ｉｒ_２の左上と右下の領域Ｒ_Ｃの部分に存在する線分の遠距離側に対応する端の垂直方向の位置の差が組合せＡ_Ｂに対し改善している。すなわち、右画像Ｉｒ_２の領域Ｒ_Ａに測距対象ＯＢがある場合には、図７Ａの組合せＡ_Ａに示す露光タイミングとなるよう左右カメラの画像センサのフレーム露光開始タイミングを調整し、右画像Ｉｒ_２の領域Ｒ_Ｃに測距対象ＯＢがある場合には、図７Ｃの組合せＡ_Ｃに示す露光タイミングとなるよう左右カメラの画像センサのフレーム露光開始タイミングを調整し、右画像Ｉｒ_２の領域Ｒ_Ｂ（領域Ｒ_Ａと領域Ｒ_Ｃ以外）に測距対象ＯＢがある場合には、図７Ｂの組合せＡ_Ｂに示す露光タイミングとなるよう左右カメラの画像センサのフレーム露光開始タイミングを調整すれば、測距対象ＯＢがある領域において、左右カメラでの露光タイミングのずれによる測距誤差を抑制できる。

測距対象ＯＢの特定の一点（点Ｐ）を投影する撮像ラインを左右同時に撮像する図６の撮像方法に比べると、図７Ａから図７Ｃに示す本変形例の撮像方法では、点Ｐを含む左右の撮像ラインの撮像タイミングのずれが大きくなる可能性があるため、測距誤差もやや大きくなるが、左右カメラの露光タイミングの関係を常に固定する場合（例えば、常に図７Ｂの組合せＡ_Ｂを使用する場合）に比べれば、測距対象領域に応じて撮像タイミングを制御している分、測距誤差を抑制することが可能である。

尚、領域を小さく区切っても測距誤差を抑制したい場合には、領域をより多く分割し、各領域について左カメラと右カメラの露光タイミングの差を定義すればよい。さらに、領域をオーバーラップして定義しておき、測距したい対象領域を最もカバーする領域を選択して、当該領域に対応する露光タイミングの差を定義することも考えられる。

ここで、図８を用いて、図７Ａから図７Ｃに示す方法を、予め測距対象ＯＢとする領域を選択せずに行いたい場合に対応する方法について説明する。図８は左カメラと右カメラの露光タイミングの関係を示している。特に領域の数が少ない場合においては、測距対象ＯＢの選択結果に関わらず領域を順次選択することで、認識処理や測距領域選択に伴う遅延の影響を排除でき、結果的に測距対象ＯＢを早く測距できる利点がある。また、順次選択する場合には、一連の順序の中に重要度の高い特定の領域の測距間隔を短くするために、当該領域を複数回選択してもよい。

さらに、複数の順序を予め定義しておき、周辺の状況や車両の走行状態（速度、縦加速度、横加速度）、ドライバの運転操作状況（シフトレバーの位置、操舵角）などにより、順序を切り替えても良い。例えば、高速走行中は車両前方の領域の測距間隔を短くしたり、横加速度が発生している場合や操舵操作が行われている場合には、進行方向に対応する領域の測距間隔を短くしたり、後退中は後方監視に利用可能なカメラを用いた測距間隔を短くしたりすることで、状況に応じて重要度の高い部分の測距を行うことができる。

図８に示す各露光は画像センサが１フレーム分の露光を示している。左カメラでは露光Ｅｌ_ｂ、露光Ｅｌ_ａ、露光Ｅｌ_ｃの順に露光を繰り返している。右カメラでは露光Ｅｒ_ｂ、露光Ｅｒ_ａ、露光Ｅｒ_ｃの順に露光を繰り返している。前述の組合せＡ_Ｂに相当する露光Ｅｌ_ｂと露光Ｅｒ_ｂの組合せでは左右のカメラで同時に露光を行い、前述の組合せＡ_Ａに相当する露光Ｅｌ_ａと露光Ｅｒ_ａの組合せでは左カメラより右カメラの方がΔＨライン分早く露光を行い、前述の組合せＡ_Ｃに相当する露光Ｅｌ_ｃと露光Ｅｒ_ｃの組合せでは左カメラより右カメラの方がΔＨライン分遅く露光を行う。すなわち、予め決めた繰り返しで、左カメラと右カメラの露光タイミングの関係を変更して露光を行う。このように、図８に示す露光を行うことで、測距する領域に合わせ適切なタイミングの露光結果を用いれば、露光時刻のずれに伴う測距誤差を抑制できる。

＜変形例２＞
次に、図９、図１０Ａ、図１０Ｂを用いて、図５とは左右カメラの設置条件を変えた場合の測距方法である、本実施例の変形例２を説明する。

図９は、左右カメラの光軸は平行であるが、左カメラの画像センサ面を左カメラの光軸周りに３０度反時計回りに回転した場合に、両カメラで撮像した左右画像に対応している。この撮像条件は、２台のカメラの位置関係、及びカメラの取り付けられている車両に対する関係として、例えば、図３においてＸ軸を車両の前方向と平行とすると、Ｙ軸が車両の水平に対してＸ軸周りに３０度時計回りに回転しており、左カメラの姿勢が車両と水平で、右カメラが右カメラの光軸を中心に時計回りに３０度回転している状況に相当する。

図９においては、右画像Ｉｒ_３は、左画像Ｉｌ_３に示す各点までの距離がある範囲で変化した場合についてまとめて示しているので、左画像Ｉｌ_３の各点が右画像Ｉｒ_３では線分となっている。

左画像Ｉｌ_３の各点と右画像Ｉｒ_２の各線分が対応するように図示しているが、左右カメラの撮像範囲の違いから、左画像Ｉｌ_３上の点の一部は、右画像Ｉｒ_３の範囲外になっている。いくつかの点と線分の対応を示すと、図９の左画像Ｉｌ_３の点Ｐ_４、Ｐ_５、Ｐ_５が右画像Ｉｒ_３の線分Ｌ_４、Ｌ_５、Ｌ_６にそれぞれ対応する。

図９に示す例では、左カメラと右カメラを結ぶ基線（線分ＢＬ）に対して、右カメラの姿勢は平行ステレオカメラと同じ姿勢となるので、右画像Ｉｒ_３に示す各線分は画像に対し水平となる。すなわち、測距のために画像上の位置を確認するのに用いる側のカメラの姿勢を調整することで、ローリングシャッタ方式の画像センサであっても、対象までの距離に関わらず各点の露光するタイミングは同じにすることが可能である。

しかし、点Ｐ_４、Ｐ_５、Ｐ_６を結ぶ撮像ラインＨ_２と、線分Ｌ_４、Ｌ_５、Ｌ_６の右端（すなわち遠距離側）を結ぶ直線Ｌｒは平行ではない。つまり、このような左右カメラの組合せであっても、ローリングシャッタ方式の画像センサを用いた場合には、左画像Ｉｌ_３に捉えた測距対象点の位置に依存して、当該測距対象点を露光するタイミングが左右のカメラで異なる。

図９に対応する左カメラ及び右カメラの設置条件において、ローリングシャッタの影響による垂直方向の露光時刻ずれの大きさ、測距対象ＯＢの動き、測距対象ＯＢまでの距離をある値に固定した際の、測距誤差の現れ方を図１０Ａ，図１０Ｂに示す。なお、図１０Ａは、測距対象ＯＢが相対的に右方向に移動する状況下（例えば、車両１００の左旋回中）に撮像した左右画像であり、図１０Ｂは、測距対象ＯＢが相対的に左方向に移動する状況下（例えば、車両１００の右旋回中）に撮像した左右画像である。

図１０Ａ、図１０Ｂでは、左画像Ｉｌ_３の各点について、右画像Ｉｒ_３ａ及び右画像Ｉｒ_３ｂに対応する点を示し、右画像Ｉｒ_３ａ及び右画像Ｉｒ_３ｂでは、各点における測距誤差を点の周りの〇または×で示している。ここで、〇または×の大きさが誤差の程度を示し、〇は実際より近い距離、×は実際より遠い距離として誤差が表れることを示す。

図９における左右カメラの姿勢の場合、画像を複数領域に分割して領域ごとに左カメラと右カメラの露光タイミングの関係を調整する場合、領域の分割例として、図１０Ａ、図１０Ｂの右画像Ｉｒ_３中に示す領域Ｒ_Ｄ１、領域Ｒ_Ｄ２、および、それ以外の領域に分けることが考えられる。そして、領域Ｒ_Ｄ１に対しては左カメラの露光開始に対し右カメラの露光開始を遅らせ、領域Ｒ_Ｄ２に対しては左カメラの露光開始に対し右カメラの露光開始を早め、それ以外の領域では左カメラと右カメラの露光開始を合わせる。

図１０Ａの右画像Ｉｒ_３ａと図１０Ｂの右画像Ｉｒ_３ｂでは、測距対象ＯＢの相対的な動きが異なる影響で、測距誤差の現れ方が遠近逆になっているが、分割した領域は露光タイミングの違い、すなわち左画像上の位置に対応する右画像の撮像ライン（垂直位置）の違いにより範囲が決まるので、右画像Ｉｒ_３ａと右画像Ｉｒ_３ｂで異なることはない。つまり、領域の分割方法は測距対象ＯＢのカメラに対する相対的な動きには依存せずに決定できる。

しかし、測距誤差そのものの補正は、測距誤差がカメラと測距対象ＯＢの相対位置の変化方向や程度に依存する。すなわち、相対位置が時々刻々と様々に変化する車載カメラにおいては、露光時刻のずれの期間の相対位置変化の推定が必要であり、推定に依存することから必ずしも正しく補正できない。

＜車載制御装置１の具体的な構成＞
次に、図１１と図１２を用いて、これまで説明した３次元情報取得処理を実行する、車載制御装置１の具体的な構成例を示す。なお、以下では、車両周囲の各方向を監視するためにｎ個のカメラ（カメラＣ_１からカメラＣ_ｎ）が、各カメラの撮像範囲が重複するように車両１００に取り付けられており、また、各カメラが車載制御装置１に接続されているものとする。

図１１に示すように、車載制御装置１は、カメラインタフェース１１と、カメラ信号処理部１２と、カメラ認識処理部１３と、統合認識部１４と、ＡＤ／ＡＤＡＳ制御処理部１５と、測距対象選択部１６と、ＣＡＮインタフェース１７と、カメラ動作パラメータ決定部１８と、カメラ動作タイミング計算部１９を有している。なお、車載制御装置１は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、演算装置が所定のプログラムを実行することで、カメラ信号処理部１２やカメラ認識処理部１３などの各機能を実現するが、以下では、このような周知技術を適宜省略しながら、各部の詳細を順次説明する。

カメラインタフェース１１は、車載制御装置１にカメラを接続するためのインタフェースで、電気的な整合や信号形式の変換などを行う。カメラインタフェース１１は各カメラで撮像した画像及びカメラの動作状況を示す情報はカメラ信号処理部１２に送る。また、カメラ信号処理部１２で集約し、各カメラ向けの制御信号に合わせて形式などを変換したフレーム取得開始タイミング設定や露光設定などに関する情報をそれぞれのカメラに送る。

カメラ信号処理部１２は、各カメラの動作に必要なパラメータを集約する以外に、様々な画像処理を行う。カメラ信号処理部１２の内部構成例は図１２を用いて別途説明する。

カメラ信号処理部１２での画像処理結果は、カメラ認識処理部１３へ送られ、画像の中に存在する様々な物体を検出し、検出した各物体の種別や状態（距離、速度、加速度、向き、発光体の点灯の有無など）を認識する。速度や加速度などの情報は、主として距離の時間変化より算出する。

カメラ認識処理部１３による距離の算出においては、カメラ信号処理部１２で検出した同一点に対する視差情報が利用可能な場合には当該視差情報から算出するが、測距対象ＯＢとして選択されていない対象などで視差情報が存在しない場合には、１つのカメラから得られた画像からＡＩ（人工知能）等を用いて距離を推定しても良い。また距離を推定するＡＩに対して、得られた視差情報を与えても良く、このような構成することでＡＩ内部での対象物までの距離推定誤りをＡＩ自体に補正させたり、対象物までの距離推定に利用する対象物の周辺物までの距離を視差情報から取得したりすることが可能となる。すなわち視差情報をＡＩによる距離推定精度向上に活用できる。なお、ＡＩによる距離推定精度向上に活用するため、カメラ認識処理部１３はＡＩが距離推定を行う上で重要な対象物を測距対象ＯＢとするように、測距対象選択部１６に要求を出しても良い。

統合認識部１４は、カメラ認識処理部１３の認識結果、カメラ信号処理部１２で検出した露光状態やホワイトバランスなど各カメラの撮像画像の品質に関わる情報、ＣＡＮインタフェース１７経由で外部から得られる車両の走行状態（走行速度、縦加速度、横加速度など）、ドライバ操作（操舵操作、アクセル操作、ブレーキ操作、シフトレバーの位置など）などの情報を統合的に判断し、最終的な認識結果をＡＤ／ＡＤＡＳ制御処理部１５へ伝える。また、カメラ以外の外界センサが存在する場合には、それら外界センサから得た情報を利用しても良い。

ＡＤ／ＡＤＡＳ制御処理部１５は、統合認識部１４から得られた最終的な認識結果をもとに、ＣＡＮインタフェース１７経由で外部から得られる車両の走行状態、ドライバ操作などの情報もふまえて、車両制御に必要な情報（アクセル、ブレーキ、操舵などへの介入情報など）やドライバへの警告要求信号を生成し、ＣＡＮインタフェース１７経由で車両制御系の電子制御装置やヒューマンマシンインタフェース系の電子制御装置に出力する。

測距対象選択部１６は、カメラ認識処理部１３、統合認識部１４、ＡＤ／ＡＤＡＳ制御処理部１５の状況、及び過去数フレームにおいて選択した測距対象領域などを考慮して、測距処理に用いるカメラの組合せや各カメラの組合せにおいて測距対象ＯＢとする画像上の特徴点あるいは測距対象領域を決定する。ある特徴点に注目すれば図６を用いて説明したような処理を行うことが可能であり、測距対象領域に注目すれば図７で示したような処理が可能である。

なお、カメラが３台以上ある場合には、異なる方向の同時測距のために、測距に用いるカメラの組合せを複数同時に選択することも考えられる。カメラの組合せを複数同時に選択する場合、露光タイミングの基準となるカメラは、複数の組合せで共有することも考えられる。例えばＣｘ，Ｃｙ、Ｃｚ３台のカメラで２組の組合せを考える場合、１台のカメラ（カメラＣｙ）を露光タイミングの基準として、ＣｘとＣｙのカメラの組、ＣｙとＣｚのカメラの組として取り扱うことも可能である。

測距対象選択部１６がカメラ認識処理部１３の結果だけでなく、統合認識部１４、ＡＤ／ＡＤＡＳ制御処理部１５からの情報を統合して活用することにより、例えばＡＤ／ＡＤＡＳ制御処理部１５が緊急回避必要と判断している際には回避対象に対する測距を優先し、回避操作の精度向上に利用できる。また、カメラ以外の外界センサの情報も統合認識部１４が利用する場合には、ある方位の測距用外界センサからの測距情報が不安定になった際や、ある方位を監視する外界センサで取得した測距情報に齟齬が発生した際に、測距精度を担保するために、当該方位の測距を優先するなど、臨機応変な対応が可能となる。

カメラ動作パラメータ決定部１８は、カメラ信号処理部１２が処理を行う際に得られた情報、及び測距対象選択部１６で選択した測距に用いるカメラの組合せや測距対象ＯＢとする各カメラの画像上の位置情報あるいは測距対象領域情報をもとに、各カメラの露光条件やホワイトバランスなどの設定を決定する。測距に用いるカメラの組合せで測距対象ＯＢとする部分の露光条件やホワイトバランスの差が大きく異ならないようにして、当該カメラの組合せで得られる画像の間で空間上の同一点の対応関係の検出が難しくならないようにパラメータを決定する。

カメラ動作タイミング計算部１９は、カメラ動作パラメータ決定部１８で決定したパラメータ、各カメラに用いている画像センサの情報（同期タイミングを制御するパラメータ、同期信号と各撮像ラインの露光タイミングの関係）、カメラ動作パラメータ決定部１８経由で得る測距対象選択部１６で選択した測距に用いるカメラの組合せや測距対象ＯＢとする各カメラの画像上の位置情報あるいは領域情報から、各カメラの同期に関わる設定パラメータを計算する。この際、図６を用いて説明したように、最大測距距離を考慮する必要があるが、最大測距距離は利用するカメラの性能に合わせて固定でも良いし、測距対象選択部１６及びカメラ動作パラメータ決定部１８経由で得られるカメラ認識処理による周辺状況（通常走行か交差点内走行かなど）識別結果を利用しても良いし、ＣＡＮインタフェース１７経由で得られる走行速度や操舵情報、地図上の自車両位置情報などを用いて判断しても良い。

カメラ動作パラメータ決定部１８及びカメラ動作タイミング計算部１９で計算した設定パラメータは、カメラ信号処理部１２に集約され、カメラインタフェース１１を経由して各カメラに送出する。

＜カメラ信号処理部１２の詳細＞
ここで、カメラ信号処理部１２の内部構成例を図１２に示す。図１２に示す例では、カメラ信号処理部１２は、カメラ信号処理動作制御部１２ａと、カメラ制御信号生成部１２ｂと、カメラ入力選択部１２ｃと、画素値補正部１２ｄと、色復元部１２ｅと、画像歪補正部１２ｆと、ステレオ視対象画像選択部１２ｇと、視点変換部１２ｈと、ステレオ視領域選択部１２ｉと、画像間輝度バランス調整部１２ｊと、解像度調整処理部１２ｋと、視差分析部１２ｌを有している。以下、各部の詳細を順次説明する。

カメラ信号処理動作制御部１２ａは、カメラ信号処理部１２の全体的な制御を行うものであり、そのために先ず、カメラ動作パラメータ決定部１８及びカメラ動作タイミング計算部１９から、各カメラの制御に必要な情報を集約する。集約した信号はカメラ制御信号生成部１２ｂに送り、各カメラの制御信号に合うよう形式など変換した上でカメラインタフェース１１を経由して各カメラへ送信する。また、各カメラのフレームレートの違いや制御信号で設定した内容が実際の撮像画像に反映されるまでの遅延等を考慮して、各カメラに対応する情報をカメラ制御信号生成部１２ｂに送るタイミングを遅らせる場合もある。各カメラの形式に合わせる機能により、車載制御装置１には異なる形式のカメラを同時に接続可能である。

また、カメラ信号処理動作制御部１２ａは、さらに各カメラに制御信号の設定を行ってから、当該設定に基づき撮像した画像が各カメラからカメラインタフェース１１経由で得られるまでの遅延を考慮して、カメラ信号処理部１２内部の様々な処理部に対し処理に必要な情報を提供する役割も有する。

各カメラからの画像や撮像に伴う付加情報は、カメラインタフェース１１経由でカメラ入力選択部１２ｃに入る。カメラ入力選択部１２ｃは、カメラ信号処理動作制御部１２ａからの指示に従い、その時点でカメラ信号処理１３０の処理対象とするカメラやフレームの選択を行う。例えば車両１００の後方を監視するカメラが存在する場合、当該カメラからの画像は通常走行中は数フレームに１回のみをカメラ信号処理部１２の処理対象とし、後退、右左折、車線変更を行う場合のみ毎フレームカメラ信号処理部１２の処理対象とすることで、通常走行時の演算負荷を抑制したり、進行方向の認識処理に演算負荷を振り分けたりすることができる。測距のために組で用いるカメラについては、測距処理に用いる組となるフレームの画像を必ずセットで選択する。

カメラ入力選択部１２ｃは、選択した各カメラのフレームの画像を画素値補正部１２ｄに送り、画素値補正部１２ｄでは、画像の画素値補正を行う。この画素値補正では、各カメラの感度特性や各カメラに設定した露光条件、画像データ出力における画素値の非線形圧縮設定を考慮して、各カメラから得られた画像毎に各画素に対応する実際の明るさと画素値の関係が線形になるように補正する。また、異なるカメラで得た画像間でも同一の明るさの画素の値が大体同一値となるように補正する。この際、カメラのレンズ特性により、画像の周辺部が実際より暗く（すなわち画素値が小さく）なる現象の補正も行う。各カメラに設定した露光条件、画像データ出力における画素値の圧縮設定を考慮するために必要な情報は、カメラ信号処理動作制御部１２ａから取得する。

画素値補正部１２ｄで画素値補正を施された画像は色復元部１２ｅに送られ、色情報を復元する。色情報の復元の際、各カメラに設定したホワイトバランスの情報をカメラ信号処理動作制御部１２ａから取得し、ホワイトバランス設定を考慮する。また、カメラの構成やカメラで用いている画像センサの構成によっては、色情報復元には近傍画素の情報を参照し色復元の演算処理が必要となるが、この演算処理についても色復元部１２ｅで行う。

カメラで用いる画像センサの構成によっては、補色からの復元や一部色のみの復元を行う場合もある。また測距で用いる２台のカメラのカラーフィルタが異なる場合、測距処理用にグレースケール画像も生成する。

色復元部１２ｅで色復元を施した画像は画像歪補正部１２ｆに送られ、画像の歪を補正する。実際のカメラではレンズ特性の影響で画像周辺部に歪みが生じることが多いので、理想ピンホールカメラ撮像で得られるような歪のない画像となるように、画像の部分ごとに局所的な拡縮処理を行い、画像の歪を補正する。また、カメラが魚眼カメラの場合は、撮像範囲の全てを対象に歪のない画像を得ることができない場合があるので、必要に応じて画像を複数の領域に分割して取り扱う。この際、後段の測距処理を考慮して、測距に用いる領域を一つに収めた画像を用意する。

画像歪補正部１２ｆで歪補正を施した画像はカメラ認識処理部１３に送られるとともに、ステレオ視対象画像選択部１２ｇにも送られる。画像歪補正部１２ｆからカメラ認識処理部１３に送られる画像は、基本的にそれぞれのカメラから得られる画像単位で、各画像の中に存在する様々な物体を検出し、検出対象を認識するために用いる。

ステレオ視対象画像選択部１２ｇに送られた画像は、ステレオ視対象画像選択部１２ｇにて、２台のカメラで得られた画像を組合せ測距に用いるために利用する画像のみを選択し、視点変換部１２ｈに送られる。ステレオ視対象画像選択部１２ｇは画像を選択する際、カメラ信号処理動作制御部１２ａから得られる測距対象ＯＢの選択に関係する情報を用いる。また、後段の処理を考慮して、測距に用いる画像を組にし、それぞれの画像を取得したカメラの姿勢及び、組にしたカメラとしての姿勢に関する情報も付加する。同時に複数の２台のカメラの組を選択して、各組合せに対して後段で測距処理を行っても良い。

視点変換部１２ｈでは、測距に用いる２台のカメラから得られた画像の組ごとに、当該２台のカメラの画像が、平行ステレオ視で用いる画像相当になるように画像を変形する。すなわち当該２台のカメラを左右それぞれのカメラとみなし、図３で示したように、左カメラで撮像した画像は左カメラ画像センサ面Ｃｌに投影された画像と考え仮想左カメラ画像センサ面Ｖｌ上での画像に変換し、右カメラで撮像した画像は右カメラ画像センサ面Ｃrに投影された画像と考え仮想右カメラ画像センサ面Ｖｒ上での画像に変換する。

視点変換部１２ｈでは、さらに、カメラ信号処理動作制御部１２ａから得られるステレオ視による測距対象領域や画像上の特徴点の位置情報を、視点変換部１２ｈによる画像変換後の画像における領域や画像上の位置情報に変換する。

視点変換部１２ｈで変換した画像、ステレオ視の処理を適用する測距対象領域の情報や画像上の特徴点の位置情報、及び以降の処理における画像調整に必要な情報はステレオ視領域選択部１２ｉに送られ、測距に用いる２台のカメラから得られた画像の組ごとに、ステレオ視処理を行う画像の領域を切り出す。尚、測距を行う対象が特徴点であっても、２台のカメラで同一の特徴点を対応付ける上で、特徴点周辺の画像の情報も必要であり、また特徴点までの距離に応じて、基準となる側の画像に対して、もう一方の画像上の位置が変化するため、これらを考慮して、特徴点の周辺を含めたある程度の大きさを持つ領域として切り出す。

ステレオ視領域選択部１２ｉで測距対象ＯＢとする画像の領域を切り出すことで、以降の処理で対象とする画像のサイズを限定し、処理負荷を抑制することができる。また、画像間輝度バランス調整部１２ｊの処理を行う際に必要な画像全体の明るさを確認する際、測距に用いない領域の画像の明るさの影響を排除できる効果もある。

ステレオ視領域選択部１２ｉの出力となる測距に用いる２台のカメラから得られた画像の組は、以降の処理における画像調整に必要な情報と共に、画像間輝度バランス調整部１２ｊへ送られる。画像間輝度バランス調整部１２ｊでは２台のカメラから得た画像間で画像全体の明るさが近くなるように画素値の補正を行う。

画像間輝度バランス調整部１２ｊで輝度調整を施した測距に用いる２台のカメラから得られた画像の組は、以降の処理における画像調整に必要な情報と共に、解像度調整処理部１２ｋに送られ、画像間や各画像全体での空間解像度が類似するようにフィルタ処理が行なわれる。画像を取得したカメラの仕様の違いや視点変換部１２ｈの処理の影響により、測距に用いる２台のカメラで取得した画像間や、それぞれのカメラで取得した画像であっても画像内の位置により空間解像度の違いが大きい場合がある。この空間解像度の違いが測距に用いる点の対応付けに支障をきたすことがあるので、画像解像度調整処理部１２ｋにてフィルタ処理を行う。

画像解像度調整処理部１２ｋでフィルタ処理を施した測距に用いる２台のカメラから得られた画像の組は、視差分析部１２ｌに送り、画像の組の間で測距に用いる同一の特徴点を抽出して、当該特徴点の間の画像上の位置関係、及び当該画像の組を取得した２台のカメラの位置関係から三角測量により、当該特徴点までの距離を算出する。尚、特徴点は処理可能な範囲で多数検出しても良い。

特徴点の対応付けを行う際には、片方の画像における特徴点の位置を、もう一方の画像上で探す必要があるが、図５で示したように基準となる画像（図５では左画像Ｉｌ）上の点が決まれば、もう一方の画像（図５では右画像Ｉｒ）上で対応する点の範囲は線分として決まるので、基本的にはその線分の範囲で探索すればよい。但し、当該線分の決定に際しては、視点変換部１２ｈによる画像の変換を考慮する必要がある。また、カメラの製造誤差や車両への取り付け誤差、露光時間の差の影響を考慮して、実際には線分にはある程度幅を持たせて探索を行う必要がある。

視差分析部１２ｌで抽出した特徴点の位置及び特徴点までの距離の情報は、測距に用いた画像を取得した２台のカメラの情報と共にカメラ認識処理部１３に送り、カメラ認識処理部１３が距離情報も考慮して認識処理を行うために用いる。

画素値補正部１２ｄで画素値補正に際して用いた画像の画素値分布傾向や色変換部１３７でホワイトバランス調整に用いた画像の色分布傾向の情報は、カメラ動作パラメータ決定部１８及び統合認識部１４に送られる。これらの情報を用いて、カメラ動作パラメータ決定部１８は、以降の各カメラの露光に関する設定パラメータの調整に利用でき、統合認識部１４は、各カメラから得た画像に対する認識の難しさを判断して、どのカメラ（カメラ以外の外界センサが接続されているばあいには、どの外界センサ）からの情報をもとにした認識結果を優先的に利用するか決定できる。

尚、本実施例は左カメラを基準にして説明したが、右カメラを基準としても同様に考えることができる。また、左右のカメラで画像センサが異なり、フレームレートや解像度が異なる場合でも適用できる。フレームレートが異なる場合は、当該フレームレートを考慮して測距対象ＯＢとなる点の露光タイミングが合うように調整すれば良く、解像度が異なる場合でも解像度調整処理部１２ｋの機能により視差分析部１２ｌで視差を求め距離を算出することが可能である。

以上で説明したように、本実施例の車載制御装置によれば、車両の様々な位置に様々な姿勢で取り付けられる複数のカメラから、ある同一の測距対象を撮像可能な、少なくとも一台のローリングシャッタ方式カメラを含む一対のカメラを選択し、この一対のカメラで撮像した一対の画像に基づいて、車両周辺の３次元情報を取得する場合に、測距対象に応じてローリングシャッタ方式カメラの露光タイミングを制御することで、ステレオ視による三角測量の要領で対象までの距離を算出する際の測距誤差を抑制することができる。

次に、図１３Ａから図１３Ｃを用いて、本発明の実施例２に係る車載制御装置１を説明する。なお、以下では、実施例１との共通点は重複説明を省略する。

実施例１では、左右カメラの双方でローリングシャッタ方式の画像センサを用いたが、本実施例では、左右カメラの一方でグローバルシャッタ方式の画像センサを用い、他方でローリングシャッタ方式の画像センサを用いる。この場合は、実施例１の図７Ａから図７Ｃに示した撮像タイミング制御に代え、図１３Ａから図１３Ｃに示す撮像タイミング制御を使用する。すなわち、グローバルシャッタ方式のカメラの撮像タイミングを、ローリングシャッタ方式のカメラが撮像した画像上で注目する領域に応じて切り替える制御を採用する。

図１３Ａから図１３Ｃは、左カメラがグローバルシャッタ方式のカメラであり、右カメラがローリングシャッタ方式のカメラである場合の、各カメラの撮像タイミングの一例を説明する図である。なお、グローバルシャッタ方式の左カメラによる左画像Ｉｌ_４は瞬間的に露光された画像であるため、説明上、画像全体の露光タイミングとして、画像の垂直方向の中央を露光タイミングとして示している。一方、ローリングシャッタ方式の右カメラによる右画像Ｉｒ_４は上方の撮像ラインから順次露光された画像であるので、画像の各撮像ラインの位置（垂直方向の位置）が露光タイミングを示している。

本実施例では、左右カメラで同一特徴点を撮像するタイミングのずれをなるべく小さくすることで、測距精度の低下を抑制するために、右画像Ｉｒ_４の領域を上下方向に３つに分割し、どの領域を測距対象にするかに応じて、左右画像の撮像タイミングの組合せを切り替えることとする。

具体的には、図１３Ａのように、右画像Ｉｒ_４の上部の領域Ｒ_Ｅに投影される特徴点を測距対象とする場合には、両カメラの露光タイミングを組合せＡ_Ｅとし、右カメラが領域Ｒ_Ｅの中央のΔＨ_１ラインの露光に要する期間相当、左カメラより右カメラの露光開始を早める。

また、図１３Ｂのように、右画像Ｉｒ_４の中央の領域Ｒ_Ｆに投影される特徴点を測距対象とする場合には、両カメラの露光タイミングを組合せＡ_Ｆとし、右カメラが領域Ｒ_Ｆの中央のΔＨ_２ラインの露光に要する期間相当、左カメラより右カメラの露光開始を早める。

さらに、図１３Ｃのように、右画像Ｉｒ_４の下部の領域Ｒ_Ｇに投影される特徴点を測距対象とする場合には、両カメラの露光タイミングを組合せＡ_Ｇとし、右カメラが領域Ｒ_Ｇの中央のΔＨ_３ラインの露光に要する期間相当、左カメラより右カメラの露光開始を早める。

このように左画像Ｉｌ_４と右画像Ｉｒ_４の露光開始タイミングの組合せを画像の領域により変更することで、右画像Ｉｒ_４の当該領域の露光タイミングを左画像Ｉｌ_４の露光タイミングに近づけることができる。

すなわち、図１３に示すように領域を３つに分割し、領域に合わせて露光タイミングを調整することで、それぞれの領域に対して測距で組として用いるカメラの露光タイミングの差を領域に分けない場合より抑制することができ、露光タイミングの差による測距誤差を抑制することができる。

尚、本明細書で示した方法は測距対象ＯＢとする点の位置や領域に対し、測距で組として用いるカメラの露光タイミングの差を抑制できれば良いので、左カメラにローリングシャッタ方式の画像センサ、右カメラにグローバルシャッタ方式の画像センサを用いた場合でも適用可能である。また、領域をより細かく分割して、露光タイミングの差を小さくしても良い。

１００…車両、１…車載制御装置、１１…カメラインタフェース、１２…カメラ信号処理部、１２ａ…カメラ信号処理動作制御部、１２ｂ…カメラ制御信号生成部、１２ｃ…カメラ入力選択部、１２ｄ…画素値補正部、１２ｅ…色復元部、１２ｆ…画像歪補正部、１２ｇ…ステレオ視対象画像選択部、１２ｈ…視点変換部、１２ｉ…ステレオ視領域選択部、１２ｊ…画像間輝度バランス調整部、１２ｋ…解像度調整処理部、１２ｌ…視差分析部、１３…カメラ認識処理部、１４…統合認識部、１５…ＡＤ／ＡＤＡＳ制御処理部、１６…測距対象選択部、１７…ＣＡＮインタフェース、１８…カメラ動作パラメータ決定部、１９…カメラ動作タイミング計算部、Ｃ…カメラ、Ｃｌ…左カメラ画像センサ面、Ｃｌ_ＯＡ…左カメラ光軸、ｆｌ…左カメラ焦点距離、Ｖｌ…仮想左カメラ画像センサ面、Ｖｌ_ＯＡ…仮想左カメラ光軸、ｓｌ…仮想左カメラ焦点距離、Ｃｒ…右カメラ画像センサ面、Ｃｒ_ＯＡ…右カメラ光軸、ｆｒ…右カメラ焦点距離、Ｖｒ…仮想右カメラ画像センサ面、Ｖｒ_ＯＡ…仮想右カメラ光軸、ｓｒ…仮想右カメラ焦点距離、ＯＢ…測距対象、Ｉ…画像、Ｉｌ…左画像、Ｉｒ…右画像

Claims (12)

1. ローリングシャッタ方式の画像センサを備えた第一カメラを含む複数のカメラと通信する車載制御装置であって、
   前記第一カメラと、前記第一カメラの撮像領域の少なくとも一部において同一の測距対象を撮像可能な第二カメラと、で撮像した複数の画像を用いて、前記測距対象の測距を行う測距部と、
   前記複数の画像のうち少なくとも一つの画像上の測距位置に基づいて、前記第一カメラ又は前記第二カメラの少なくとも一方の露光タイミングを調整する露光タイミング調整部と、を有し、
   前記画像上の測距位置として、測距精度を優先する部分を選択する測距対象選択部と、
   を有すること、を特徴とする車載制御装置。
2. 請求項１に記載の車載制御装置であって、
   前記露光タイミング調整部は、
   前記第一カメラで取得した画像上の前記測距対象の第一座標と、前記第一カメラ及び前記第二カメラの配置の情報と、に基づいて、前記第二カメラで取得した画像上の前記測距対象の第二座標を求め、
   前記第一座標及び前記第二座標に基づいて、前記露光タイミングを調整すること、を特徴とする車載制御装置。
3. ローリングシャッタ方式の画像センサを備えた第一カメラを含む複数のカメラと通信する車載制御装置であって、
   前記第一カメラと、前記第一カメラの撮像領域の少なくとも一部において同一の測距対象を撮像可能な第二カメラと、で撮像した複数の画像を用いて、前記測距対象の測距を行う測距部と、
   前記複数の画像のうち少なくとも一つの画像上の測距位置に基づいて、前記第一カメラ又は前記第二カメラの少なくとも一方の露光タイミングを調整する露光タイミング調整部と、を有し、
   前記露光タイミング調整部は、前記第一カメラ又は前記第二カメラで取得する画像上に複数の分割領域を設定し、前記測距対象が含まれる前記分割領域の位置に基づいて、前記露光タイミングを調整すること、を特徴とする車載制御装置。
4. ローリングシャッタ方式の画像センサを備えた第一カメラを含む複数のカメラと通信する車載制御装置であって、
   前記第一カメラと、前記第一カメラの撮像領域の少なくとも一部において同一の測距対象を撮像可能な第二カメラと、で撮像した複数の画像を用いて、前記測距対象の測距を行う測距部と、
   前記複数の画像のうち少なくとも一つの画像上の測距位置に基づいて、前記第一カメラ又は前記第二カメラの少なくとも一方の露光タイミングを調整する露光タイミング調整部と、を有し、
   前記露光タイミング調整部は、前記第一カメラ又は前記第二カメラで取得する画像上に複数の分割領域を設定し、前記分割領域を順次選択して、前記露光タイミングを調整すること、を特徴とする車載制御装置。
5. 請求項４に記載の車載制御装置であって、
   前記分割領域を順次選択する際の順序を、前記車載制御装置の搭載された車両の走行状態により切り替えること、を特徴とする車載制御装置。
6. 請求項４に記載の車載制御装置であって、
   前記分割領域を順次選択する際の順序を、前記車載制御装置の搭載された車両のドライバの運転操作状況により切り替えること、を特徴とする車載制御装置。
7. 請求項１に記載の車載制御装置であって、
   緊急回避必要と判断している際には回避対象を優先して測距するよう前記露光タイミングを調整すること、を特徴とする車載制御装置。
8. 請求項３に記載の車載制御装置であって、
   カメラ以外の測距用外界センサからの測距情報が不安定になった際には、前記測距用外界センサで測距していた領域を優先して測距するよう前記露光タイミングを調整すること、を特徴とする車載制御装置。
9. 請求項１に記載の車載制御装置であって、
   対象物までの距離を推定する機能を有し、前記距離を推定する機能の補正に用いる対象の測距のために前記露光タイミングを調整すること、を特徴とする車載制御装置。
10. 請求項１に記載の車載制御装置であって、
    前記第一カメラと前記第二カメラの光軸は非平行であること、を特徴とする車載制御装置。
11. 請求項１に記載の車載制御装置であって、
    前記第二カメラはグローバルシャッタ方式の画像センサを備えたカメラであること、を特徴とする車載制御装置。
12. ローリングシャッタ方式の画像センサを備えた第一カメラを含む複数のカメラの撮像画像に基づいて３次元情報を取得する３次元情報取得方法であって、
    前記第一カメラと、前記第一カメラの撮像領域の少なくとも一部において同一の測距対象を撮像可能な第二カメラと、で撮像した複数の画像を用いて、前記測距対象の測距を行うステップと、
    前記複数の画像のうち少なくとも一つの画像上の測距位置に基づいて、前記第一カメラ又は前記第二カメラの少なくとも一方の露光タイミングを調整するステップと、
    前記画像上の測距位置として、測距精度を優先する部分を選択するステップと、
    を有すること、を特徴とする３次元情報取得方法。

Images