JP7652739B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

特許文献１には、第１の視野及び第１の光軸を有する第１のカメラと、第２の視野及び第２の光軸を有する第２のカメラとを備える撮像システムが開示されている。特許文献１には、第１の視野及び第２の視野が少なくとも部分的に重複し、組み合わされた視野を形成することが記載されている。

特表２０２０－５２２９０６号公報

被写体までの距離をより精度良く測定することが求められる。

かかる点に鑑みてなされた本開示の目的は、被写体までの距離をより精度良く測定することができる画像処理装置及び画像処理方法を提供することにある。

本開示の一実施形態に係る画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出する制御部と、を備え、
前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する。

本開示の一実施形態に係る画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出することと、を含み、
前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する。

本開示の一実施形態によれば、被写体までの距離をより精度良く測定することができる。

本開示の一実施形態に係るステレオカメラシステムの概略構成を示すブロック図である。 図１に示すステレオカメラシステムを搭載する移動体を模式的に示す側面図である。 図１に示すステレオカメラシステムを搭載する移動体を模式的に示す正面図である。 第１仮想画像及び第１仮想平面を説明するための図である。 第１仮想画像における第１被写体の位置を説明するための図である。 第２仮想画像及び第２仮想平面を説明するための図である。 第２仮想画像における第２被写体の位置を説明するための図である。 本開示の一実施形態に係る画像処理方法の手順を示すフローチャートである。 魚眼レンズによって撮像された参照画像を説明するための図である。 本開示の他の実施形態に係るステレオカメラシステムの概略構成を示すブロック図である。 路面の法線方向と第２仮想平面との関係を説明するための図である。 路面の法線方向と第２仮想平面との関係を説明するための図である。 本開示の他の実施形態に係る画像処理方法の手順を示すフローチャートである。 直線性が高い特徴点群を説明するための図である。

本開示において「ワールド座標系」とは、カメラの外部の実空間に基づいて設定された３次元座標系である。本開示において「カメラ座標系」は、カメラの位置を基準として設定される３次元座標系である。カメラ座標系とワールド座標系との間の変換は、カメラの外部パラメータによって規定される。本開示において「カメラの外部パラメータ」は、カメラの位置姿勢を意味する。本開示において「カメラの位置姿勢」とは、ワールド座標系において、基準となる位置に対するカメラの位置及び基準となる方向に対するカメラの傾き（姿勢）を意味する。

本開示において「画像座標系」とは、カメラが生成した画像において設定される２次元座標系である。本開示において「カメラの内部パラメータ」は、カメラの焦点距離及び画像座標系の画像中心の情報を含む。

本開示において「正規化画像座標系」とは、カメラの画像座標系を正規化した２次元座標系である。正規化画像座標系は、カメラの光軸上の点が原点となり、カメラの焦点距離が１となるように正規化される。正規化画像座標系を構成する２つの軸は、カメラの光軸に直交する。

以下、本開示に係る実施形態について、図面を参照して説明する。

（システム構成）
図１に示すように、ステレオカメラシステム１は、ステレオカメラ１０と、画像処理装置２０とを含む。図２及び図３に示すように、ステレオカメラシステム１は、移動体３０に搭載される。

移動体３０は、路面上を走行する。路面は、例えば、道路又は滑走路等を含む走行路の表面である。移動体３０は、例えば、自動車、産業車両、鉄道車両又は生活車両等の車両である。ただし、移動体３０は、車両に限定されない。他の例として、移動体３０は、航空機、船舶又はドローン等であってもよい。航空機は、例えば、固定翼機又は回転翼機等である。

ステレオカメラ１０と画像処理装置２０とは、有線又は無線通信により通信可能である。ステレオカメラ１０と画像処理装置２０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＣＡＮ（Controller Area Network）等である。ステレオカメラ１０及び画像処理装置２０は、移動体３０内の電子制御ユニット（ＥＣＵ：Electronic Control Unit）と通信可能に構成されてよい。

ステレオカメラ１０は、移動体３０の種々の箇所に搭載されてよい。複数の実施形態のうちの１つにおいて、ステレオカメラ１０は、車両である移動体３０の内部に搭載され、ウインドシールドを介して移動体３０の外部を撮像してよい。例えば、ステレオカメラ１０は、ルームミラーの前方、又は、ダッシュボード上に配置される。複数の実施形態の１つにおいて、ステレオカメラ１０は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットの何れかに固定されてよい。

画像処理装置２０は、移動体３０の種々の箇所に搭載されてよい。例えば、画像処理装置２０は、移動体３０のダッシュボード内に搭載されてよい。

図２及び図３では、ステレオカメラ１０と画像処理装置２０とは、離れて位置する。ただし、ステレオカメラ１０と画像処理装置２０とは、同じ筺体内に収納され、一体的に構成されてよい。ステレオカメラ１０と画像処理装置２０とを同じ筺体に収納させた装置は、ステレオカメラ装置とも呼ばれる。

ステレオカメラ１０は、互いに視差を有し、互いに協働する複数のカメラを含む。ステレオカメラ１０は、少なくとも２つ以上のカメラを含む。本実施形態では、ステレオカメラ１０は、第１カメラ１１と、第２カメラ１２とを含む。ステレオカメラ１０は、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラ１０は、同じ筐体に複数のカメラが含まれる機器であってよい。ステレオカメラ１０は、互いに独立し、且つ、互いに離れて位置する２台以上のカメラを含む機器であってよい。ただし、ステレオカメラ１０は、互いに独立した複数のカメラに限定されない。本開示のステレオカメラ１０には、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラを採用することもできる。本開示では、同じ被写体を異なる視点から撮像して生成された複数の画像は、「ステレオ画像」とも記載される。

第１カメラ１１は、光軸ОＸ１を規定する光学系と、撮像素子とを備える。第２カメラ１２は、光軸ＯＸ２を規定する光学系と、撮像素子とを備える。第１カメラ１１の光軸ＯＸ１と第２カメラの光軸ＯＸ２とは、異なる。光学系は、レンズ又はミラーを含む。光学系は、被写体像を撮像素子の受光面に結像させてよい。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、魚眼レンズ等の広角レンズを含んでよい。ただし、第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、広角レンズに限定されず、任意のレンズを含んでよい。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１及び第２カメラ１２のそれぞれの撮像素子は、それぞれ、光軸ＯＸ１及び光軸ＯＸ２に垂直な同じ面内に存在してよい。第１カメラ１１及び第２カメラ１２は、画像のデータを生成する。画像のデータは、撮像素子で結像された画像を表すデータである。

第１カメラ１１及び第２カメラ１２は、例えば、互いに固定される。第１カメラ１１と第２カメラ１２との間では、例えば第１カメラ１１と第２カメラ１２とが互いに固定されることにより、相対的な位置姿勢が互いに定められている。

第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに同じ被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２がそれぞれ撮像した画像に少なくとも同じ被写体が含まれるように、第１カメラ１１の位置及び光軸ＯＸ１と、第２カメラ１２の位置及び光軸ОＸ２とが定められる。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに平行になるように向けられる。この平行は、厳密な平行に限定されず、組み立てのずれ、取付けのずれ及びこれらの経時によるずれを許容する。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、平行に限定されず、互いに異なる方向を向いてよい。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とが互いに平行でない場合でも、ステレオカメラ１０又は画像処理装置２０内で、画像を変換することによりステレオ画像を生成可能である。基線長は、第１カメラ１１の光学中心と第２カメラ１２の光学中心との間の距離である。基線長は、第１カメラ１１と第２カメラ１２との間のレンズの中心の距離に相当する。基線長方向は、第１カメラ１１の光学中心と第２カメラ１２の光学中心とを結ぶ方向である。

図２に示すように、第１カメラ１１及び第２カメラ１２は、移動体３０の前方を撮像可能となるように配置される。例えば、第１カメラ１１の光軸ОＸ１及び第２カメラ１２の光軸ＯＸ２が移動体３０の前方と平行となるように、第１カメラ１１及び第２カメラ１２が配置される。

第１カメラ１１及び第２カメラ１２は、光軸ＯＸ１及び光軸ОＸ２に交わる方向において離れて位置する。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、移動体３０の左右方向に沿って位置する。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。

第１カメラ１１は、被写体を撮像して基準画像を生成する。基準画像が撮像により生成される位置すなわち第１カメラ１１の位置は、「基準位置」とも記載される。第２カメラ１２は、被写体を撮像して参照画像を生成する。参照画像が撮像により生成される位置すなわち第２カメラ１２の位置と第１カメラ１１の位置とは、異なる。第１カメラ１１の位置と第２カメラ１２の位置とが異なることにより、同じ被写体であっても、基準画像における被写体の位置と参照画像における被写体の位置とは、異なる。基準画像及び参照画像は、異なる視点から被写体を撮像して生成されたステレオ画像となる。第１カメラ１１及び第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像してよい。

図１に示すように、画像処理装置２０は、取得部２１と、出力部２２と、記憶部２３と、制御部２４とを備える。

取得部２１は、画像処理装置２０の入力用インタフェースである。取得部２１は、ステレオカメラ１０及び他の装置から情報の入力を受け付け可能である。取得部２１には、物理コネクタ、及び、無線通信モジュールが採用可能である。物理コネクタには、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び、電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及び、ＢＮＣを含む同軸ケーブルに対応するコネクタが含まれる。光コネクタには、IEC 61754に準拠する種々のコネクタが含まれる。無線通信モジュールには、Bluetooth（登録商標）、及び、IEEE802.11を含む各規格に準拠する無線通信モジュールが含まれる。

取得部２１は、第１カメラ１１が生成した基準画像のデータと、第２カメラ１２が生成した参照画像のデータとを取得する。取得部２１は、取得した基準画像のデータ及び参照画像のデータを、制御部２４に出力する。取得部２１は、ステレオカメラ１０のデータの伝送方式に対応してよい。取得部２１は、ネットワークを介してステレオカメラ１０の出力用インタフェースに接続されてよい。取得部２１は、ネットワークを介して移動体３０内の電子制御ユニットに接続されてよい。

出力部２２は、画像処理装置２０の出力用インタフェースである。出力部２２は、画像処理装置２０の処理結果を、移動体３０内の他の装置又は移動体３０外の他の装置に出力可能である。移動体３０内の他の装置は、オートクルーズコントロール等の走行支援装置、及び、自動ブレーキ装置等の安全装置を含んでよい。移動体３０外の他の装置は、他車両及び路測機等を含んでよい。移動体３０内の他の装置又は移動体３０外の他の装置は、画像処理装置２０から受信した情報を適宜使用することができる。出力部２２は、取得部２１と同じ又は類似に、有線及び無線の通信に対応した種々のインタフェースを含んでよい。

記憶部２３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、画像処理装置２０の動作に用いられるデータと、画像処理装置２０の動作によって得られたデータとを記憶する。

記憶部２３は、第１カメラ１１及び第２カメラ１２の内部パラメータを記憶する。記憶部２３は、第１カメラ１１及び第２カメラ１２の外部パラメータを記憶する。記憶部２３は、後述する回転行列Ｒ及び並進ベクトルｔを記憶する。

制御部２４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、画像処理装置２０の各部を制御しながら、画像処理装置２０の動作に関わる処理を実行する。

制御部２４は、取得部２１から、基準画像及び参照画像のデータを取得する。制御部２４は、基準画像及び参照画像に対して歪み補正処理を実行する。歪み補正処理は、レンズの歪曲収差を補正する処理である。制御部２４は、歪み補正処理に加えて、明度調整処理、コントラスト調整処理及びガンマ補正処理等の任意の画像処理を実行してもよい。以下、歪み補正処理等を実行した後の基準画像は、「基準画像４０」とも記載される。また、歪み補正処理等を実行した後の参照画像は、「参照画像４１」とも記載される。

制御部２４は、以下に説明するように、参照画像４１を第１仮想画像４２及び第２仮想画像４３に変換する。制御部２４は、以下に説明するように、基準画像４０における被写体の位置と、第１仮想画像４２又は第２仮想画像４３における被写体の位置とを比較した結果に基づいて、基準位置から被写体までの距離を算出する。

＜第１方向における距離の取得＞
制御部２４は、参照画像４１を第１仮想画像４２に変換する。第１仮想画像４２は、図４に示すような実空間上の仮想点Ｘ１_ｑ（ｑ＝１，…，ｍ１）（ｍ１は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ１_ｑは、実空間において第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑだけ離れて位置する。第１方向Ｄ１は、第１カメラ１１の光軸ОＸ１に沿う方向すなわち第１カメラ１１の光軸方向である。第１方向Ｄ１の情報は、カメラ座標系に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３からカメラ座標系に対応付けられた第１方向Ｄ１の情報を取得することにより、第１方向Ｄ１を特定してよい。以下、第１距離ｄ１_ｑに対応する第１仮想画像４２は、「第１仮想画像４２_ｑ」とも記載される。

制御部２４は、参照画像４１を第１仮想平面Ｖ１_ｑに射影変換し、射影変換後の参照画像４１を第１仮想画像４２_ｑとして取得する。第１仮想平面Ｖ１_ｑは、仮想点Ｘ１_ｑが位置する仮想的な平面である。第１仮想平面Ｖ１_ｑは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑだけ離れて位置する。つまり、第１距離ｄ１_ｑに対応する第１仮想画像４２_ｑとは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１_ｑだけ離れて位置する第１仮想平面Ｖ１_ｑに参照画像４１を射影変換した後の画像とも言える。第１仮想平面Ｖ１_ｑの法線方向は、第１方向Ｄ１と一致する。参照画像４１を第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する処理は、プレーンスイープ法（Plane Sweep）による処理とも言える。ここで、図４において、正規化画像座標ｘ１は、基準画像４０の正規化画像座標系Ｃ１における仮想点Ｘ１_ｑの座標である。正規化画像座標ｘ２は、参照画像４１の正規化画像座標系Ｃ２における仮想点Ｘ１_ｑの座標である。正規化画像座標ｘ１と正規化画像座標ｘ２との関係は、平面射影変換Ｈ_ｑによって「ｘ２＝Ｈ_ｑｘ１」と表される。つまり、制御部２４は、平面射影変換Ｈ_ｑによって参照画像４１を第１仮想画像４２に変換することができる。平面射影変換Ｈ_ｑは、式（１）によって表される。

式（１）において、回転行列Ｒは、第１カメラ１１を基準とする第２カメラ１２の回転を示す回転行列である。並進ベクトルｔは、第１カメラ１１を基準とする第２カメラ１２の並進を示すベクトルである。回転行列Ｒと並進ベクトルｔは、第１カメラ１１と第２カメラ１２との間で相対的な位置姿勢が互いに定められていることにより既知である。制御部２４は、記憶部２３から回転行列Ｒ及び並進ベクトルｔの情報を取得する。法線ベクトルｎ_ｑは、第１仮想平面Ｖ１_ｑの法線ベクトルである。第１距離ｄ１_ｑは、第１方向Ｄ１における第１仮想平面Ｖ１_ｑの基準位置からの距離である。

制御部２４は、式（１）の第１距離ｄ１_ｑを変化させていきながら、複数の第１仮想画像４２_ｑを取得する。ここで、被写体が第１被写体である場合、制御部２４は、第１仮想画像４２_ｑによって、実空間上の第１被写体までの距離を取得することができる。第１被写体は、第１仮想平面Ｖ１_ｑに平行な面を含む。つまり、第１被写体の少なくとも一部の面の法線方向は、第１仮想平面Ｖ１_ｑの法線方向すなわち第１方向Ｄ１と一致する。第１被写体に含まれる面の法線方向が第１方向Ｄ１と一致することにより、第１方向Ｄ１に沿う第１距離１_ｑを変化させながら複数の第１仮想画像４２_ｑを取得した場合、第１仮想画像４２_ｑにおける第１被写体の位置は、第１距離ｄ１_ｑに応じて変化する。さらに、第１距離ｄ１_ｑが第１方向Ｄ１における基準位置から第１被写体までの距離と一致する場合、第１仮想画像４２_ｑにおける第１被写体の位置は、基準画像４０における第１被写体の位置と一致する。

そこで、制御部２４は、基準画像４０における第１被写体の位置と第１仮想画像４２_ｑにおける第１被写体の位置とを比較した結果に基づいて、第１被写体までの距離を算出する。例えば、制御部２４は、基準画像４０における第１被写体の位置と、複数の第１仮想画像４２_ｑのそれぞれにおける第１被写体の位置とを比較する。制御部２４は、複数の第１仮想画像４２_ｑのうちから、その第１仮想画像４２_ｑにおける第１被写体の位置が基準画像４０における第１被写体の位置に最も近い第１仮想画像４２_ｑを特定する。制御部２４は、特定した第１仮想画像４２_ｑに対応する第１距離ｄ１_ｑを、実空間上の第１方向Ｄ１における基準位置から第１被写体までの距離として取得する。

図５に、基準画像４０ａ及び参照画像４１ａを示す。基準画像４０ａは、部分画像４０оｂ１を含む。部分画像４０оｂ１は、第１カメラ１１が第１被写体оｂ１を撮像して生成した画像である。参照画像４１ａは、部分画像４１оｂ１を含む。部分画像４１оｂ１は、第２カメラ１２が第１被写体оｂ１を撮像して生成した画像である。第１被写体оｂ１の正面の法線方向は、第１方向Ｄ１に一致する。

図５では、ｑ＝１，２，３とする。参照画像４１ａの右側に、第１仮想画像４２ａ_１、第１仮想画像４２ａ_２及び第１仮想画像４２ａ_３を示す。制御部２４は、第１仮想画像４２ａ_１を、第１距離ｄ１_１＝１０ｃｍとして参照画像４１ａを第１仮想平面Ｖ１_１に射影変換して取得する。制御部２４は、第１仮想画像４２ａ_２を、第１距離ｄ１_２＝２０ｃｍとして参照画像４１ａを第１仮想平面Ｖ１_２に射影変換して取得する。制御部２４は、第１仮想画像４２ａ_３を、第１距離ｄ１_３＝３０ｃｍとして参照画像４１ａを第１仮想平面Ｖ１_３に射影変換して取得する。

図５において、制御部２４は、基準画像４０ａにおける第１被写体оｂ１の位置例えば部分画像４０оｂ１の位置と、第１仮想画像４２ａ_１～４２ａ_３のそれぞれにおける第１被写体оｂ１の位置例えば部分画像４１оｂ１の位置とを比較する。図５では、説明のため、第１仮想画像４２ａ_１～４２ａ_３のそれぞれにおいて、基準画像４０ａの部分画像４０оｂ１を破線で示す。第１仮想画像４２ａ_１～４２ａ_３のそれぞれにおける第１被写体оｂ１の位置うち、第１仮想画像４２ａ_２における第１被写体оｂ１の位置が基準画像４０ａにおける第１被写体оｂ１の位置に最も近い。制御部２４は、第１仮想画像４２ａ_１～４２ａ_３のうちから、基準画像４０ａにおける第１被写体оｂ１の位置と第１被写体оｂ１の位置が最も近い第１仮想画像４２ａ_２を特定する。制御部２４は、特定した第１仮想画像４２ａ_２に対応する第１距離ｄ１_２＝２０ｃｍを、実空間上の第１方向Ｄ１における基準位置から第１被写体оｂ１までの距離として取得する。

制御部２４は、基準画像４０における第１被写体の位置と複数の第１仮想画像４２_ｑのそれぞれにおける第１被写体の位置との比較を、基準画像４０と複数の第１仮想画像４２_ｑとを用いた特徴量マッチングによって実行してもよい。この場合、制御部２４は、基準画像４０及び複数の第１仮想画像４２_ｑのそれぞれの各画素から、特徴量を抽出する。特徴量は、例えば、画素の輝度及び色の少なくとも何れかを含む。制御部２４は、ＡＫＡＺＥ（Accelerated-KAZE）、ＯＲＢ（Oriented FAST and Rotated BRIEF）又はＳＩＦＴ（Scale-Invariant Feature Transform）等の任意のアルゴリズムによって、特徴量を抽出してよい。特徴量は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の形式で表されてもよいし、他の種々の形式で表されてもよい。制御部２４は、基準画像４０と、複数の第１仮想画像４２_ｑのそれぞれとにおいて、同じ座標の画素の特徴量を比較する。制御部２４は、複数の第１仮想画像４２_ｑのうちから、基準画像４０の同じ座標の画素の特徴量と最も類似度が高い第１仮想画像４２_ｑを特定する。特徴量の類似度の評価として、制御部２４は、基準画像４０と複数の第１仮想画像４２_ｑのそれぞれとにおいて同じ座標の画素の特徴量の評価値をＺＮＣＣ（Zero means Normalized Cross Correlation）によって算出してもよい。制御部２４は、複数の第１仮想画像４２_ｑのうちから、評価値が最も小さい第１仮想画像４２_ｑを、基準画像４０の同じ座標の画素の特徴量と最も類似度が高い第１仮想画像４２_ｑとして特定してよい。制御部２４は、特定した第１仮想画像４２_ｑに対応する第１距離ｄ１_ｑを、特徴量を比較した画素に対応付ける。画素に対応付けられた第１距離ｄ１_ｑは、その画素に写る被写体までの第１方向Ｄ１における基準位置からの距離となる。つまり、後の処理等において、制御部２４は、被写体が写る画素に対応付けられた第１距離ｄ１_ｑを取得することにより、第１方向Ｄ１における基準位置からその被写体までの距離を取得することができる。画素に限定されず、制御部２４は、基準画像４０と複数の第１仮想画像４２_ｑのそれぞれとにおいて、同じ位置のブロックの特徴量を比較してもよい。ブロックは、少なくとも１つの画素を含む。ブロックの特徴量は、ブロックに含まれる画素の特徴量の平均値であってよい。

制御部２４は、取得した第１距離ｄ１_ｑすなわち第１方向Ｄ１における基準位置から第１被写体までの距離によって、基準位置から第１被写体までの距離を算出する。制御部２４は、式（２）によって、基準位置から第１被写体までの直線距離Ｚを算出してよい。

式（２）において、単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第１被写体が写る画素に向かう方向に対応するカメラ座標系の方向の単位ベクトルである。

＜第２方向における距離の取得＞
制御部２４は、参照画像４１を第２仮想画像４３に変換する。第２仮想画像４３は、図６に示すような実空間上の仮想点Ｘ２_ｑ（ｑ＝１，…，ｍ２）（ｍ２は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ２_ｑは、実空間において第２方向Ｄ２に沿って基準位置から第２距離ｄ２_ｑだけ離れて位置する。第２方向Ｄ２は、第１方向Ｄ１とは異なる方向である。例えば、第２方向Ｄ２におけるベクトルと、第１方向Ｄ１におけるベクトルとの内積は、０以外となる。第２方向Ｄ２は、水平面の法線方向であってよい。以下、第２方向Ｄ２は、路面の法線方向であるものとする。ただし、第２方向Ｄ２は、第１方向Ｄ１とは異なる方向であればよく、路面の法線方向に限定されない。第２方向Ｄ２の情報は、カメラ座標系に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３からカメラ座標系に対応付けられた第２方向Ｄ２の情報を取得することにより、第２方向Ｄ２を特定してよい。以下、第２距離ｄ２_ｑに対応する第２仮想画像４３は、「第２仮想画像４３_ｑ」とも記載される。

制御部２４は、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。第２仮想平面Ｖ２_ｑは、仮想点Ｘ２_ｑが位置する仮想的な平面である。第２仮想平面Ｖ２_ｑは、基準位置から第２距離ｄ２_ｑだけ離れて位置する。つまり、第２距離ｄ２_ｑに対応する第２仮想画像４３_ｑとは、第２方向Ｄ２に沿って基準位置から第２距離ｄ２_ｑだけ離れて位置する第２仮想平面Ｖ２_ｑに参照画像４１を射影変換した後の画像と言える。第２仮想平面Ｖ２_ｑの法線方向は、第２方向Ｄ２に一致する。第１方向Ｄ１と同じ又は類似に、制御部２４は、式（１）の平面射影変換Ｈ_ｑによって参照画像４１を第２仮想画像４３_ｑに変換することができる。第２仮想画像４３_ｑの変換では、式（１）の第１距離ｄ１_ｑの代わりに、第２距離ｄ２_ｑが用いられる。また、式（１）の法線ベクトルｎ_ｑは、第２仮想平面Ｖ２_ｑの法線ベクトルとなる。

制御部２４は、式（１）の第２距離ｄ２_ｑを変化させていきながら、複数の第２仮想画像４３_ｑを取得する。ここで、被写体が第２被写体である場合、制御部２４は、第２仮想画像４３_ｑによって、実空間上の第２被写体までの距離を取得することができる。第２被写体は、第２仮想平面Ｖ２_ｑに平行な面を含む。つまり、第２被写体の少なくとも一部の面の法線方向は、第２仮想平面Ｖ２_ｑの法線方向すなわち第２方向Ｄ２と一致する。第２被写体の例として、車止め及び路面の凹凸等が挙げられる。第２被写体は、第１被写体と同じ物体であってもよいし、第１被写体とは異なる物体であってもよい。第２被写体が第１被写体と同じ物体である場合、第２被写体は、第１仮想平面Ｖ１_ｑに平行な面と、第２仮想平面Ｖ２_ｑに平行な面とを含む。第２被写体に含まれる面の法線方向が第２方向Ｄ２と一致することにより、第２方向Ｄ２に沿う第２距離２_ｑを変化させながら複数の第２仮想画像４３_ｑを取得した場合、第２仮想画像４３_ｑにおける第２被写体の位置は、第２距離ｄ２_ｑに応じて変化する。第２距離ｄ２_ｑが第２方向Ｄ２における基準位置から第２被写体までの距離と一致する場合、第２仮想画像４３_ｑにおける第２被写体の位置は、基準画像４０における第２被写体の位置と一致する。

そこで、制御部２４は、基準画像４０における第２被写体の位置と第２仮想画像４３_ｑにおける第２被写体の位置とを比較した結果に基づいて、第２被写体までの距離を算出する。例えば、制御部２４は、基準画像４０における第２被写体の位置と、複数の第２仮想画像４３_ｑのそれぞれにおける第２被写体の位置とを比較する。制御部２４は、複数の第２仮想画像４３_ｑのうちから、その第２仮想画像４３_ｑにおける第２被写体の位置が基準画像４０における第２被写体の位置と最も近い第２仮想画像４３_ｑを特定する。制御部２４は、特定した第２仮想画像４３_ｑに対応する第２距離ｄ２_ｑを、実空間上の第２方向Ｄ２における基準位置から第２被写体までの距離として取得する。この処理について図７を参照して説明する。

図７に、基準画像４０ｂ及び参照画像４１ｂを示す。基準画像４０ｂは、部分画像４０оｂ２を含む。部分画像４０оｂ２は、第１カメラ１１が第２被写体оｂ２を撮像して生成した画像である。参照画像４１ｂは、部分画像４１оｂ２を含む。部分画像４１оｂ２は、第２カメラ１２が第２被写体оｂ２を撮像して生成した画像である。第２被写体оｂ２の上面の法線方向は、第２方向Ｄ２と一致する。

図７では、ｑ＝１，２，３とする。参照画像４１ｂの右側に、第２仮想画像４３ｂ_１、第２仮想画像４３ｂ_２及び第２仮想画像４３ｂ_３を示す。制御部２４は、第２仮想画像４３ｂ_１を、第２距離ｄ２_１＝１０ｃｍとして参照画像４１ｂを第２仮想平面Ｖ２_１に射影変換して取得する。制御部２４は、第２仮想画像４３ｂ_２を、第２距離ｄ２_２＝２０ｃｍとして参照画像４１ｂを第２仮想平面Ｖ２_２に射影変換して取得する。制御部２４は、第２仮想画像４３ｂ_３を、第２距離ｄ２_３＝３０ｃｍとして参照画像４１ｂを第２仮想平面Ｖ２_３に射影変換して取得する。

図７において、制御部２４は、基準画像４０ｂにおける第２被写体оｂ２の位置例えば部分画像４０оｂ２の位置と、第２仮想画像４３ｂ_１～４３ｂ_３のそれぞれにおける第２被写体оｂ２の位置例えば部分画像４１оｂ２の位置とを比較する。図７では、説明のため、第２仮想画像４３ｂ_１～４３ｂ_３のそれぞれにおいて、基準画像４０ｂの部分画像４０оｂ２を破線で示す。第２仮想画像４３ｂ_１～４３ｂ_３のそれぞれにおける第２被写体оｂ２の位置うち、第２仮想画像４３ｂ_２における第２被写体оｂ２の位置が基準画像４０ｂにおける第２被写体оｂ２の位置に最も近い。制御部２４は、第２仮想画像４３ｂ_１～４３ｂ_３のうちから、基準画像４０ｂにおける第２被写体оｂ２の位置と第２被写体оｂ２の位置が最も近い第２仮想画像４３ｂ_２を特定する。制御部２４は、特定した第２仮想画像４３ｂ_２に対応する第２距離ｄ２_２＝２０ｃｍを、実空間上の第２方向Ｄ２における基準位置から第２被写体оｂ２までの距離として取得する。

制御部２４は、基準画像４０における第２被写体の位置と複数の第２仮想画像４３_ｑのそれぞれにおける第２被写体の位置との比較を、基準画像４０と複数の第２仮想画像４３_ｑとを用いた特徴量マッチングによって実行してもよい。この場合、制御部２４は、基準画像４０及び複数の第２仮想画像４３_ｑのそれぞれの各画素から、特徴量を抽出する。上述したように、制御部２４は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の任意のアルゴリズムによって、特徴量を抽出してよい。制御部２４は、基準画像４０と、複数の第２仮想画像４３_ｑのそれぞれとにおいて、同じ座標の画素の特徴量を比較する。制御部２４は、複数の第２仮想画像４３_ｑのうちから、基準画像４０の同じ座標の画素の特徴量と最も類似度が高い第２仮想画像４３_ｑを特定する。特徴量の類似度の評価として、制御部２４は、基準画像４０と複数の第２仮想画像４３_ｑのそれぞれとにおいて同じ座標の画素の特徴量の評価値をＺＮＣＣによって算出してもよい。制御部２４は、複数の第２仮想画像４３_ｑのうちから、評価値が最も小さい第２仮想画像４３_ｑを、基準画像４０の同じ座標の画素の特徴量と最も類似度が高い第２仮想画像４３_ｑとして特定してよい。制御部２４は、特定した第２仮想画像４３_ｑに対応する第２距離ｄ２_ｑを、特徴量を比較した画素に対応付ける。画素に対応付けられた第２距離ｄ２_ｑは、その画素に写る被写体までの第２方向Ｄ２における基準位置からの距離となる。つまり、後の処理等において、制御部２４は、被写体が写る画素に対応付けられた第２距離ｄ２_ｑを取得することにより、第２方向Ｄ２における基準位置からその被写体までの距離を取得することができる。画素に限定されず、第１仮想画像４２_ｑと同じ又は類似に、制御部２４は、基準画像４０と複数の第２仮想画像４３_ｑのそれぞれとにおいて、同じ位置のブロックの特徴量を比較してもよい。

制御部２４は、取得した第２距離ｄ２_ｑすなわち第２方向Ｄ２における基準位置から第２被写体までの距離によって、基準位置から第２被写体までの距離を算出する。制御部２４は、式（２）によって、基準位置から第２被写体までの直線距離Ｚを算出してよい。第２方向Ｄ２では、式（２）の法線ベクトルｎ_ｑは、第２仮想平面Ｖ２_ｑの法線ベクトルとなる。また、式（２）の単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第２被写体が写る画素に向かう方向に対応するカメラ座標系の方向の単位ベクトルである。

（システム動作）
図８は、本開示の一実施形態に係る画像処理方法の手順を示すフローチャートである。本実施形態では、画像処理装置２０が図８に示すような画像処理方法を実行する。制御部２４は、ステレオカメラ１０が撮像を開始すると、ステップＳ１の処理を開始する。

制御部２４は、取得部２１から、基準画像及び参照画像のデータを取得する（ステップＳ１）。制御部２４は、基準画像及び参照画像に対して歪み補正処理を実行する（ステップＳ２）。上述したように、歪み補正処理等を実行した後の基準画像は、「基準画像４０」とも記載される。また、歪み補正処理等を実行した後の参照画像は、「参照画像４１」とも記載される。

制御部２４は、第１距離ｄ１_ｑを変化させていきながら参照画像４１を第１仮想平面Ｖ１_ｑに射影変換することにより、複数の第１仮想画像４２_ｑを取得する（ステップＳ３）。制御部２４は、基準画像４０と複数の第１仮想画像４２_ｑとを用いて特徴量マッチングを実行する（ステップＳ４）。制御部２４は、実空間上の第１方向Ｄ１における基準位置から第１被写体までの距離を取得する（ステップＳ５）。制御部２４は、ステップＳ５の処理で取得した第１方向Ｄ１における距離によって、基準位置から第１被写体までの距離を算出する（ステップＳ６）。

制御部２４は、第２距離ｄ２_ｑを変化させていきながら参照画像４１を第２仮想平面Ｖ２_ｑに射影変換することにより、複数の第２仮想画像４３_ｑを取得する（ステップＳ７）。制御部２４は、基準画像４０と複数の第２仮想画像４３_ｑとを用いて特徴量マッチングを実行する（ステップＳ８）。制御部２４は、実空間上の第２方向Ｄ２における基準位置から第２被写体までの距離を取得する（ステップＳ９）。制御部２４は、ステップＳ９の処理で取得した第２方向Ｄ２における距離によって、基準位置から第２被写体までの距離を算出する（ステップＳ１０）。

このように本実施形態に係る画像処理装置２０では、制御部２４は、参照画像４１を第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得し、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換して第２仮想画像４３_ｑを取得する。さらに、制御部２４は、基準画像４０における被写体の位置と、第１仮想画像４２_ｑ又は第２仮想画像４３_ｑにおける被写体の位置とを比較した結果に基づいて、基準位置から被写体までの距離を算出する。ここで、上述したように、参照画像４１を第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する処理は、プレーンスイープ法による処理とも言える。本実施形態では、制御部２４は、プレーンスイープ法による処理に加えてすなわち第１仮想画像４２_ｑを取得する処理に加えて、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換して第２仮想画像４３_ｑを取得する。このような構成により、以下に説明するように、被写体までの距離をより精度良く測定することができる。

第１比較例として、制御部２４が、プレーンスイープ法による処理すなわち第１仮想画像４２_ｑを取得する処理のみを実行し、被写体までの距離を算出することを考える。第１比較例において、制御部２４は、図７に示すような第２被写体оｂ２までの距離を算出する場合、参照画像４１ｂを第１仮想平面Ｖ１_ｑに射影変換して第１仮想画像４２_ｑを取得する。ここで、第２被写体оｂ２は、第１仮想平面Ｖ１_ｑに平行な面を含まない。つまり、第２被写体оｂ２の何れの面の法線方向も、第１仮想平面Ｖ１_ｑの法線方向すなわち第１方向Ｄ１と一致しない。そのため、第１方向Ｄ１の第１距離ｄ１_ｑを変化させながら複数の第１仮想画像４２_ｑを取得しても、複数の第１仮想画像４２_ｑのそれぞれにおける第２被写体оｂ２の位置は、第１距離ｄ１_ｑに応じて変化しない。複数の第１仮想画像４２_ｑのそれぞれにおける第２被写体оｂ２の位置が第１距離ｄ１_ｑに応じて変化しないことにより、第１仮想画像４２_ｑによって基準位置から第２被写体оｂ２までの距離を取得することができない。

このような第１比較例に対し、本実施形態では、制御部２４は、第２方向Ｄ２と法線方向が一致する第２仮想平面Ｖ２_ｑに参照画像４１を射影変換して第２仮想画像４３_ｑを取得する。このような構成により、制御部２４は、第１仮想平面Ｖ１_ｑに平行な面を含まない第２被写体についても、第２仮想画像４３_ｑによって基準位置から第２被写体までの距離を取得することができる。よって、本実施形態によれば、被写体までの距離をより精度良く測定することができる。また、上述したように、第２被写体の例として、路面の凹凸が挙げられる。本実施形態では、路面の凹凸までの距離を算出することができるため、路面形状をより高精度に検出することができる。

第２比較例として、魚眼レンズによって撮像された基準画像及び参照画像によって被写体までの距離を測定することを考える。図９に、魚眼レンズによって撮像された画像４０Ｘを説明するための図を示す。画像４０Ｘにおける実線は、路面からの高さが同じになる地点を結んだ線である。画像４０Ｘは、領域Ｒ１，Ｒ２を含む。領域Ｒ１では、領域Ｒ２と比較して実線の間隔が広い。領域Ｒ１では、実線の間隔が広いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点は、異なる画素に対応する。しかしながら、領域Ｒ２では、実線の間隔が狭いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点が、同じ画素に対応し得る。領域Ｒ２では、路面からの高さが異なる地点が同じ画素に対応するため、画像４０Ｘのような基準画像及び参照画像にプレーンスイープ法を適用しても、被写体までの距離を取得できない場合がある。

本実施形態では、制御部２４は、プレーンスイープ法による処理に加えてすなわち第１仮想画像４２_ｑを取得する処理に加えて、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換して第２仮想画像４３_ｑを取得する。制御部２４は、参照画像４１を第２仮想画像４３_ｑに変換することにより、領域Ｒ２に写る被写体までの距離を取得することができる。つまり、本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用しても、被写体までの距離を取得することができる。本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用することにより、より広い領域に存在する被写体の距離を取得することができる。

（他の実施形態に係るシステム構成）
図１０に示すように、他の実施形態に係るステレオカメラシステム１０１は、ステレオカメラ１０と、画像処理装置１２０とを含む。ステレオカメラシステム１０１は、図２に示すようなステレオカメラ１０と同じ又は類似に、移動体３０の種々の場所に搭載されてよい。画像処理装置１２０は、取得部２１と、出力部２２と、記憶部２３と、制御部２４と、センサ部２５とを備える。

センサ部２５は、慣性計測ユニット（IMU：Inertial Measurement Unit）又は慣性センサを含んで構成される。センサ部２５は、互いに直交する３軸方向における加速度及角速度を検出する。センサ部２５は、ステレオカメラ１０と画像処理装置２０とが同じ移動体３０に搭載されることにより、ステレオカメラ１０の姿勢情報を検出することができる。ステレオカメラ１０の姿勢情報は、ワールド座標系において基準となる方向に対するステレオカメラ１０の傾き（姿勢）である。

ここで、図１１に示すように、ステレオカメラ１０を搭載する移動体３０が路面上の物体２に乗り上げることにより、ステレオカメラ１０の姿勢が傾くことがある。図１１では、移動体３０の構成要素のうち、移動体３０のタイヤのみを示す。物体２は、例えば、路面上の石である。ステレオカメラ１０の姿勢が傾くと、ワールド座標系とカメラ座標系との間の相対的な位置関係が変化する。ワールド座標系とカメラ座標系との間の相対的な位置関係が変化すると、例えばカメラ座標系に予め対応付けられた方向を第２方向Ｄ２として特定する場合、特定した第２方向Ｄ２が路面の法線方向からずれる。特定した第２方向Ｄ２が路面の法線方向からずれると、式（１）の第２仮想平面Ｖ２_ｑの法線ベクトルｎ_ｑが路面の法線方向からずれる。法線ベクトルｎ_ｑが路面の法線方向からずれると、第２仮想画像４３_ｑによって第２被写体までの距離を精度良く算出できなくなる可能性がある。

そこで、制御部２４は、センサ部２５によって、ステレオカメラ１０の姿勢情報を取得する。制御部２４は、ステレオカメラ１０の姿勢情報によって、路面の法線方向を検出する。制御部２４は、検出した路面の法線方向を第２方向Ｄ２すなわち第２仮想平面２Ｖ_ｑの法線方向とし、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。例えば、制御部２４は、式（３）によって法線ベクトルｎ_ｑＣを取得し、式（４）によって第２距離ｄ２_ｑＣを取得する。制御部２４は、取得した法線ベクトルｎ_ｑＣを式（１）の法線ベクトルｎ_ｑに代入し、取得した第２距離ｄ２_ｑＣを式（１）の第１距離ｄ１_ｑに代入し、参照画像４１を第２仮想画像４３_ｑに変換する。

式（３）及び式（４）において、回転行列Ｒ_Ｗ→Ｃは、ワールド座標系を基準とする第１カメラ１１のカメラ座標系の回転を示す行列である。第１カメラ１１と第２カメラ１２との間の相対的な位置姿勢が既知であることにより、制御部２４は、ステレオカメラ１０の姿勢情報によって、第１カメラ１１の姿勢情報を取得することができる。制御部２４は、取得した第１カメラ１１の姿勢情報によって回転行列Ｒ_Ｗ→Ｃを取得する。

このように路面の法線方向を検出することにより、図１２に示すように、検出した路面の法線方向を第２方向Ｄ２すなわち第２仮想平面２Ｖ_ｑの法線方向とし、参照画像４１を第２仮想画像４３_ｑに変換することができる。このような構成により、ワールド座標系とカメラ座標系との間の相対的な位置関係が変化しても、制御部２４は、基準画像４０と第２仮想画像４３_ｑとによって、第２被写体までの距離を精度良く検出することができる。他の実施形態において、第２方向Ｄ２が水平面の法線方向である場合、制御部２４は、第１カメラ１１の姿勢情報によって水平面の法線方向を検出してもよい。

（他の実施形態に係るシステム動作）
図１３は、本開示の他の実施形態に係る画像処理方法の手順を示すフローチャートである。画像処理装置１２０が図１３に示すような画像処理方法を実行する。制御部２４は、ステレオカメラ１０が撮像を開始すると、ステップＳ２１の処理を開始する。

制御部２４は、図８に示すようなステップＳ１，Ｓ２の処理と同じ又は類似に、ステップＳ２１，Ｓ２２の処理を実行する。

制御部２４は、センサ部２５によってステレオカメラ１０の姿勢情報を取得し、取得したステレオカメラ１０の姿勢情報によって路面の法線方向を検出する（ステップＳ２３）。

制御部２４は、図８に示すようなステップＳ３～Ｓ６の処理と同じ又は類似に、ステップＳ２４～Ｓ２７の処理を実行する。

ステップＳ２８の処理では、制御部２４は、ステップＳ２３の処理で検出した路面の法線方向を第２仮想平面２Ｖ_ｑの法線方向とし、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。

制御部２４は、図８に示すようなステップＳ８～Ｓ１０の処理と同じ又は類似に、ステップＳ２９～Ｓ３１の処理を実行する。

他の実施形態に係る画像処理装置１２０は、センサ部２５を備えなくてもよい。この場合、制御部２４は、移動体３０内の電子制御ユニットから、移動体３０の姿勢情報を取得部２１によって取得してよい。制御部２４は、移動体３０の姿勢情報をステレオカメラ１０の姿勢情報として用い、路面の法線方向を検出してよい。

他の実施形態に係る画像処理装置１２０のその他の効果及び構成は、図１に示すような画像処理装置２０の効果及び構成と同じ又は類似である。

（さらに他の実施形態に係るシステム構成）
さらに他の実施形態に係るステレオカメラシステムには、図１に示すようなステレオカメラシステム１と同じ構成を採用することができる。以下、図１を参照し、さらに他の実施形態に係るステレオカメラシステムについて説明する。

制御部２４は、ステレオカメラ１０の姿勢情報を、基準画像４０と参照画像４１とを用いたバンドル調整によって取得する。バンドル調整は、画像から抽出された特徴点群のそれぞれの座標と、特徴点群から復元された復元点群を画像に再投影させた再投影点群のそれぞれの座標との間のずれが最小化されるような、カメラの姿勢を推定する処理である。例えば、制御部２４は、基準画像４０及び参照画像４１のそれぞれから、特徴点を抽出する。特徴点は、画像に写された被写体の部分のうち、隣接する他の部分から際立っている部分である。特徴点は、例えば、画素値の比較等により抽出可能な部分である。特徴点の一例として、画像に写された被写体の輪郭上の一点、及び、画像において画素値が極大又は極小となる点が挙げられる。制御部２４は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の任意のアルゴリズムによって、特徴点を抽出してよい。特にＯＲＢによれば、信頼度の高い特徴点が画像に写された被写体のエッジ部分から抽出され得る。制御部２４は、特徴点を抽出すると、基準画像４０と参照画像４１とにおいて対応する特徴点を特定する。対応する特徴点は、基準画像４０と参照画像４１とにおいて、同じ対象点を示す特徴点である。対象点は、３次元実空間上の被写体の一部である。制御部２４は、基準画像４０及び参照画像４１に含まれる対応する特徴点に３次元実空間にて対応する点を、復元点とみなして復元する。制御部２４は、ステレオカメラ１０の姿勢すなわち外部パラメータと、カメラの内部パラメータとを用いた、三角測量の原理を利用することにより、対応する特徴点を復元してよい。制御部２４は、復元点のワールド座標系の座標を取得する。制御部２４は、復元点を基準画像４０及び参照画像４１のそれぞれの画像座標系に再投影させて再投影点の２次元座標を取得する。制御部２４は、復元点を再投影させて取得された再投影点の２次元座標と、当該復元点の復元に用いた対応する特徴点の２次元座標との間のずれが最小化されるようなステレオカメラ１０の姿勢を推定する。制御部２４は、ステレオカメラ１０の姿勢を推定することにより、ステレオカメラ１０の姿勢情報を取得する。

制御部２４は、ステレオカメラ１０の姿勢情報によって、上述したように、路面の法線方向を検出する。上述したように、制御部２４は、検出した路面の法線方向を第２方向Ｄ２すなわち第２仮想平面２Ｖ_ｑの法線方向とし、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。

このようなバンドル調整によって、慣性計測ユニットがなくても、制御部２４は、ステレオカメラ１０の姿勢情報を取得することができる。さらに、制御部２４は、ステレオカメラ１０の姿勢情報によって路面の法線方向を検出することができる。このような構成により、図１２を参照して上述したように、ワールド座標系とカメラ座標系との間の相対的な位置関係が変化しても、制御部２４は、基準画像４０と第２仮想画像４３_ｑとによって、第２被写体までの距離を精度良く検出することができる。さらに他の実施形態において、第２方向Ｄ２が水平面の法線方向である場合、制御部２４は、第１カメラ１１の姿勢情報によって水平面の法線方向を検出してもよい。

（さらに他の実施形態に係るシステム動作）
さらに他の実施形態に係る画像処理方法は、図１３に示す手順によって実行可能である。ただし、ステップＳ２３の処理において、制御部２４は、基準画像４０と参照画像４１とを用いたバンドル調整によってステレオカメラ１０の姿勢情報を取得し、取得したステレオカメラ１０の姿勢情報によって路面の法線方向を検出する。

さらに他の実施形態に係る画像処理装置２０のその他の効果及び構成は、上述した実施形態に係る画像処理装置２０の効果及び構成と同じ又は類似である。

（さらに他の実施形態に係るシステム構成）
さらに他の実施形態に係るステレオカメラシステムには、図１に示すようなステレオカメラシステム１と同じ構成を採用することができる。以下、図１を参照し、さらに他の実施形態に係るステレオカメラシステムについて説明する。

制御部２４は、基準画像４０又は参照画像４１から、複数の特徴点を抽出する。制御部２４は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の任意のアルゴリズムによって、特徴点を抽出してよい。特にＯＲＢによれば、信頼度の高い特徴点が画像に写された被写体のエッジ部分から抽出され得る。制御部２４は、抽出した複数の特徴点から、直線性が高い特徴点群を検出する。直線性が高い特徴点群とは、特徴点群に含まれる複数の特徴点から導出される近似直線と、当該複数の特徴点のそれぞれのとの間のずれが閾値よりも小さい特徴点群である。閾値は、被写体までの距離を測定する所望の精度に基づいて、予め設定されてよい。制御部２４は、検出した特徴点群に含まれる複数の特徴点に、３次元実空間にて対応する対応点のワールド座標系の座標を取得する。制御部２４は、ステレオカメラ１０の姿勢すなわち外部パラメータと、カメラの内部パラメータとを用いた、三角測量の原理を利用することにより、対応点のワールド座標系の座標を取得する。制御部２４は、対応点のワールド座標系の座標によって、ステレオカメラ１０の姿勢情報を検出する。

例えば、制御部２４は、図１４に示すような基準画像４０ｃから、複数の特徴点４４を抽出する。制御部２４は、複数の特徴点４４のうちから、直線性が高い特徴点群４５を検出する。制御部２４は、検出した特徴点群４５によって、ステレオカメラ１０の姿勢情報を検出する。

制御部２４は、ステレオカメラ１０の姿勢情報によって、上述したように、路面の法線方向を検出する。さらに他の実施形態において、第２方向Ｄ２が水平面の法線方向である場合、制御部２４は、ステレオカメラ１０の姿勢情報によって水平面の法線方向を検出してもよい。上述したように、制御部２４は、検出した路面の法線方向を第２方向Ｄ２すなわち第２仮想平面２Ｖ_ｑの法線方向とし、参照画像４１を第２仮想平面Ｖ２_ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３_ｑとして取得する。

このように基準画像４０又は参照画像４１から直線性が高い特徴点群を検出することにより、慣性計測ユニットがなくても、路面の法線方向を検出することができる。このような構成により、図１２を参照して上述したように、ワールド座標系とカメラ座標系との間の相対的な位置関係が変化しても、制御部２４は、基準画像４０と第２仮想画像４３_ｑとによって、第２被写体までの距離を精度良く検出することができる。

（さらに他の実施形態に係るシステム動作）
さらに他の実施形態に係る画像処理方法は、図１３に示す手順によって実行可能である。
ただし、ステップＳ２３の処理において、制御部２４は、直線性が高い特徴点群を検出することによりステレオカメラ１０の姿勢情報を取得し、取得したステレオカメラ１０の姿勢情報によって路面の法線方向を検出する。

さらに他の実施形態に係る画像処理装置２０のその他の効果及び構成は、上述した実施形態に係る画像処理装置２０の効果及び構成と同じ又は類似である。

一実施形態において、（１）画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出する制御部と、を備え、
前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する。

（２）上記（１）の画像処理装置では、
前記制御部は、
前記第１距離を変化させながら複数の前記第１仮想画像を取得し、前記第２距離を変化させながら複数の前記第２仮想画像を取得する。

（３）上記（１）又は（２）の画像処理装置では、
前記被写体は、前記第１仮想平面に平行な面を含む第１被写体であり、
前記制御部は、前記基準画像における前記第１被写体の位置と前記複数の第１仮想画像のそれぞれにおける前記第１被写体の位置とを比較した結果に基づいて、前記基準位置から前記第１被写体までの距離を算出する。

（４）上記（１）から（３）までの何れかの画像処理装置では、
前記被写体は、前記第２仮想平面に平行な面を含む第２被写体であり、
前記制御部は、前記基準画像における前記第２被写体の位置と前記複数の第２仮想画像のそれぞれにおける前記第２被写体の位置とを比較した結果に基づいて、前記基準位置から前記第２被写体までの距離を算出する。

（５）上記（１）から（４）までの何れかの画像処理装置では、
前記制御部は、前記基準画像及び前記参照画像に対して歪み補正処理を実行する。

（６）上記（１）から（５）までの何れかの画像処理装置では、
前記第２方向は、水平面の法線方向である。

（７）上記（１）から（６）までの何れかの画像処理装置では、
前記制御部は、前記基準位置で前記基準画像を生成したカメラの姿勢情報に基づいて、水平面の法線方向を検出する。

（８）上記（１）から（７）までの何れかの画像処理装置では、
前記制御部は、前記カメラの姿勢情報を、センサ部によって取得する。

（９）上記（１）から（８）までの何れかの画像処理装置では、
前記制御部は、前記カメラの姿勢情報を、前記基準画像及び前記参照画像を用いたバンドル調整によって取得する。

（１０）上記（１）から（９）までの何れかの画像処理装置では、
前記制御部は、前記カメラの姿勢情報を、前記基準画像又は前記参照画像から直線性が高い特徴点群を検出することにより取得する。

（１１）画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出することと、を含み、
前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

例えば、上述した実施形態では、画像処理装置２０の制御部２４が基準画像及び参照画像に対して歪み補正処理を実行するものとして説明した。ただし、第１カメラ１１が、生成した基準画像に対して歪み補正処理を実行してもよい。第２カメラ１２が、生成した参照画像に対して歪み補正処理を実行してもよい。第１カメラ１１及び第２カメラ１２は、それぞれ、基準画像及び参照画像に対して、歪み補正処理に加えて、明度調整処理、コントラスト調整処理、ガンマ補正処理等の任意の画像処理を実行してもよい。

例えば、上述した実施形態では、図３に示すように、第１カメラ１１及び第２カメラ１２が移動体３０の左右方向に沿って位置するものとして説明した。ただし、第１カメラ１１及び第２カメラ１２の位置は、これに限定されない。他の例として、第１カメラ１１及び第２カメラ１２は、移動体３０の上下方向に沿って位置してもよい。

例えば、上述した実施形態では、第１カメラ１１が基準画像を生成し、第２カメラ１２が参照画像を生成するものとして説明した。ただし、基準画像及び参照画像は、１つのカメラによって生成されてもよい。この場合、カメラは、移動することにより、基準位置で撮像により基準画像を生成し、基準位置とは異なる位置で撮像により参照画像を生成する。

１，１０１ ステレオカメラシステム
２ 物体
Ｖ１ｑ 第１仮想平面
Ｖ２ｑ 第２仮想平面
ｄ１ｑ 第１距離
ｄ２ｑ 第２距離
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０，１２０ 画像処理装置
２１ 取得部
２２ 出力部
２３ 記憶部
２４ 制御部
２５ センサ部
３０ 移動体
４０，４０ａ，４０ｂ，４０ｃ 基準画像
４０оｂ１，４０оｂ２，４１оｂ１，４１оｂ２ 部分画像
４１，４１ａ，４１ｂ 参照画像
４２，４２ｑ 第１仮想画像
４３，４３ｑ 第２仮想画像
４４ 特徴点
４５ 特徴点群
Ｄ１ 第１方向
Ｄ２ 第２方向
ＯＸ１ 光軸
ＯＸ２ 光軸
Ｒ１，Ｒ２ 領域

Claims (11)

1. 基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
   前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出する制御部と、を備え、
   前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
   前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する、画像処理装置。
2. 前記制御部は、
   前記第１距離を変化させながら複数の前記第１仮想画像を取得し、前記第２距離を変化させながら複数の前記第２仮想画像を取得する、請求項１に記載の画像処理装置。
3. 前記被写体は、前記第１仮想平面に平行な面を含む第１被写体であり、
   前記制御部は、前記基準画像における前記第１被写体の位置と前記複数の第１仮想画像のそれぞれにおける前記第１被写体の位置とを比較した結果に基づいて、前記基準位置から前記第１被写体までの距離を算出する、請求項２に記載の画像処理装置。
4. 前記被写体は、前記第２仮想平面に平行な面を含む第２被写体であり、
   前記制御部は、前記基準画像における前記第２被写体の位置と前記複数の第２仮想画像のそれぞれにおける前記第２被写体の位置とを比較した結果に基づいて、前記基準位置から前記第２被写体までの距離を算出する、請求項２に記載の画像処理装置。
5. 前記制御部は、前記基準画像及び前記参照画像に対して歪み補正処理を実行する、請求項１に記載の画像処理装置。
6. 前記第２方向は、水平面の法線方向である、請求項１に記載の画像処理装置。
7. 前記制御部は、前記基準位置で前記基準画像を生成したカメラの姿勢情報に基づいて、水平面の法線方向を検出する、請求項６に記載の画像処理装置。
8. 前記制御部は、前記カメラの姿勢情報を、センサ部によって取得する、請求項７に記載の画像処理装置。
9. 前記制御部は、前記カメラの姿勢情報を、前記基準画像及び前記参照画像を用いたバンドル調整によって取得する、請求項７に記載の画像処理装置。
10. 前記制御部は、前記カメラの姿勢情報を、前記基準画像又は前記参照画像から直線性が高い特徴点群を検出することにより取得する、請求項７に記載の画像処理装置。
11. 基準位置で撮像により生成された基準画像のデータと、前記基準位置とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
    前記参照画像を第１仮想平面に射影変換して第１仮想画像を取得し、前記参照画像を第２仮想平面に射影変換して第２仮想画像を取得し、前記基準画像における被写体の位置と前記第１仮想画像又は前記第２仮想画像における前記被写体の位置とを比較した結果に基づいて、前記基準位置から前記被写体までの距離を算出することと、を含み、
    前記第１仮想平面の法線方向は、前記基準位置で前記基準画像を生成したカメラの光軸方向である第１方向に一致し、前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離だけ離れて位置し、
    前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離だけ離れて位置する、画像処理方法。

Images