JP3261115B2 - ステレオ画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラで
撮像した一対の画像を処理して三次元の距離情報として
の視差データを取得するステレオ画像処理装置に関す
る。

【０００２】

【従来の技術】一般に、画像による３次元計測技術とし
て、２台のカメラからなるステレオカメラで対象物を異
なる位置から撮像した一対の画像の相関を求め、同一物
体に対する視差からステレオカメラの取り付け位置や焦
点距離等のカメラパラメータを用いて三角測量の原理に
より距離を求める、いわゆるステレオ法による画像処理
が知られている。

【０００３】このステレオ法による画像処理では、ステ
レオカメラからの２つの画像信号を順次シフトしながら
重ね合わせて２つの画像信号が一致した位置を求めるよ
うにしているため、本来、２つの画像間には、視差から
生じる対応位置のズレのみが存在することが望ましく、
他の光学的な歪み等による位置ズレが存在すると、ミス
マッチングを生じて距離情報の精度が低下する。

【０００４】このため、本出願人は、先に、特願平９−
１１７２６８号において、ステレオカメラの光学的位置
のズレに応じて画像をアフィン変換することで、機械的
な調整を行うことなく電気的に調整する技術を提案して
おり、ステレオカメラの光学的位置を機械的には調整困
難なレベルまで精密に調整可能とするとともに、調整後
の経年変化によるズレに対しても容易に再調整可能とし
ている。

【０００５】

【発明が解決しようとする課題】しかしながら、先に本
出願人が提案した画像のアフィン変換による補正は、画
像の質の低下を避けるため、画像全体に対して一様に作
用する線形補正としており、レンズの焦点距離やレンズ
歪み等のレンズ特性のバラツキ、２台のカメラの撮像方
向の相対的なバラツキ等の非線形なズレを対象とはして
いない。

【０００６】すなわち、ステレオカメラの基線に平行な
壁等の等距離にある被写体を撮像した場合、得られる距
離分布は理想的には平面となるはずであるが、図１０に
示すように、基準側のカメラのレンズ焦点距離と比較側
カメラのレンズ焦点距離との不揃いの影響で等距離面が
傾いたり、また、比較側のカメラのレンズ歪みの影響で
等距離面が平面にならないといった不具合が発生し、距
離計測精度の低下を招く。

【０００７】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラを構成する２台のカメラのレンズ特
性のバラツキや撮像方向の相対バラツキ等に起因する視
差検出誤差を補正し、距離計測精度を向上することので
きるステレオ画像処理装置を提供することを目的として
いる。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の発明は、２台１組のカメラからなる
ステレオカメラで撮像した基準画像及び比較画像からな
る一対の画像に対して互いに対応する小領域を探索して
抽出し、対応する小領域で対象物までの距離に応じて生
じる視差データを取得するステレオ画像処理装置におい
て、上記視差データを、上記比較画像に対応した所定領
域毎の微小実画角と上記ステレオカメラの互いのカメラ
の光学的位置が理想状態にある場合の上記領域毎の画角
との比に基づいて補正する手段を備えたことを特徴とす
る。

【０００９】請求項２記載の発明は、請求項１記載の発
明において、上記画角の比に基づく補正用データテーブ
ルを作成し、且つ該補正用データテーブルを上記小領域
の一致点で参照するテーブルと無限遠相当点で参照する
テーブルとに分けて保有することを特徴とする。

【００１０】請求項３記載の発明は、請求項１又は請求
項２記載の発明において、上記補正用データテーブルの
補正用データを、上記画角の比を上記比較画像の画面端
から積分した積分値とすることを特徴とする。

【００１１】すなわち、請求項１記載の発明では、ステ
レオカメラで撮像した基準画像及び比較画像からなる一
対の画像に対して互いに対応する小領域を探索して取得
した視差データを、比較画像に対応した所定領域毎の微
小実画角とステレオカメラの互いのカメラの光学的位置
が理想状態にある場合の領域毎の画角との比に基づいて
補正する。

【００１２】その際、請求項２記載の発明では、画角の
比に基づく補正用データテーブルを作成し、且つ補正用
データテーブルを小領域の一致点で参照するテーブルと
無限遠相当点で参照するテーブルとに分けて保有する。
補正用データテーブルの補正用データは、請求項３記載
の発明では、画角の比を比較画像の画面端から積分した
積分値とする。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図９は本発明の実施の一形
態に係わり、図１及び図２はステレオ画像処理装置の回
路ブロック図、図３は実画角による画角修正比積分値の
特性を示す説明図、図４は比較画像の実画角による補正
データ算出処理のフローチャート、図５は無限遠対応点
の変位量算出処理のフローチャート、図６は比較画像の
画角修正比計測の説明図、図７は比較画像に映った画角
修正比計測用の垂直格子線を示す説明図、図８は無限遠
対応点の視差計測の説明図、図９は基準画像及び比較画
像に映った垂直格子線を示す説明図である。

【００１４】図１において、符号１は、例えば自動車や
ヘリコプタ等の移動体に搭載され、三次元の距離情報に
基づいて周囲環境や自己位置を認識するシステムの測距
センサとしての役割を担うステレオカメラであり、互い
に同期が取れ、且つシャッタースピード可変の２台１組
のカメラ２，３を、一方のカメラ２をステレオ処理を行
う際の基準画像を撮像する基準カメラ、他方のカメラ３
をステレオ処理を行う際の比較画像を撮像する比較カメ
ラとして、所定の基線長をもってカメラステイ４に配設
して構成される。

【００１５】ステレオカメラ１で撮像した一対の基準画
像及び比較画像は、ステレオ画像処理装置１０でステレ
オマッチング処理され、三次元の距離情報としての視差
データが取得される。更に、取得された視差データは認
識装置５０に読み込まれ、各種認識処理が行われる。例
えば、自動車へ適用する場合、認識装置５０では、視差
データによる三次元の距離情報に基づいて道路形状や前
方車両の存在等の走行環境を認識し、衝突危険度を判定
して運転者に警報を発したり、自動的にブレーキを作動
させて停止させる、あるいは、先行車との車間距離を安
全に保つよう自動的に走行速度を増減する等の車両制御
用データを生成する。

【００１６】ここで、ステレオカメラ１を構成する２台
のカメラ２，３は、製造段階で互いの光軸が平行となる
ように機械的に調整されてカメラステイ４に固定されて
いるが、機械的な組立て精度の限界から２台のカメラ
２，３の撮像方向には相対的な微小バラツキが存在し、
厳密には互いの光軸が完全平行とはならず、また、両カ
メラ２，３の間のレンズの焦点距離のバラツキやレンズ
歪みの影響がある等の理由から、両カメラ２，３で撮像
した画像には、光学的に非線形な位置ズレが少なからず
存在する。この光学的に非線形な位置ズレは、ステレオ
カメラ１の各個体毎にも同様に存在する。

【００１７】このため、基準画像に設定した小領域に対
応する比較画像の小領域を一致検索して抽出するステレ
オマッチングでの視差データに誤差が生じ、同じ距離に
ある被写体を撮像した場合であっても、得られる等距離
面が平面にならず、距離精度が悪化する。

【００１８】従って、本発明によるステレオ画像処理装
置１０は、ステレオカメラ１の撮像画像を処理してステ
レオマッチングにより視差を検出する視差検出部１０ａ
（図１参照）と、この視差検出部１０ａで検出した視差
データを、比較画像の所定領域毎の微小実画角のデータ
を予め計測して作成した画角修正比テーブルを用いて補
正する視差補正部１０ｂ（図２参照）とを備えており、
視差検出部１０ａにおいて基準画像及び比較画像からス
テレオマッチングによって求めた視差データを、視差補
正部１０ｂで画角修正比テーブルを用いて補正すること
により、レンズの焦点距離のバラツキやレンズ歪み、２
台のカメラ２，３の撮像方向の相対的なバラツキ等によ
る影響を排除し、距離精度の向上を図るようにしてい
る。

【００１９】画角修正比テーブルは、比較画像の所定領
域毎の微小実画角Ｄを予め計測し、この微小実画角Ｄと
互いのカメラ２，３の光学的位置が理想状態にある場合
の画角Ｍとの比を画角修正比Ｒとして作成される補正用
データテーブルであり、本形態においては、視差データ
がいわば１画素毎の画角の差を視差検出走査方向に積分
した値に相当することを考慮し、画角修正比Ｒを画像座
標の初期位置から比較画像の１画素毎に積分した値を、
ステレオマッチングで得られる視差データを直接的に補
正可能な画角修正比積分値Ｓとして保有する。

【００２０】すなわち、ステレオカメラを構成する２台
のカメラ２，３のレンズ焦点距離が同じでレンズ歪みが
無く、撮像方向が全く同じである理想状態では、図３に
示すように、比較画像側の水平方向座標（画素位置）で
の検索一致点と無限遠対応点との差を視差データとして
そのまま使用可能であるが、比較カメラ（カメラ３）の
レンズ焦点距離が基準カメラ（カメラ２）のレンズ焦点
距離と異なる場合には、画角修正比積分値Ｓによる特性
が画像の座標原点から外れた直線となり、また、レンズ
歪みがあると画角修正比積分値Ｓによる特性が湾曲した
曲線となる。

【００２１】従って、従来のステレオマッチングで得ら
れる比較画像の検索一致点及び無限遠対応点に対し、レ
ンズ焦点距離の相違、レンズ歪みの影響、撮像方向の相
違等を含んだ画角修正比積分値Ｓの特性曲線での補正が
可能となる。しかも、ステレオマッチングに先だって非
線形な画像変換を行うことでレンズ焦点距離の相違やレ
ンズ歪みの影響、撮像方向の相違を補正するような処理
を行わないため、画像の質低下が無く、良質な画像のま
ま測距を行うことができ、距離計測精度を向上すると共
にデータの信頼性を向上することができる。

【００２２】以下、ステレオ画像処理装置１０の詳細構
成について説明する。視差検出部１０ａは、各カメラ
２，３の系統毎に備えられたＡ／Ｄ変換器１１，１２及
び画像メモリ１３，１４、各画像メモリ１３，１４にス
トアされた画像に対して幾何学的な位置補正を行う位置
・形状補正回路１５及び光学的な感度補正を行う感度補
正回路１６、ステレオ処理の１ライン分をストアする基
準画像ラインメモリ１７及び比較画像ラインメモリ１
８、基準画像及び比較画像の小領域毎にシティブロック
距離を計算する一致度算出回路２５、シティブロック距
離の最小値を検出して１画素単位での視差データを取得
すると共に、サブピクセル処理により１画素以下の分解
能のサブピクセルデータを取得する一致度評価回路２６
から主として構成される。

【００２３】さらに、視差検出部１０ａには、感度補正
回路１６から基準画像ラインメモリ１７に出力される画
像データの輝度変化量を調べ、ステレオ処理に有効な輝
度変化量が得られているか否かを判定する輝度変化有効
判定回路１９が備えられると共に、各メモリへのアクセ
スアドレスを生成するため、基準画像と比較画像との一
致度を評価するための小領域の位置を生成する基準画像
小領域位置生成回路２０、基準画像小領域位置生成回路
２０で生成した小領域の位置に対応して画像メモリ１
３，１４をアクセスするアドレスを生成する書き／読み
アドレス生成回路２１、書き／読みアドレス生成回路２
１からのアドレスに対応して比較画像ラインメモリ１８
への書き込みアドレスを生成する書き込みアドレス生成
回路２２、基準画像の小領域の位置に応じて比較画像の
小領域一致検索範囲をシフトさせるためのオフセット量
を決定するオフセット補正テーブル２３、基準画像小領
域位置生成回路２０からの小領域の位置とオフセット補
正テーブル２３からのオフセット値とに基づいて比較画
像ラインメモリ１８の読み出しアドレスを生成する読み
出しアドレス生成回路２４が備えられている。

【００２４】一方、視差補正部１０ｂは、一致度評価回
路２６からの視差データと基準画像小領域位置生成回路
２０からの小領域の位置とオフセット補正テーブル２３
からのオフセット値とを加算出力する加算器２７、基準
画像小領域位置生成回路２０からの小領域の位置データ
とオフセット補正テーブル２３からのオフセット値とを
加算出力する加算器２８、加算器２７，２８の出力デー
タに基づいて一致度評価回路２６からの視差データを補
正する画角修正比テーブル２９、画角修正比テーブル２
９からの出力の差分を計算する差分回路３０、差分回路
３０からのデータに一致度評価回路２６で算出したサブ
ピクセルデータを加算して補正後視差データとして出力
する加算器３１を備えた構成となっている。

【００２５】画角修正比テーブル２９は、比較画像の一
致点座標による参照と無限遠対応点による参照とで用い
られ、本質的には１つのテーブルで良いが、本来、無限
遠対応点に対する修正は一致点座標の修正とは独立して
いるため、本形態では、画角修正比テーブル２９を、比
較画像の一致点座標で参照する画角修正比積分値テーブ
ル２９ａと無限遠対応点の参照に限定して簡略化した無
限遠対応点画角修正比積分値テーブル２９ｂとの２つの
テーブルに分けて保有し、処理速度の向上を図るように
している。

【００２６】以上のステレオ画像処理装置１０では、ス
テレオカメラ１を構成する２台のカメラ２，３で撮像し
たアナログ画像をＡ／Ｄ変換器１１，１２で所定の輝度
階調（例えば２５６階調のグレースケール）のデジタル
画像に変換し、変換した各デジタル画像データを、書き
・読みアドレス生成回路２１によって指定されるアドレ
スで画像メモリ１３，１４にそれぞれストアする。

【００２７】各画像メモリ１３，１４にストアされた画
像データは、位置・形状補正回路１５で両カメラ２，３
の光学的な位置ズレに対してアフィン変換による幾何学
的な補正が行われ、さらに、感度補正回路１６で、各カ
メラ２，３のＣＣＤアンプの固有ゲインの相違等を補正
するためのＬＵＴ（ルックアップテーブル)による感度
補正、各カメラ２，３の光学系に発生するシェーディン
グ現象による輝度低下を補正するためのシェーディング
補正、各画像の低輝度部分のコントラストを改善するた
めのログ補正等によって感度が補正された後、基準画像
ラインメモリ１７、比較画像ラインメモリ１８にステレ
オ処理の１ライン分の画像データがストアされる。基準
画像ラインメモリ１７には、ステレオ処理の対象となる
小領域（例えば、４×４画素の領域）の画像データがス
トアされ、比較画像ラインメモリ１８には、一つの小領
域に対して対応位置を一致検索するための画像データが
所定の探索範囲分だけストアされる。

【００２８】次いで、一致度算出回路２５では、基準画
像ラインメモリ１７にストアされた小領域の画像データ
に対し、１つの小領域毎にオフセット補正テーブル２３
によるオフセット値を視差検出の走査方向の座標（水平
座標）に加えた開始アドレスで比較画像ラインメモリ１
８から読み出される比較画像側のデータを順次シフトし
ながらシティブロック距離を計算する。このシティブロ
ック距離は、例えば絶対値演算器と加算器とをピラミッ
ド状に接続したパイプライン構造の演算回路を用いて計
算される。

【００２９】一致度算出回路２５で計算されたシティブ
ロック距離は、一致度評価回路２６でその最小値が検出
され、視差データ（基準画像と比較画像との小領域毎の
画素ズレ量）として出力される。同時に、一致度評価回
路２６では、１画素単位での離散的なシティブロック距
離をサブピクセル処理により補完して１画素以下の分解
能でのサブピクセルデータを算出する。尚、輝度変化有
効判定回路１９による基準画像ラインメモリ１７の画像
データの輝度変化量が有効値に達していない場合には、
一致度評価回路２６からは視差データ及びサブピクセル
データを無効データとして出力する。

【００３０】一致度評価回路２６で検出した視差データ
すなわちステレオマッチングにより求めた１画素単位の
視差データ（画素ズレ量）は、視差補正部１０ｂの加算
器２７にて基準画像小領域位置生成回路２０からの小領
域の位置とオフセット補正テーブル２３からのオフセッ
ト値とが加算され、基準画像の小領域に対応する比較画
像の小領域の一致点水平座標として出力される。そし
て、この一致点水平座標を用いて画角修正比積分値テー
ブル２９ａが参照され、レンズ焦点距離のバツキやレン
ズ歪みの影響、２台のカメラ２，３の撮像方向の相対的
なバラツキ等の影響を個体毎に補正した一致点の水平座
標が得られる。

【００３１】同時に、視差補正部１０ｂの加算器２８に
より基準画像小領域位置生成回路２０からの小領域の位
置とオフセット補正テーブル２３からのオフセット値と
が加算されて無限遠対応点座標が求められ、この無限遠
対応点座標を用いて無限遠対応点画角修正比積分値テー
ブル２９ｂが参照される。その結果、同様に、レンズ焦
点距離のバツキやレンズ歪みの影響、２台のカメラ２，
３の撮像方向の相対的なバラツキ等の影響を個体毎に補
正した無限遠対応点の水平座標が得られる。

【００３２】そして、画角修正比積分値テーブル２９ａ
及び無限遠対応点画角修正比積分値テーブル２９ｂの参
照により得られる補正後の一致点の水平座標と無限遠対
応点水平座標とを差分回路３０で差分し、その差分値と
一致度評価回路２６で取得したサブピクセルデータとを
加算器３１で加算して真の視差データ（補正後の視差デ
ータ）として認識装置５０に出力する。

【００３３】尚、画角修正比積分値テーブル２９ａの分
解能をサブピクセルまで拡大することで、差分回路３０
からの差分値と一致度評価回路２６からのサブピクセル
データとを加算する加算器３１を省略することも可能で
あり、その場合には、一致度評価回路２６で算出したサ
ブピクセルデータを加算器２７に入力し、画角修正比積
分値テーブル２９ａの参照パラメータである一致点の水
平座標をサブピクセルまでの値とする。

【００３４】ここで、画像画角修正比積分値テーブル２
９ａ及び無限遠対応点画角修正比積分値テーブル２９ｂ
は、実際には、予めステレオカメラ１の各個体毎に特定
のパターンを配列したデータ計算用スクリーンを撮像し
て作成され、フラッシュメモリ等からなる各テーブル２
９ａ，２９ｂに書き込まれる。

【００３５】本形態では、画像画角修正比積分値テーブ
ル２９ａ及び無限遠対応点画角修正比積分値テーブル２
９ｂの作成用として、図６，８に示すように、垂直格子
線を等間隔に配置したデータ計算用スクリーンを用い、
このスクリーンをステレオカメラ１の基線と平行の既値
の距離に配置して撮像する。

【００３６】先ず、比較画像の実画角による補正データ
を算出して画像画角修正比積分値テーブル２９ａを作成
する図４の処理について説明すると、この処理では、ス
テップＳ１で、ステレオカメラ１の仕様定数値や各種処
理変数値等の変数値を初期化し、ステップＳ２で図６に
示すデータ計算用スクリーンを撮像し、比較画像の１画
面分をサンプリングする。

【００３７】次いで、ステップＳ３へ進み、比較画像中
に映った垂直格子線の間隔から画像領域毎の微小実画角
Ｄを求め、ステップＳ４で、画像領域毎の微小実画角Ｄ
と仕様上の所定の理想画角値Ｍとから、画像領域毎に画
角修正比Ｒ（＝Ｍ／Ｄ）を算出する。図７に示すよう
に、比較画像中に映った垂直格子線は、例えばレンズ歪
みがある場合、画像端部へゆく程、湾曲の度合いが大き
くなり、この湾曲した垂直格子線の像の水平座標の間隔
とデータ計算用スクリーンの本来の垂直格子線の間隔と
から画角修正比を求めることができる。

【００３８】そして、ステップＳ５へ進み、比較画像中
の画素毎に、画角修正比Ｒを画像左端（初期値位置）か
ら水平走査方向に積分して画角修正比積分値Ｓを算出
し、水平座標に対応して画角修正比積分値テーブル２９
ａに書き込むことで、テーブルを作成する。

【００３９】一方、無限遠対応点画角修正比積分値テー
ブル２９ｂの作成では、図８に示すように、データ計算
用スクリーンの垂直格子線をステレオカメラ１の基線長
と同じ間隔としてスクリーンをステレオカメラ１と平行
に配置し、図５に示すような無限遠対応点の変位量を算
出する処理を行う。この処理では、データ計算用スクリ
ーンの各垂直格子線に基準画像と比較画像とでそれぞれ
番号を割り当て、同じ垂直格子線に対し、基準画像に映
る垂直格子線の番号が比較画像に映る垂直格子線の番号
よりも一つ少ない番号になるように番号付けを行う。

【００４０】すなわち、図５のステップＳ１０で、同様
にステレオカメラ１の仕様定数値や各種処理変数値等の
変数値を初期化すると、ステップＳ１１で、図８のデー
タ計算用スクリーンを撮像し、基準画像と比較画像とで
例えば図９に示すような撮像画像を得てそれぞれの１画
面をサンプリングする。

【００４１】そして、ステップＳ１２で、基準画像と比
較画像に映った同じ番号の垂直格子線の位置（水平走査
方向の座標；Ｘ座標）を求め、画像領域毎に、垂直格子
線の位置の差を無限遠対応点の視差として算出し、無限
遠対応点画角修正比積分値テーブル２９ａに書き込むこ
とで、テーブルを作成する。

【００４２】

【発明の効果】以上説明したように本発明によれば、ス
テレオカメラで撮像した基準画像及び比較画像からなる
一対の画像に対して互いに対応する小領域を探索して取
得した視差データを、比較画像に対応した所定領域毎の
微小実画角とステレオカメラの互いのカメラの光学的位
置が理想状態にある場合の領域毎の画角との比に基づい
て補正するので、ステレオカメラを構成する２台のカメ
ラのレンズ特性のバラツキや撮像方向の相対バラツキ等
に起因する視差検出誤差を補正し、距離計測精度を向上
することができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】ステレオ画像処理装置の回路ブロック図

【図２】ステレオ画像処理装置の回路ブロック図（続
き）

【図３】実画角による画角修正比積分値の特性を示す説
明図

【図４】比較画像の実画角による補正データ算出処理の
フローチャート

【図５】無限遠対応点の変位量算出処理のフローチャー
ト

【図６】比較画像の画角修正比計測の説明図

【図７】比較画像に映った画角修正比計測用の垂直格子
線を示す説明図

【図８】無限遠対応点の視差計測の説明図

【図９】基準画像及び比較画像に映った垂直格子線を示
す説明図

【図１０】レンズ特性のバラツキによる等距離面の変化
を示す説明図

【符号の説明】

１ …ステレオカメラ １０…ステレオ画像処理装置 ２９…画角修正比テーブル ２９ａ…画角修正比積分値テーブル ２９ｂ…無限遠対応点画角修正比積分値テーブル Ｄ…微小実画角 Ｍ…理想画角 Ｒ…画角修正比 Ｓ…画角修正比積分値

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 ２台１組のカメラからなるステレオカメ
   ラで撮像した基準画像及び比較画像からなる一対の画像
   に対して互いに対応する小領域を探索して抽出し、対応
   する小領域で対象物までの距離に応じて生じる視差デー
   タを取得するステレオ画像処理装置において、 上記視差データを、上記比較画像に対応した所定領域毎
   の微小実画角と上記ステレオカメラの互いのカメラの光
   学的位置が理想状態にある場合の上記領域毎の画角との
   比に基づいて補正する手段を備えたことを特徴とするス
   テレオ画像処理装置。
2. 【請求項２】 上記画角の比に基づく補正用データテー
   ブルを作成し、且つ該補正用データテーブルを上記小領
   域の一致点で参照するテーブルと無限遠相当点で参照す
   るテーブルとに分けて保有することを特徴とする請求項
   １記載のステレオ画像処理装置。
3. 【請求項３】 上記補正用データテーブルの補正用デー
   タを、上記画角の比を上記比較画像の画面端から積分し
   た積分値とすることを特徴とする請求項１又は請求項２
   記載のステレオ画像処理装置。