JP2009089365A - 物体追跡の方法 - Google Patents

Abstract

【課題】自動車から、動いている物体、特に歩行者を認識し追跡する。
【解決手段】環境の画像が、一定の時間間隔でカメラ装置によってカメラ装置２０の視野範囲内で撮影され、追跡対象の動いている物体に対応する画素が、画像処理システムを活用して識別される。これら物体のそれぞれについて、物体が道路面に接する空間点の画像座標内の投影を表す画素が抽出される。道路面内の対応する空間点の運動は、道路面内の空間点の位置と道路面内の関係速度とを成分とする少なくとも４次元の状態ベクトルを使用する状態推定器によって追跡され、状態推定器による運動の追跡は、状態ベクトル毎に予測を生成する段階と、この予測を、適した投影方程式を介して画像座標に変換する段階と、この予測に予想される誤差を、共分散行列によって画像座標内で計算する段階と、この予測を、より最近の画像内で抽出された画素と比較して、更新する段階、を含んでいる。
【選択図】図１

Description

本発明は、動いている物体を認識し追跡するための方法である、いわゆる追跡方法に関する。より正確には、自動車から、動いている物体、特に歩行者、を認識し追跡するための方法に関する。これに関連して、自動車にはカメラ装置が配置され、これによって、カメラ装置の視野範囲の画素を備えている環境の画像が撮影される。

物体を追跡するためのこの種の方法、いわゆる追跡方法は広く知られている。用途も、自動車産業部門では既に知られており、そこでは、歩行者又は自転車に乗っている人や他の乗物を追跡しその動きを予測するのに追跡方法が使用され、切迫した衝突が早い段階で予測できるようになっている。切迫した衝突、特に歩行者との衝突の場合、運転者支援システムを介して車両にブレーキを掛け、又は適した安全装置を起動させることもできる。代替的又は追加的に、警報信号を発して運転者に警告を与えることもできる。

これに関連して、このような用途で問題なのは、追跡される物体、例えば歩行者のみならず、車両に固定されているカメラも動いているということである。それら２つの動きが重なり合い、カメラ装置によって順に撮影された２つの画像の間の合成された動きをモデル化するのは難しい。動いているカメラの支援の下に満足のいく物体追跡方法を提供するのは以前は不可能であった。一方で、従来の処理で実現し得る予測の品質はしばしば満足できるものでないことがあり、また他方では、カメラによって撮影された画像をリアルタイムで評価するには比較的大きな電算処理能力を必要とする。
Pascal Fua Vincent Lepetitの論文"Monocular model-based 3d-tracking of rigid object：A survey", Foundations and trends in computer graphics and vision, Vol. 1, No. 1 (2005), 189

従って、本発明の基本的な目的は、計算の労力をできる限り軽減しながら信頼できる結果を生み出すことに着眼した、冒頭に掲げた類の方法を提供することである。
この目的は、本発明に基づき、特許請求の範囲の請求項１に記載の方法により達成される。

画像処理システムを活用して、追跡対象の動いている各物体に対応するそれら画素が、撮影された画像内で識別される。次いで、これら物体のそれぞれについて、追跡される物体が道路面に接するその空間点の画像座標内の投影を表す画素が抽出される。互いに接近して配置された複数の画素の群も、当然ながら抽出することができる。それら選択された画素は、例えば、道路を横断中の歩行者の足に３次元空間内で対応している。道路面内の対応する空間点の動きは、道路面内の空間点の位置ｘ、ｙと道路面内の関係速度ｖ_Ｘ、ｖ_Ｙを成分とする少なくとも４次元の状態ベクトルを使用する状態推定器によって、追跡される。

本発明による方法では、従って、例えば、追跡されるのは３次元運動ではなく、道路面内の１つ又はそれ以上の空間点の運動だけである。物体追跡に要する計算の労力は、これにより大幅に軽減することができる。また、道路面内に限って動かない物体は自動的に篩い落とされる。自動車に用いる場合に追跡することが理に適っている物体、即ち、歩行者、自転車に乗っている人、及び所望のあらゆる乗物は、常に、実質的に道路面内を動くことから、計算能力は、この篩い落としにより理に適ったやり方で節約される。即ち、鳥や風にそよぐ枝などの様な、本視点から見て関心対象外の動く物体の追跡に計算能力を使うことが、物体認識に更なる労苦を払うこと無しに、回避される。

本発明による方法に使用される状態推定器は、予測補正構造を有している。最初に、状態ベクトル毎に予測が生成される。この予測は、適した投影方程式を介して画像座標に変換され、予想される誤差が、共分散行列によって、画像座標内の予測毎に計算される。続いて、予測は、より最近の画像内で抽出された画素と比較され、更新される。

方法段階は、追跡される物体を分類する本発明による方法に概ね従っている。この分類方法は、追跡前、即ち物体追跡前に、既に実行することもできる。物体の分類には、物体追跡より多くの計算能力を必要とするので、やはり、最初に未知の物体を追跡し、その後、追跡された物体だけを分類するほうがより好都合である。例えば、追跡された物体が歩行者であるか否かを認識できるようにする分類法は文献に詳しく記述されており、本発明の主題ではないので、分類については以下の記述でそれ以上詳しくは触れない。

本発明の好都合な実施形態は、従属請求項並びに以下の記述から理解頂けるであろう。
状態推定器としては、追跡処理が、いわゆる隠れマルコフモデルと同様の構造を有していることを前提とする再帰的状態推定器を使用するのが望ましい。状態は、一次マルコフ連鎖に基づいて挙動し、それぞれの最新の状態のみに従属すること、及び、何時放出される測定値も、それぞれの現在の状態のみに従属することを前提としている。

カルマンフィルタ、特に無香カルマンフィルタの使用が特に好都合であることが証明されている。空間点の画像面への投影は、線形方程式では記述できないので、非線形システムの状態も推定できるカルマンフィルタの変形のみを考慮することができる。而して、例えば、拡張形カルマンフィルタを使用することができる。拡張形カルマンフィルタは、システム方程式の線形化に基づいており、従って、サンプリング間隔が短い場合にのみ信頼できる推定器である。拡張形カルマンフィルタを使用した際に生じる情報損失は、予測の際に、予測毎に複数の代表的状態ベクトルを使用することで軽減することができる。無香カルマンフィルタはこのことを利用しており、試験された無香カルマンフィルタでは良好な成果を得ることができた。しかしながら、代わりに、粒子フィルタ、シグマ点カルマンフィルタ、又はその他適したフィルタの使用も考えられる。

状態推定器は、状態ベクトルの推定値を計算するのに、線形システム方程式を使用するのが望ましい。計算は、これによって簡素化される。
その様な線形システム方程式は、例えば、状態ベクトルの変化を、速度ｖ_Ｘ、ｖ_Ｙを有する道路面内の空間点の位置ｘ、ｙの均一運動としてモデル化することができる。追跡される空間点の均一運動はモデル化が簡単なので、計算は、妥当な労力で実施することができる。歩行者又は車両は、少なくとも比較的短い時間枠内では一般的に大凡均一な速度で動くので、画像撮影間隔を十分に短くすれば、その様なシステム方程式で良好な結果が得られる。

更に車両の並進と回転も考慮することができる。車両の並進と回転は、概ねとにかく車両で利用できる速度センサ及びヨーレートセンサのセンサデータから求められる。これに関連して、回転は求められたヨーレートｗから直接導き出され、一方、並進は、車両がｖを車両の速度として半径ｒ＝ｖ／ｗの円の縁を移動していると仮定して計算することができる。移動方向への車両並進成分ｔｘと移動方向を横切る方向への車両並進成分ｔｙは、ｔｘ＝ｒ＊ｓｉｎ（ｗ＊ｄｔ)と、ｔｙ＝ｒ＊（１−ｃｏｓ（ｗ＊ｄｔ））より、回転に基づいて計算することができる。回転と並進は、当然ながら、別のやり方で求めること又はこの目的の異なるセンサを使用することも一般に可能である。

並進と回転を計算上考慮するのは、状態ベクトルｘ、ｙ、ｖ_Ｘ、ｖ_Ｙを、車両、従ってカメラ装置と共に動く座標系に変換することで行うことができる。この座標系の原点は、道路面内のカメラ装置の高さ位置に在り、座標系の軸は移動方向に向いている。よって、この場合のシステム方程式は、追跡される空間点の均一な運動と、車両に関して固定されている座標系への座標変換から成り、後者で車両の回転と並進を勘定に入れている。

この手順では、車両自体の運動を別途勘定に入れていないモデルに比較して、更に正確な予測が得られる。
本発明の好適な実施形態によれば、抽出された画素について、画像へ投影する際に各画素上に投影された視界内の空間点を含んでいる指向性ビームが求められる。従って、カメラはピンホールカメラとしてモデル化される。すると、カメラ装置の外因的及び内因的パラメータを使用しながら、物体が道路面に接する視覚ビーム上の空間点を、逆投影を介して求めることができる。

予測状態ベクトルを空間座標から画像座標に変換することのできる反転投影は、道路面を画像面に投影することに対応している。道路面から画像面へのこの投影は、ピンホールカメラモデルを使用して同様にモデル化されるのが望ましい。投影と逆投影は非線形なので、既に言及したように、非線形システムに適した状態推定器を使用するべきである。その様な投影の数学的詳細については、Pascal Fua Vincent Lepetitの論文“Monocular model-based 3d-tracking of rigid object: A survey”, Foundations and trends in computer graphics and vision, Vol. 1, No. 1 (2005), 189を参照されたい。

状態ベクトルｘ、ｖ_Ｘ、ｙ、ｖ_Ｙの予想される誤差に対応する第１共分散行列は２つの項で構成されるのが望ましい。これに関連して、第１項は、状態推定器のシステム方程式及びそれまでの段階で計算された共分散行列に従属し、一方、第２項は、付加白色加速ノイズをモデル化したノイズ行列Ｑである。

画像座標で予想される誤差に対応する第２共分散行列は、状態ベクトルの共分散行列から計算することができる。この目的で、状態ベクトルの共分散行列は、先ず、適した変換、望ましくは無香変換を活用して画像空間へ変換される。この変数部分に、定ノイズ共分散行列が加えられる。この手続きによって、道路面の画像面への投影は非線形であることから、ワールド座標内でノイズが一定であるからといって結果的に画像座標でノイズが一定になるというわけではないという事実が、勘定に入れられる。画像座標での誤差が大きくなるほど、追跡される物体はカメラ装置に接近している。

本発明の別の主題は、コンピュータプログラムであって、コンピュータ又は相応の電算装置で実行されるときに、本発明による方法を実行するためのプログラミングコード手段を備えている、コンピュータプログラムである。

更に、コンピュータプログラムがコンピュータ又は相応の電算装置で実行されるときに、本発明による方法を実行するための、コンピュータ読取可能データ担体上に記憶されているプログラミングコード手段を有するコンピュータプログラム製品も、本発明の主題である。

これに関連して、コンピュータは、本方法を実行することができる任意の所望のデータ処理装置と理解されている。それらは、具体的には、本方法を全体的又は部分的に実行するのに使用できるデジタル信号プロセッサ及び／又はマイクロプロセッサを有している。

最後に、本発明の主題は、動いている物体、特に歩行者を、自動車から認識し追跡するための装置であって、画像を撮影するために自動車に配置されているカメラ装置と、上で説明した方法を実行するために作られたデータ処理装置を備えている装置である。

本発明のこの他の好都合な実施形態は、従属請求項、詳細な説明、及び図面に説明されている。

以下、一例として添付図面を参照しながら、本発明について説明する。
図面は、それぞれ概略図で示している。
図１は、車両天井内張の前方領域に取り付けられたカメラ装置２０を有する自動車１０を示している。カメラ装置２０は、カメラ装置の視野範囲の画素を備えている環境の画像を撮影する。それには、指向性ビーム２５で示される歩行者３０が含まれている。

車両１０と歩行者３０の両方が動く空間が、３つの座標軸ｘ、ｙ、ｚにより測られており、ｘ−ｙ面（ｚ＝０）は道路面に対応している。カメラ装置２０は、道路面より高さｈ分だけ上方に在る。

画像処理システムを活用して、追跡される歩行者３０に対応する画素ｕ、ｖが、撮影画像内で識別される。次いで、追跡される物体が道路面に接するその空間点の画像座標内の投影を表す画素ｕ、ｖが、この歩行者３０について抽出される。

図２は、画像座標ｕ、ｖ、ｗ（ｗ＝０）における空間ｘ、ｙ、ｚからの投影を示している。カメラ装置２０は、ピンホールカメラとしてモデル化されている。投影の際に画像上で各画素ｕ、ｖ上に投影された、視野範囲内の空間点ｘ、ｙ、ｚを含んでいる指向性ビーム２５は、而して、各画素ｕ、ｖ毎に存在している。各画素ｕ、ｖに実際に対応している照準光線２５上の空間点ｘ、ｙ、ｚは、具体的にはカメラ装置２０の高さｈも含めカメラ装置２０の外因的及び内因的パラメータを使用して逆投影を介して求めることができる。

道路面内の対応する空間点ｘ、ｙの運動は、道路面内の空間点の位置ｘ、ｙ及び道路面内の関係速度ｖ_Ｘ、ｖ_Ｙを成分とする４次元状態ベクトルを使用する状態推定器によって追跡される。

従って、道路面内では、空間点ｘ、ｙの２次元運動だけが追跡される。空間点ｘ、ｙが、追跡アルゴリズム実行中に、道路面を越えてｚ方向に動けば、本発明による方法ではそれ以上追跡できない。歩行者と車両は実質的には車両面内を動くことから、歩行者でも車両でもあり得ない、動いている物体はこのやり方で篩い落とされる。

状態ベクトルｘ、ｙ、ｖ_Ｘ、ｖ_Ｙに関する予測は、無香カルマンフィルタを活用して生成される。
先ず、フィルタが初期化される。この目的のために、画像面内の初期誤差が推定され、無香変換を活用して変換される。変換の結果を使用して、共分散行列の位置誤差の項が初期化される。ｘ及びｙ方向の速度の分散の項は、定数値で初期化され、それは位置誤差から統計学的に独立していると見なされている。また、空間点は初期には動かないものと想定されている（ｖ_Ｘ＝ｖ_Ｙ＝０）。

次いで、状態ベクトルの変化が、速度ｖ_Ｘ、ｖ_Ｙを有する空間点の位置ｘ、ｙの均一な運動としてモデル化される。
車両の並進と回転は、ヨーレートセンサと速度センサを活用して測定され、図３に示すように、状態ベクトルを予測するためのシステム方程式に送り込まれる。

状態ベクトルｘ、ｙ、ｖ_Ｘ、ｖ_Ｙが、座標系ｘ、ｙから、車両と共に、従ってカメラ装置と共に動く座標系ｘ^’、ｙ^’に変換される。この座標系ｘ^’、ｙ^’の原点は、道路面内のカメラ装置２０の高さの位置に在り、座標系ｘ^’、ｙ^’の軸ｘ^’は、移動方向に向いている。システム方程式は、而して、追跡される空間点ｘ、ｙの均一な運動と、図３に示す車両に関して固定されている座標系ｘ^’、ｙ^’への座標変換とで構成され、前記座標変換は、時間ｔ−１から時間ｔの間に起こった車両１０の回転と並進を勘定に入れたものである。

状態ベクトルｘ、ｖ_Ｘ、ｙ、ｖ_Ｙの予測で予想される誤差は、第１共分散行列によって計算される。対応する共分散行列は、状態推定器のシステム方程式に従属する第１項と、付加白色加速ノイズをモデル化したノイズ行列とで構成されている。

状態ベクトルｘ、ｙ、ｖ_Ｘ、ｖ_Ｙに対する予測は、非線形投影方程式を介して画座標ｕ、ｖに変換される。
画座標で予想される誤差に対応する第２共分散行列は、状態ベクトルの共分散行列から計算される。この目的のために、状態ベクトルの共分散行列は、先ず、無香変換を活用して画像空間に変換される。この変数部分に定ノイズ共分散行列が加えられる。

続いて、画素の予測が、より最近の画像内で抽出された画素と比較され、更新される。
状態ベクトルの更新値と、画像座標内で予想される誤差に対応する共分散行列は、これで、次のシステム状態の推定に向けた新たな実行のための基礎を形成する。

カメラ装置を有する自動車と歩行者である。 空間点の画像面への投影を説明する図である。 座標変換を説明する図である。

符号の説明

１０ 自動車
２０ カメラ装置
２５ 指向性ビーム、照準光線
３０ 歩行者
ｈ カメラの高さ
ｕ、ｖ 画素
ｘ、ｙ 空間点
ｘ^’、ｙ^’ 座標系
ｖ_Ｘ、ｖ_Ｙ 速度
ｘ、ｙ、ｖ_Ｘ、ｖ_Ｙ 状態ベクトル

Claims (14)

1. カメラ装置（２０）が配置されている自動車（１０）から、動いている物体、特に歩行者（３０）を認識し追跡するための方法であって、
   画素（ｕ，ｖ）を含んでいる環境の画像が、一定の時間間隔でカメラ装置（２０）によってカメラ装置（２０）の視野範囲内で撮影され、
   追跡対象の動いている各物体に対応する画素（ｕ，ｖ）が、画像処理システムを活用して識別され、これら物体（３０）のそれぞれについて、前記物体（３０）が道路面に接するその空間点（ｘ、ｙ）の画像座標内の投影を表す画素（ｕ、ｖ）が抽出され、
   前記道路面内の前記対応する空間点（ｘ、ｙ）の運動は、前記道路面内の前記空間点の位置（ｘ、ｙ）及び前記道路面内の関係速度（ｖ_Ｘ、ｖ_Ｙ）を成分とする少なくとも４次元の状態ベクトル（ｘ、ｙ、ｖ_Ｘ、ｖ_Ｙ）を使用する状態推定器によって追跡される、方法において
   前記状態推定器による前記運動の追跡は、
   状態ベクトル（ｘ、ｙ、ｖ_Ｘ、ｖ_Ｙ）毎に予測を生成する段階と、
   この予測を、適した投影方程式を介して画像座標（ｕ、ｖ）に変換する段階と、
   この予測に予想される誤差を、共分散行列によって、画像座標（ｕ、ｖ）内で計算する段階と、
   この予測を、より最近の画像内で抽出された前記画素（ｕ、ｖ）と比較して、更新する段階と、を含んでいる、方法。
2. 前記投影方程式は、ピンホールカメラを使用して計算された前記画像面への前記道路面の投影に対応していることを特徴とする、請求項１に記載の方法。
3. 非線形システムの状態の推定に適しているカルマンフィルタ、特に無香カルマンフィルタが、前記状態推定器として使用されていることを特徴とする、請求項１又は２に記載の方法。
4. 前記状態推定器は、前記状態ベクトル（ｘ、ｙ、ｖ_Ｘ、ｖ_Ｙ）の推定値を計算するために線形システム方程式を使用することを特徴とする、上記請求項の何れかに記載の方法。
5. 前記システム方程式は、前記速度（ｖ_Ｘ、ｖ_Ｙ）を有する前記道路面内の追跡される空間点（ｘ、ｙ）の均一な運動、並びに、前記車両（１０）の並進と回転を勘定に入れた項で構成されていることを特徴とする、請求項４に記載の方法。
6. 前記車両（１０）の前記並進と前記回転は、センサデータ、特に速度センサ及びヨーレートセンサのデータから求められることを特徴とする、請求項５に記載の方法。
7. 前記車両（１０）の前記並進と前記回転は、前記車両に関して固定されている座標系（ｘ^’、ｙ^’）への座標変換を介して勘定に入れられることを特徴とする、請求項５又は６に記載の方法。
8. 前記抽出された画素（ｕ、ｖ）について、前記画像上で前記各画素（ｕ、ｖ）上に投影された前記視野範囲内の空間点（ｘ、ｙ、ｚ）を含んでいる指向性ビーム（２５）が求められ、前記物体（３０）が前記道路面に接する前記照準光線（２５）上の空間点（ｘ、ｙ）が、前記カメラ装置のカメラパラメータを使用して求められることを特徴とする、上記請求項の何れかに記載の方法。
9. 前記状態ベクトル（ｘ、ｙ、ｖ_Ｘ、ｖ_Ｙ）の共分散行列は、システム方程式とそれまでの段階で計算された共分散行列に従属する項と、ノイズ行列とで構成され、前記ノイズ行列は付加白色加速ノイズをモデル化したものであることを特徴とする、上記請求項の何れかに記載の方法。
10. 画像座標で予想される前記誤差に対応する前記共分散行列は、定ノイズ共分散行列と可変共分散行列とで構成され、この可変共分散行列は、適した変換、特に無香変換によって、前記状態ベクトルの共分散行列から計算されることを特徴とする、請求項９に記載の方法。
11. 状態推定器として使用されるフィルタ、特に無香カルマンフィルタは、前記画像面内の初期誤差を推定し、前記無香変換を活用して前記道路面に変換し、この変換の結果を使用して前記共分散行列の位置誤差の項を初期化する、という手順で初期化され、一方、前記ｘ及びｙ方向の前記速度の前記分散の項は、定数値を使って初期化され、前記位置誤差から統計学的に独立していると見なされていることを特徴とする、上記請求項の何れかに記載の方法。
12. コンピュータプログラムであって、コンピュータ又は相応の電算装置で実行されるときに、請求項１から１１の何れかに記載の方法を実行するためのプログラムコード手段を有する、コンピュータプログラム。
13. コンピュータプログラム製品であって、コンピュータプログラムがコンピュータ又は相応の電算装置で実行されるときに、請求項１から１１の何れかに記載の方法を実行するための、コンピュータ読取可能データ担体上に記憶されているプログラムコード手段を有する、コンピュータプログラム製品。
14. 自動車（１０）から、動いている物体、特に歩行者（３０）、を認識し追跡するための装置において、撮像のために前記自動車（１０）に配置されたカメラ装置（２０）を有し、請求項１から１１の何れかに記載の方法を実行するために作られたデータ処理装置を有している、装置。