JP6398347B2 - 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム - Google Patents

Description

本発明は、撮像画像中の撮像領域内に存在する認識対象物を検出する画像処理装置、この画像処理装置を用いた認識対象物検出方法、認識対象物検出プログラム、および、この画像処理装置を備えた移動体制御システムに関する。

従来、車載カメラで撮影した自車両周辺の画像から車両や歩行者等といった障害物（認識対象物）を検出して、車両の運転や走行に用いる情報を得て、操舵回避や自動ブレーキを行う事故防止システム等の技術が既に知られている。このような事故防止システムでは、歩行者等の障害物を精度よくかつ迅速に検出することで、車両と障害物との衝突の危険性を下げることができる。このような障害物の認識方法の１つとして、車載カメラで取得した画像と大量のパターン画像を照合して、認識対象物を認識するという技術が既に知られている（例えば、特許文献１参照）。この特許文献１に記載の従来技術では、測距システムを用いて距離を算出し、その算出結果により、同一距離となった点の集まりを、衝突しそうな障害物として認定し、この障害物の画像と、予め用意したパターン画像（テンプレート）とを照合するといった、マッチング処理を行って、歩行者か否かを判断している。

しかしながら、特許文献１に記載の従来技術では、大量のパターン画像と照合を行うため、マッチング処理が重くなり、歩行者等の認識対象物の検出までに時間がかかるという問題があった。

本発明は、上記の事情に鑑みて為されたもので、マッチングの処理の手間を削減することで、処理時間を短縮して、撮像画像から認識対象物を迅速に検出することが可能な画像処理装置、この画像処理装置を用いた認識対象物検出方法、認識対象物検出プログラム、および、この画像処理装置を備えた移動体制御システムを提供することを目的とする。

上記の目的を達成するため、本願に係る画像処理装置は、複数の撮像部からフレーム単位で入力される複数の撮像画像に基づいて視差画像データを生成する視差演算部と、前記視差画像データに基づいて、画像垂直座標と視差値の関係を示す垂直視差データを作成する垂直視差データ作成部と、前記垂直視差データに基づいて、前記認識対象物が移動する移動面を検出する移動面位置検出部と、前記視差画像データおよび前記移動面に基づいて、前記移動面付近における、画像水平座標および視差値の関係を示す水平視差データを作成する水平視差データ作成部と、前記水平視差データに基づいて、前記認識対象物の候補を検出する対象物候補検出部と、前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときに前記所定の特徴量が記憶される第２の特徴量記憶部と、前記第２の特徴量記憶部へ前記所定の特徴量が記憶されたフレーム以降のフレームにおいて、該以降のフレームの撮像画像から前記第２の特徴量記憶部に基づいて前記認識対象物の検出を行い、前記認識対象物が検出されなかったときには前記第１の特徴量記憶部に基づいて前記認識対象物の検出を行う対象物検出部と、を備え、前記水平視差データ作成部は、前記認識対象物の種類に応じて、前記移動面からの高さの異なる複数の水平視差データを作成することを特徴とする。

本発明によれば、マッチングの処理の手間を削減することで、処理時間を短縮して、撮像画像から認識対象物を迅速に検出することが可能な画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システムを提供することができる。

本願の実施例１に係る画像処理装置を備えた移動体制御システムを搭載した自車両を示す概略図である。 図１に示す画像処理装置を備えた移動体制御システムのハードウェア構成を示すブロック図である。 図２に示す画像処理装置におけるステレオ画像処理部の機能を説明するための機能ブロック図である。 図３に示すステレオ画像処理部の立体物検出部の機能の詳細を示す機能ブロック図である。 図４に示す立体物検出部のパターンマッチング部の機能の詳細を示す機能ブロック図である。 ステレオカメラの左右の２つのカメラで撮影したときの視差を説明するための説明図である。 補正画像データａ’とその垂直視差画像を示す概略図であり、（ａ）は、自車両に搭載された撮像部で自車両進行方向の前方領域（撮像領域）を撮像したときの補正画像データａ’を示し、（ｂ）は補正画像データａ’に対応する垂直視差図を直線近似処理した図を示す。 補正画像データａ’とその水平視差画像を示す概略図であり、上図は自車両に搭載された撮像部で自車両進行方向の前方領域（撮像領域）を撮像したときの補正画像データａ’を示し、下図は補正画像データａ’に対応する水平視差図を示す。 実施例１の画像処理装置で実施される画像処理の流れを示すフローチャートである。 実施例１のパターンマッチング部で実施されるパターンマッチング処理の流れを示すフローチャートである。 本願の実施例２に係る画像処理装置の立体物検出部の機能の詳細を示す機能ブロック図である。 図１１の追尾部の機能を説明するための機能ブロック図である。 実施例２の追尾部で実施される追尾処理の流れを示すフローチャートである。 実施例２のパターンマッチング部で行われるパターンマッチング処理の流れを示すフローチャートである。 同一物体判定部での処理の一例を説明するための説明図である。

（実施例１）
以下、本願に係る画像処理装置を備えた移動体制御システムを自車両に搭載した一実施例について、図面を参照しながら説明する。なお、本願に係る移動体制御システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。さらに、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。また、撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う画像解析装置に適用することもできる。図１は、実施例１における画像処理装置１を備える移動体制御システム５００を搭載した自車両４００の外観を示す概略図である。

この図１に示すように、実施例１の移動体制御システム５００は、撮像部としての撮像ユニット１００と、認識対象物検出手段としての画像処理装置１と、移動体制御手段としての車両制御ユニット３００と、を備えて構成される。撮像ユニット１００は、自動車等の移動体としての自車両４００に搭載され、その周囲、本実施例では、自車両進行方向の前方領域（撮像領域）の映像を撮像する。撮像ユニット１００で撮像された映像は、フレーム（コマ）ごとに、静止画像（撮像画像）として画像処理装置１に出力される。画像処理装置１は、撮像ユニット１００から出力される各フレームの撮像画像を解析して、撮像領域内に存在する歩行者等の認識対象物を検知し検知結果を出力する画像処理部としてのステレオ画像処理部２００を備えている。車両制御ユニット３００は、画像処理装置１での検知結果に基づいて、自車両４００の移動を制御する。

図２は、実施例１における画像処理装置１を備えた移動体制御システム５００の主要部を示すハードウェア構成図である。この図２に示すように、撮像ユニット１００は、撮像部としての２つのカメラ１０１Ａ，１０１Ｂ（カメラａ，ｂ）を備えたステレオカメラと、各カメラ１０１Ａ，１０１Ｂで撮像された撮像画像データに対して補正処理を行う画像補正部１１０と、を備えて構成されている。ステレオカメラの２つのカメラ１０１Ａ，１０１Ｂの構成は同一のものである。撮像ユニット１００は、例えば、図１に示すように、自車両４００のフロントガラス４１０のルームミラー（図示せず）付近に設置され、走行する自車両４００の進行方向の前方領域を撮像領域とする。

カメラ１０１Ａ，１０１Ｂは、図示はしないが、主に、撮像レンズ等の光学系と、受光素子が２次元配置された画素アレイで構成された画像センサと、画像センサから出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。なお、本実施例では、カメラ１０１Ａ，１０１Ｂの光学系の光軸は水平方向（横方向又は左右方向）に平行であるとし、水平方向の光軸に対して画素のラインは左右の画像について縦方向にずれていないものとする。ただし、本願がこれに限定されることはなく、カメラ１０１Ａ，１０１Ｂの光学系の光軸は縦方向に平行であってもよい。

画像補正部１１０は、各カメラ１０１Ａ，１０１Ｂから出力される撮像画像データ（以下、「画像データａ」、「画像データｂ」と呼ぶ）を、理想ピンホールモデルで得られる画像に変換するために、各種補正処理を行う。以下、この補正処理が行われた画像を、「補正画像データａ’」、「補正画像データｂ’」と呼ぶ。また、画像補正部１１０は、図２に示すように、カメラ１０１Ａ，１０１Ｂごとに、ＦＰＧＡ（Field-Programmable Gate Array）１１１Ａ，１１１Ｂおよびメモリ（記憶部）１１２Ａ，１１２Ｂが設けられている。ＦＰＧＡ１１１Ａ，１１１Ｂは、入力されるカメラ１０１Ａ，１０１Ｂからの画像データａ，ｂに対して、倍率補正、画像中心補正、歪補正等の補正処理を実行する。メモリ１１２Ａ，１１２Ｂには、その補正処理に用いる補正パラメータ等が格納されている。ＦＰＧＡ１１１Ａ，１１１Ｂから出力される補正処理後の撮像画像データ（補正画像データａ’，ｂ’）は、ステレオ画像処理部２００に送られる。なお、ＦＰＧＡ１１１Ａ，１１１Ｂに代えて、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）等を採用してもよい。

図２のハードウェア構成図に示すように、画像処理装置１のステレオ画像処理部２００は、ＦＰＧＡ２０１、メモリ（記憶部）２０２およびＣＰＵ（Central Processing Unit）２０３を備えている。ＦＰＧＡ２０１は、メモリ２０２に記憶された補正画像データａ’，ｂ’に対して視差画像データや輝度画像データ等の画像データ、認識処理結果像を出力するための画像処理を行う。メモリ２０２は、撮像ユニット１００から出力される補正画像データａ’，ｂ’（ 輝度画像データ）、視差画像データ等の画像データ、認識処理結果等を記憶するとともに、画像処理装置１で実行される認識対象物検出プログラム等を記憶する。ＣＰＵ２０３は、メモリ２０２に記憶されたコンピュータで読み取り可能な認識対象物検出プログラムに従って、各種演算処理を行うとともに、画像処理装置１のステレオ画像処理部２００の各部を駆動制御する。また、ＦＰＧＡ２０１、メモリ２０２も、ＣＰＵ２０３によって制御される。

ステレオ画像処理部２００は、撮像ユニット１００から入力される補正画像データａ’，ｂ’に対して画像処理を実行する。具体的には、２つの補正画像データａ’，ｂ’から得られる視差画像データや、２つの補正画像データａ’，ｂ’のうちの一方（基準画像）の輝度画像データなどを生成する処理や、パターンマッチングによる歩行者、車両等の認識対象物の検出処理などを行う。本実施例のステレオ画像処理部２００は、視差画像データや輝度画像データ等の画像データと、歩行者、車両等の検知結果（パターンマッチング結果）とを出力する。しかしながら、本願がこの実施例に限定されることはなく、例えば、検出結果等が入力される車両制御ユニット３００、その他の部における処理で、このような画像データが使用されない場合には、画像データは出力せずに検出結果のみ出力してもよい。また、本実施例では、補正画像データａ’を基準画像とし、補正画像データｂ’を比較画像とする。

図３は、ステレオ画像処理部２００の機能の詳細を示す機能ブロック図である。この図３に示すように、ステレオ画像処理部２００は、主に、視差演算部２１０と、垂直視差図作成部（垂直視差データ作成部）２２０と、路面位置検出部（移動面位置検出部）２３０と、水平視差図作成部（水平視差データ作成部）２４０と、立体物検出部（対象物検出部）２５０と、を備えて構成されている。

視差演算部２１０は、画像補正部１１０から出力される補正画像データａ’，ｂ’から視差画像データを生成する。この視差画像データを得るために、視差演算部２１０は、当該２つの補正画像間の対応画像部分の視差値を演算する。まず、補正画像データａ’，ｂ’の一方を基準画像データ（本実施例では補正画像データａ’）とし、他方を比較画像データ（本実施例では補正画像データｂ’）とする。ここでいう視差値とは、撮像領域内の同一地点に対応した基準画像データ（補正画像データａ’）上の画像部分に対する比較画像データ（補正画像データｂ’）上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

三角測量の原理を用いた距離の算出手順を、図６を用いて詳細に説明する。図６は、被写体（以下、「オブジェクト」と呼ぶ）ＯＪと、ステレオカメラ（カメラ１０１Ａ，１０１Ｂ）による撮像との関係を示す模式図である。図６中、符号１０２Ａ，１０２Ｂは、カメラ１０１Ａ，１０１Ｂの撮影レンズ系の撮像面を示す。１０３Ａ，１０３Ｂは、カメラ１０１Ａ，１０１Ｂの画像センサの撮像面を示す。また、符号ＯＪ’は画像センサの撮像面１０３Ａ，１０３Ｂに結像されたオブジェクトＯＪの像を示す。この図６に示すように、オブジェクトＯＪの撮像対象点Ｏは、カメラ１０１Ａ，１０１Ｂの撮影レンズ系の撮像面１０２Ａ、１０２Ｂにより、ＣＭＯＳ等の画像センサの撮像面１０３Ａ，１０３Ｂに結像される。

この撮影レンズ系の撮像面１０２Ａ，１０２Ｂの焦点距離をｆとし、撮影レンズ系の撮像面１０２Ａ，１０２Ｂの光軸間距離（基線長）をＤとし、カメラ１０１Ａ，１０１ＢからオブジェクトＯＪまでの距離をＺとし、結像中心からのずれ量をそれぞれΔ１、Δ２とする。視差（視差値）ｄは、下記式（１）を用いて算出することができる。なお、ずれ量Δ１、Δ２は、画像センサの撮像面１０３Ａ，１０３Ｂ上における撮像対象点Ｏの結像位置によって求まる。

ｄ＝Δ１＋Δ２ （１）

また、オブジェクトＯＪまでの距離Ｚは、下記式（２）を用いて算出することができる。

Ｚ＝Ｄ×（ｆ／ｄ） （２）

視差演算部２１０は、上記式（１）を用いて画素毎に視差を算出する。なお、視差演算部２１０において、上記式（２）を用いてオブジェクトＯＪの撮像対象点Ｏまでの距離まで算出してもよい。

視差演算部２１０により算出される視差画像データは、基準画像データ（補正画像データａ’）上の各画像部分について算出される視差値に応じた画素値を、それぞれの画像部分の画素値として表した視差画像を示すものである。視差演算部２１０が出力した視差画像データは、垂直視差図作成部２２０、水平視差図作成部２４０および立体物検出部２５０に送られる。また、視差演算部２１０が出力したオブジェクトＯＪの距離は、視差画像データとともに立体物検出部２５０に送られる。

垂直視差図作成部２２０は、視差演算部２１０から出力される視差画像データを用いて、横軸に視差値をとり、縦軸に画像垂直座標（画像上端を０とする。）をとった垂直視差図のデータを作成する。垂直視差図は、この画像垂直座標（縦軸）と視差値（横軸）とで定義される直交座標系において、視差画像の各画素値（視差値）を分布させたものである。この垂直視差図のデータは、路面位置検出部２３０に送られる。

図７（ａ）に基準画像データ（補正画像データａ’）の一例を、図７（ｂ）に垂直視差図の一例を示す。図７（ａ）に示す符号１０は、自車両４００に搭載された撮像ユニット１００で自車両進行方向の前方領域（撮像領域）を撮像したときの基準画像データ（ここでは、補正後の補正画像データａ’）の一例を示す。図７（ｂ）に示す符号２０は、この基準画像データに対応する垂直視差図のデータを直線近似処理した垂直視差図を示す。垂直視差図２０の横軸ｘは視差値（Disparity）であり、縦軸ｙは画像垂直座標（Vertical Axis）である。

路面位置検出部２３０は、垂直視差図作成部２２０が作成した垂直視差図のデータに基づいて、視差画像データ中の認識対象物の移動面である路面領域（路面ＲＳを映し出す領域）を検出する処理を行う。詳しく説明すると、カメラ１０１Ａ，１０１Ｂでは、自車両前方領域を撮像するため、撮像画像上の路面領域は、図７（ａ）に示すように、画像下部において路面領域の占有率が高い。また、視差画像データ上においては、画像上方へ向かうほど路面領域の視差値が略一定の割合で小さくなり、かつ、同じ画像垂直座標内（画像中の同じ横方向ライン上）において路面領域を構成する画素はほぼ同じ視差値を持つことになる。したがって、主に視差画像データ中の画像下部において路面領域を構成する画素は、垂直視差図上では、右下がりの直線状に分布するという特徴がある。路面位置検出部２３０は、この特徴に合致する画素を検出するため、垂直視差図上に分布した画素の中で右下がりの直線近傍に分布する画素（図７（ｂ）に示す右下がりの直線に近似される画素）を、撮像領域内における路面ＲＳを映し出す画素（路面領域を構成する画素）であると検出する。また、図７（ｂ）には、他車両Ａ，Ｂ，Ｃに対応する画素も示している。他車両等の物体（以下、「立体物」ということがある）は、所定の高さを有しているが、垂直方向での視差値がほとんど変わらないため、ほぼ垂直な直線で表される。

路面位置検出部２３０は、さらに、上記で検出した路面ＲＳの路面高さｈを出力する。この路面高さｈは、ステレオカメラからの距離（ｘ座標）に対する路面の高さ（ｙ座標）である。具体的には、図７（ｂ）の垂直視差図２０に示すように、ステレオカメラからの距離ｘ10（具体的には、例えば、距離１０ｍ）における路面高さｈは、ｈ10となる。また、距離がｘ20（具体的には、例えば、距離２０ｍ）における路面高さｈは、ｈ20となる。

水平視差図作成部２４０では、視差演算部２１０から出力される視差画像データを用いて、横軸に画像水平座標（画像左端を「０（原点）」とする。）をとり、縦軸に視差値をとった垂直視差図のデータを作成する。この水平視差図のデータを作成するとき、水平視差図作成部２４０は、路面位置検出部２３０から出力される路面高さｈを利用して、路面から「Δｈ」だけ高い路面付近の水平視差図、つまり、高さ「ｈ−Δｈ（ｈ10−Δｈ，ｈ20−Δｈ，・・・）」の水平視差図を作成する。路面からの高さ「Δｈ」、「ｈ−Δｈ（ｈ10−Δｈ，ｈ20−Δｈ）」の位置は、図７（ｂ）に例示したとおりである。なお、画像左端を原点としているため、路面から「Δｈ」だけ高い位置のｙ座標は、「ｈ−Δｈ（Δｈ＞０）」となる。

また、この路面からの高さ「Δｈ」は、建物や電柱等を排除して、撮影対象となる認識対象物（例えば、車両、歩行者等）が検出できる高さに設定する。「Δｈ」の実寸法としては、約１５ｃｍ〜１００ｃｍとするのが好適である。また、路面からの高さ「Δｈ」は、１つに限定されることはなく、数種類の路面からの高さ「Δｈ１」、「Δｈ２」、・・・を設定して、他車両用の水平視差図、歩行者用の水平視差図等、認識対象物ごとに水平視差図をそれぞれ作成してもよい。

図８に、補正画像データａ’１０と、この水平視差図作成部２４０により作成された、補正画像データａ’１０に対応する水平視差図３０とを示す。この図８に示すように、路面ＲＳ上の立体物部分（図８の水平視差図３０の場合は、他車両Ａ，Ｂ，Ｃ、側面のガードレール等）に視差が出る。画像上の手前（近距離）の立体物の視差は大きく、画像の奥（遠距離）の立体物の視差は小さく出ている。

立体物検出部２５０は、水平視差図作成部２４０から出力された水平視差図のデータと、視差演算部２１０から出力された視差画像データと、画像補正部１１０から出力された補正画像データａ’（輝度画像データ）とに基づいて、輝度画像データ中の認識対象物（例えば、車両、歩行者等）を検出する。以下、図４を用いて立体物検出部２５０について詳細に説明する。図４に示すように、立体物検出部２５０は、認識対象物検出部２５１と、パターン認識部２５２と、を備えて構成されている。また、パターン認識部２５２は、認識対象物領域輝度画像抽出部２５３と、パターンマッチング部２５４と、を備えて構成されている。

認識対象物検出部２５１は、水平視差図作成部２４０からの水平視差図３０（図８の下図参照）において、視差演算部２１０で算出された視差値ｄを参照し、同一視差値ｄを持つ点の集まっている部分の水平座標を抽出する。この同一視差値ｄを持つ点の集まっている部分は、認識対象物の候補となり得る物体が映し出されている部分である。このとき、同一視差値ｄを持つ点の集まっている部分の横幅が、予め設定した認識対象物の横幅サイズ（人物の横幅、車幅等）に該当するものだけを抽出してもよい。この同一視差値ｄを持つ点の集まっている部分の横幅は、前述の式（１）、（２）を用いて算出することができる。このように抽出した水平座標部分の視差画像に注目し、同一視差値ｄが分布する領域サイズを把握する。この領域サイズが、予め設定した認識対象物のサイズに該当するか否かを判定し、該当する物体だけを、認識対象物として検出する。このようにして検出した認識対象物について、認識対象物検出部２５１は、検出結果として、その物体の少なくとも位置座標（視差画像上のｘ，ｙ座標）を出力する。このとき、物体を構成する画素の位置座標を全て出力する必要はなく、例えば、物体を囲む領域の重心座標等が出力される。

また、認識対象物検出部２５１では、この位置座標の他に、検出した物体のサイズから判断した認識対象物の種類、例えば、車両、歩行者を出力してもよい。この場合、車両サイズ、歩行者サイズを予め定義（記憶）しておくことで、検出した物体の種類を容易に判別することができる。このように、検出結果の一つとして、認識対象物の種類を出力することで、この種類を以下のように利用することができる。例えば、認識対象物の種類が車両である場合、後述のパターン認識部２５２によるパターンマッチング処理において、車両に対応するパターン画像のみと照合すればよい。同様に、認識対象物の種類が歩行者である場合、歩行者に対応するパターン画像のみと照合すればよい。そのため、パターンマッチング処理を、より効率的かつより迅速に行うことが可能となる。

パターン認識部２５２の認識対象物領域輝度画像抽出部２５３には、認識対象物検出部２５１が出力した認識対象物の検出結果と、画像補正部１１０が出力した補正画像データａ’（輝度画像データ）が入力される。認識対象物領域輝度画像抽出部２５３は、これらの入力データに基づいて、認識対象物の位置座標で表される領域に対応する補正画像を抽出し、認識対象物領域輝度画像（認識対象物の候補となる物体の輝度画像）として出力する。

この認識対象物領域輝度画像は、パターン認識部２５２のパターンマッチング部２５４に入力される。パターンマッチング部２５４では、入力された認識対象物領域輝度画像と、メモリ２０２の辞書（後述の動的辞書２５８または静的辞書２５９）に登録された特徴量としてのパターン画像とを照合（パターンマッチング）する。照合の結果、これらが一致した場合は、パターンマッチング結果（検知結果）として、少なくとも認識対象物の輝度画像上での位置座標を出力する。また、パターンマッチング結果（検知結果）として、位置座標の他に、認識対象物の種類、例えば、車両、歩行者を出力してもよい。なお、本明細書でいう「一致」とは、厳密な一致に限定されず、ほぼ一致したことも含む意味である。すなわち、認識対象物の候補である認識対象物領域輝度画像が、メモリ２０２の辞書に登録された特徴量としてのパターン画像に「相当」すると認識できれば足りる。

以下、図５を用いてパターンマッチング部２５４の詳細を説明する。図５に示すように、パターンマッチング部２５４は、動的パターンマッチング部２５５と、静的パターンマッチング部２５６と、パターン画像登録・削除部２５７と、第１の特徴量記憶部としての静的辞書２５９と、第２の特徴量記憶部としての動的辞書２５８と、履歴保持部２６０と、を備えている。また、動的辞書２５８、静的辞書２５９、および、履歴保持部２６０は、メモリ２０２上にその記憶領域が確保されている。

静的辞書２５９には、移動体制御システム５００内等に予め保持していた車両、人物（歩行者、自転車、バイク等に乗っている人物等）のような認識対象物に対応する様々なパターン画像（テンプレート画像）が、特徴量として格納（登録）される。この静的辞書２５９へのパターン画像の格納は、自車両４００のエンジン駆動や、移動体制御システム５００への電源投入等によって画像処理装置１が起動したタイミングで行われる。この静的辞書２５９に登録されるパターン画像として、例えば、車両の場合は、国内外の様々な車種のパターン画像が挙げられる。また、人物の場合は、子供、大人、老人等の年齢別、身長別、男女別の等による歩行者の全体像を示すパターン画像が挙げられる。また、ガードレール等の遮蔽物に一部隠れた歩行者を検知するのに好適なことから、頭部、胴部、脚部等、歩行者の一部に対応するパターン画像や、歩行者の向き（例えば、横向き、正面向き等）に対応するパターン画像等も挙げられる。また、自転車、バイク等の二輪車、車椅子等に乗る歩行者に対応するパターン画像等も挙げられる。本実施例においては、第１の特徴量記憶部である静的辞書２５９がステレオ画像処理部２００内に存在する構成としているが、これに限らず、例えば静的辞書２５９は外部に設置し、ステレオ画像処理部２００がネットワーク経由でデータ（パターン画像）を取得する構成であってもよい。

動的辞書２５８には、画像処理装置１により検出された認識対象物と一致したパターン画像が、特徴量として一時的に格納（登録）される。動的辞書２５８に対して、自車両４００のエンジン駆動や、移動体制御システム５００への電源投入等によって画像処理装置１が起動したタイミングで初期化（データクリア）処理が行われる。その後の画像処理で、認識対象物が検出されるたびに、動的辞書２５８に、当該認識対象物に対応するパターン画像が登録される。または、画像処理装置１での処理全体を終了するタイミングで、動的辞書２５８の初期化を行ってもよい。

このような動的辞書２５８と静的辞書２５９との間で、パターン画像の移動が行われる。つまり、後述するパターンマッチング処理で、静的辞書２５９に登録されているパターン画像と、認識対象物領域の輝度画像のパターンとが一致して、認識対象物であると判定されたとする。この場合、当該パターン画像は、動的辞書２５８に登録（移動）され、静的辞書２５９から削除される。これに対して、動的辞書２５８に登録されているパターン画像に対応する認識対象物が、その後のフレームで連続して検出されなかった場合、当該パターン画像は、静的辞書２５９に登録され（戻され）、動的辞書２５８から削除される。なお、本実施例においては、静的辞書２５９からパターン画像が削除される構成としているが、保持したままにしていてもよい。ただし、削除される構成の方が、より迅速な処理に寄与する。

なお、静的辞書２５９および動的辞書２５８では、認識対象物の種類に関係なく、例えば、サイズ順にパターン画像を登録してもよいが、認識対象物の種類ごとに分類してパターン画像を登録するようにしてもよい。このように、認識対象物の種類を検出結果として出力する場合、この種類に対応したパターン画像群のみと認識対象物とのパターンマッチング処理を行えばよく、より迅速かつ効率的に処理を行うことが可能となる。

履歴保持部２６０には、動的パターンマッチング部２５５での照合結果が記憶される。処理対象のフレームにおいて抽出された認識対象物領域輝度画像（つまり、認識対象物の候補となる物体の輝度画像）と、動的辞書２５８のパターン画像との照合結果（パターンマッチング結果）が登録される。この照合結果として、履歴保持部２６０には、動的辞書２５８のパターン画像と認識対象物とが一致したことを示す一致情報が、当該パターン画像と関連付けられて登録されている。当該パターン画像が、以降のフレームの認識対象物領域輝度画像と再度一致した場合には、複数回一致したことが履歴保持部２６０に登録される。

各パターン画像について、過去のフレームの認識対象物領域輝度画像に表示される物体と一致しない状態が、複数フレーム連続していた場合、このパターン画像は動的辞書２５８から静的辞書２５９に移動される。また、このパターン画像に対応する履歴保持部２６０のデータ（一致情報）も初期化される。このように、パターン画像と認識対象物とが一致しない状態が複数フレーム連続する場合は、当該パターン画像に対応する認識対象物が、もはや撮像領域に存在せず、以降のフレームの撮像画像に撮像されない可能性が高い。このようなパターン画像を動的辞書２５８から削除することで、パターンマッチング処理で照合する動的辞書２５８のパターン画像を削減して、パターンマッチング処理を、より効率的に行うことが可能となる。

また、履歴保持部２６０の一致情報は、パターン画像が過去のフレームと一致したか否かが解ればよく、特に限定されることはない。例えば、履歴保持部２６０として、パターン画像ごとに、メモリ２０２等に５ビットの記憶領域を確保しておく。この５ビットの記憶領域で５フレーム分の一致または不一致情報を記憶する構成とする。ビットには、「１」または「０」が設定されるが、「１」は一致したことを示し、「０」は一致しなかったこと（不一致）を示す。例えば、動的辞書２５８の当該パターン画像と認識対象物とが、１フレーム目で一致した場合は、１ビット目に「１」を設定し、２フレーム目では不一致である場合は、２ビット目に「０」を設定する。このようにして、過去フレームでのパターン画像と認識対象物との一致または不一致情報を確認する。以上により、一致していないフレームが連続しているか否かをより明確に判別することができ、パターン画像の移動処理やパターンマッチング処理を効率的に行うことが可能となる。なお、実施例１では、後述のように一致しない状態が３フレームまたは４フレーム連続しているか否かを判断しているため、履歴保持部２６０では、５フレーム分の一致または不一致情報を記憶するようにしている。しかし、本願が実施例１の構成に限定されることはなく、一致しない状態を判定するフレーム数に応じたビット数とすることが好ましい。また、実施例１では、動的辞書２５８と履歴保持部２６０とを別個に設け、動的辞書２５８に登録されるパターン画像と関連付けて履歴保持部２６０に一致情報を登録している。しかし、本願が実施例１の構成に限定されることはなく、これによれば、動的辞書２５８に、一致情報を登録する領域を設けてもよく、動的辞書２５８のパターン画像および一致情報の読み出しや登録を迅速に行うことが可能となる。

動的パターンマッチング部２５５は、認識対象物領域輝度画像抽出部２５３から入力される認識対象物領域輝度画像と、動的辞書２５８に記憶されたパターン画像とを照合（パターンマッチング）する。この動的パターンマッチング部２５５での照合の結果、認識対象物領域輝度画像とパターン画像とが一致する場合、当該認識対象物領域輝度画像が、認識対象物であるとして、パターンマッチング結果（検知結果）を出力する。このパターンマッチング結果として、少なくとも認識対象物の位置座標を出力する。また、先に認識対象物検出部２５１で認識対象物のサイズから判断した認識対象物の種類、例えば、車両、歩行者を出力している場合、動的パターンマッチング部２５５でも、位置座標とともに、認識対象物検出部２５１からの認識対象物の種類を出力してもよい。

静的パターンマッチング部２５６は、認識対象物領域輝度画像抽出部２５３から入力される認識対象物領域輝度画像と、静的辞書２５９に予め記憶されているパターン画像とを照合（パターンマッチング）する。この静的パターンマッチング部２５６による照合は、動的パターンマッチング部２５５での照合で、物体と動的辞書２５８のパターン画像とが一致しなかった場合に実行される。そして、静的パターンマッチング部２５６での照合で、物体と静的辞書２５９のパターン画像とが一致した場合は、認識対象物の位置座標がパターンマッチング結果として出力されるとともに、一致フラグ（図示せず）に「１」が設定される。この一致フラグは、メモリ２０２中に設けてもよいし、パラメータとしてパターン画像登録・削除部２５７に受け渡してもよい。また、静的パターンマッチング部２５６でも、パターンマッチング結果として、位置座標とともに、認識対象物の種類を出力してもよい。

パターン画像登録・削除部２５７は、静的辞書２５９と動的辞書２５８の間でパターン画像のやり取り（移動）を行う。パターン画像登録・削除部２５７には、静的パターンマッチング部２５６が出力した一致フラグが入力される。この一致フラグが「１」の場合、パターン画像登録・削除部２５７は、静的パターンマッチング部２５６で使用したパターン画像（認識対象物と一致したパターン画像）を、動的辞書２５８に登録する。また、静的辞書２５９から、当該パターン画像を削除する。さらに、動的辞書２５８に登録したパターン画像に対応する履歴保持部２６０の領域を初期化、すなわち、当該パターン画像の一致情報を履歴保持部２６０から削除する。これに対して、一致フラグが「０」の場合、パターン画像登録・削除部２５７は何も行わずに処理を終了する。

パターン画像登録・削除部２５７は、さらに、履歴保持部２６０に記憶された一致情報を参照して、一致しないフレームが連続しているパターン画像を動的辞書２５８から削除し、静的辞書２５９に登録する（戻す）。これは、連続したフレームで同一の物体（認識対象物）が存在しないとき、その物体（認識対象物）が認識したい領域から外れたと考えて、優先的に照合する動的辞書２５８のパターン画像から削除するためである。これにより、認識対象物領域輝度画像と照合する動的辞書２５８のパターン画像を削減することができ、パターンマッチング処理をより迅速に行うことが可能となる。なお、連続で続くとは、例えば、３フレームでも、４フレームでもよく、実験的に調整する。

車両制御ユニット３００は、画像処理装置１のステレオ画像処理部２００からの検出結果に基づいて、自車両４００の移動を制御する。この車両制御ユニット３００には、ステレオ画像処理部２００から、認識対象物の検知結果（パターンマッチング結果）が、画像データ（例えば、補正画像データａ’）とともに逐次入力される。これらの情報に基づいて、車両制御ユニット３００では、例えば、自車両４００が歩行者や他車両等の認識対象物に衝突することを回避するための自動ブレーキ機能、ハンドル操舵機能等を実現する。また、必要に応じて、歩行者や他車両等の存在をモニタ画面に表示したり、警告音やアナウンス等を発したりする等により、歩行者や他車両等の存在をドライバーに警告する機能を実現する。これにより、歩行者や他車両等への衝突等の回避効果を向上させることができる。

［認識対象物検出方法］
以下、上記画像処理装置１を用いた歩行者、他車両等の認識対象物検出処理（認識対象物検出方法）の流れについて、図９、図１０に示すフローチャートを参照しながら説明する。図９は、実施例１の画像処理装置１で実施される画像処理の流れを示すフローチャートである。図１０は、実施例１のパターンマッチング部２５４で実施されるパターンマッチング処理の流れを示すフローチャートである。

画像処理装置１による画像処理は、撮像ユニット１００で撮像されるフレームごとに実行される。撮像ユニット１００からは、フレームごとに撮像画像が画像処理装置１に入力される。まず、画像処理装置１では、撮像ユニット１００の画像補正部１１０は、各カメラ１０１Ａ，１０１Ｂからの画像データａ，ｂの入力を受け付ける（ステップＳ１）。画像補正部１１０は、この画像データａ，ｂに対して、倍率補正、画像中心補正、歪補正等の画像補正処理を行い（ステップＳ２）、ステレオ画像処理部２００に向けて補正画像データａ’，ｂ’を出力する。図７（ａ）に、補正画像データａ’１０の一例を示す。

ステレオ画像処理部２００では、この補正画像データａ’，ｂ’の入力を受け付ける（ステップＳ３）。ステレオ画像処理部２００で入力を受け付けた補正画像データａ’，ｂ’は、視差演算部２１０へ送られる。視差演算部２１０では、まず、入力された基準画像データとしての補正画像データａ’を用いて、その基準画像データ上の各画素についての視差値を演算して、その視差値を画素値としてもつ視差画像を生成可能な視差画像データを計算（生成）する（ステップＳ４）。視差画像は、各画素の画素値が、視差値が大きいほど（距離が近いほど）、大きな値（高い画像輝度）を持つように表現される。

視差画像のデータ生成処理としては、例えば、次のような処理を採用することができる。まず、基準画像データ（補正画像データａ’）の任意の行について、一の注目画素を中心とした複数画素（例えば５画素×５画素）からなるブロックを定義する。一方、比較画像データ（補正画像データｂ’）における当該注目画素と同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（画像左右方向）へずらす。そして、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。次に、算出した相関値に基づき、比較画像データにおける各ブロックの中で、基準画像データのブロックと最も相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域または特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができる。相関値としては、例えば、基準画像データ（補正画像データａ’）のブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データ（補正画像データｂ’）のブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。

このようにして生成された視差画像データは、垂直視差図作成部２２０、水平視差図作成部２４０および立体物検出部２５０に送られる。まず、垂直視差図作成部２２０では、この視差画像データに基づいて、上述したように、垂直視差図の作成処理を行う（ステップＳ５）。図７（ｂ）に、基準画像データ（補正画像データａ’）１０に対応する垂直視差図２０の一例を示す。この垂直視差図２０のデータは、路面位置検出部２３０に送られる。

路面位置検出部２３０では、垂直視差図作成部２２０が作成した垂直視差図のデータに基づいて、上述したように、視差画像データ中の路面領域を検出して、路面ＲＳの位置（路面高さｈ）の検出処理を行う（ステップＳ６）。この路面高さｈは、水平視差図作成部２４０に送られる。水平視差図作成部２４０では、視差演算部２１０からの視差画像のデータおよび路面位置検出部２３０からの路面高さｈに基づいて、上述したように路面の高さｈ−Δｈの水平視差図の作成処理を行う（ステップＳ７）。この水平視差図のデータは、立体物検出部２５０に送られる。

立体物検出部２５０では、水平視差図作成部２４０から出力された水平視差図のデータ、視差演算部２１０からの視差画像データおよび画像補正部１１０からの補正画像データａ’に基づいて、水平視差図のデータ中の認識対象物（例えば、他車両、歩行者等）の検出処理を行う（ステップＳ８）。

このステップＳ８の処理を詳細に説明すると、まず、認識対象物検出部２５１が、水平視差図作成部２４０からの水平視差図３０と、視差演算部２１０からの視差画像データに基づいて、認識対象物の検出処理を行う（ステップＳ８１）。この認識対象物の検出処理では、前述したように、水平視差図３０（図８の下図参照）において、視差演算部２１０で算出された視差値ｄを参照し、同一視差値ｄを持つ点の集まっている部分の水平座標を抽出する。そして、認識対象物の検出結果として、認識対象物検出部２５１は、検出したすべての物体（認識対象物の候補となるもの）についての位置座標（視差画像上のｘ，ｙ座標）を出力する。また、必要に応じて、この位置座標の他に、検出した物体（認識対象物）のサイズ（横幅）から判断した、当該物体の種類、例えば、車両、歩行者を出力する。

このような物体（認識対象物）の検出のため、物体の横幅、すなわち、視差画像中で物体を示す直線の長さを算出する。この直線の長さを取得するには、まず、当該直線に係る物体の視差平均値から、当該物体と自車両４００との距離を、前述の図６および式（１）、（２）を用いて説明したように、三角測量の原理を用いて算出する。そして、算出した距離に基づいて、立体物の上下方向の長さを、実寸法に換算する。

また、物体の視差画像上でのサイズｓとこれに対応する物体の実サイズＳとの関係は、下記式（３）に示すとおりである。この式（３）を実サイズＳについて解くと、下記式（４）が得られる。この式（４）より、物体の実サイズＳを計算することができる。下記式（３）、（４）中、ｆは、撮影レンズ系の撮像面１０２Ａ，１０２Ｂの焦点距離を、Ｚは、物体までの距離を示す。

Ｓ ： Ｚ ＝ ｓ ： ｆ （３）
Ｓ ＝ ｓ × Ｚ ／ ｆ （４）

上述のようにして得られた直線（物体）の長さが、予め設定した認識対象物のサイズに該当するか否かを判定し、該当するものだけについて、その位置座標（視差画像上のｘ，ｙ座標）を、認識対象物の検出結果として出力する。この認識対象物の検出結果は、認識対象物領域輝度画像抽出部２５３に入力される。

認識対象物の検出が完了すると、次に、パターン認識部２５２の認識対象物領域輝度画像抽出部２５３により、認識対象物領域の輝度画像の抽出処理が行われる（ステップＳ８２）。この処理は、認識対象物検出部２５１から入力される認識対象物の検出結果と、画像補正部１１０から入力される補正画像データａ’（輝度画像データ）とに基づいて行われる。具体的には、認識対象物領域輝度画像抽出部２５３は、認識対象物の検出結果である認識対象物の位置座標に基づいて、その座標領域に対応する補正画像（輝度画像）を、補正画像データａ’（輝度画像データ）から抽出する。この抽出した補正画像を、認識対象物領域輝度画像として出力する。この認識対象物領域輝度画像のデータは、パターンマッチング部２５４に入力される。

パターン認識部２５２のパターンマッチング部２５４では、認識対象物領域輝度画像抽出部２５３から入力された認識対象物領域輝度画像に基づいて、パターンマッチング処理が行われる（ステップＳ８３）。このステップＳ８３のパターンマッチング処理の詳細を、図１０のフローチャートを用いて、以下に説明する。

＜パターンマッチング処理＞
パターンマッチング部２５４では、認識対象物領域輝度画像のデータの入力を受け付ける（ステップＳ８３１）。ここでは、処理対象のフレームで検出されたすべての物体についての認識対象物領域輝度画像のデータが入力されてくる。パターンマッチング部２５４では、まず、動的辞書２５８を用いた照合を効率的に行うため、動的辞書２５８のパターン画像を整理（削除）する処理を行う。具体的には、動的パターンマッチング部２５５が、動的辞書２５８のすべてのパターン画像に対して、対応する履歴保持部２６０のデータを参照して、過去に一致しないフレームが連続しているか否かを判定する。この場合、パターン画像ごとに対応する履歴保持部２６０のデータを参照して、例えば、一致しないフレーム数が３フレームまたは４フレーム連続した場合に、連続していると判定する。そして、過去に一致しないフレームが連続しているパターン画像が存在するか否かを判定する（以上、ステップＳ８３２）。このステップＳ８３２の判定で、過去に一致しないフレームが連続しているパターン画像が存在する（Ｙｅｓ）と判定された場合は、パターン画像登録・削除部２５７が、該当するパターン画像を動的辞書２５８から静的辞書２５９へ移動する。さらに、移動したパターン画像に対応する履歴保持部２６０のデータを初期化する（以上、ステップＳ８３３）。その後、ステップＳ８３４に進む。一方、ステップＳ８３２で、過去に一致しないフレームが連続しているパターン画像が存在しない（Ｎｏ）と判定された場合は、ステップＳ８３３をスキップしてステップＳ８３４に進む。

以上のように、過去に一致しないフレームが連続しているパターン画像は、パターンマッチング処理の前に、動的辞書２５８から静的辞書２５９に移動される。これにより、後述のステップＳ８３４で認識対象物領域輝度画像との照合に用いる動的辞書２５８のパターン画像を削減することができる。そのため、動的辞書２５８を用いたパターンマッチング処理を、より迅速かつ効率的に実行することが可能となる。なお、実施例１では、動的辞書２５８から静的辞書２５９への移動を、フレームごと（撮像画像ごと）に行っている。この場合でも、履歴保持部２６０を参照して、所定のフレーム数で一致していないもののみ移動を行うため、移動処理を効率的に行うことができ、パターンマッチングの処理効率への影響を抑制することができる。しかしながら、本願が実施例１に限定されることはなく、数フレームごとに一回、または、所定期間ごとに一回、これらの処理を行うようにしてもよく、処理効率をより向上させることができる。

次に、ステップＳ８３４〜Ｓ８４０の動的辞書２５８のパターン画像との照合処理、必要に応じて静的辞書２５９のパターン画像との照合処理、検知結果の出力処理を実施する。これらの処理は、ステップＳ８２の認識対象物領域輝度画像抽出処理で抽出されたすべての認識対象物領域輝度画像について、順次実施する。まず、ステップＳ８３４では、動的パターンマッチング部２５５が、認識対象物領域輝度画像と動的辞書２５８に登録されているパターン画像とを照合（パターンマッチング）する。この照合の際は、動的辞書２５８からパターン画像を一つずつ取り出し、認識対象物領域輝度画像と照合していく。そして、認識対象物領域輝度画像と動的辞書２５８のいずれかのパターン画像とが一致したか否かを判定し（ステップＳ８３５）、一致した場合（Ｙｅｓ）は、ステップＳ８３７に進む。このステップＳ８３７では、一致したパターン画像に対応する履歴保持部２６０の領域に、一致したことを登録（記憶）する。その後、ステップＳ８４０に進み、動的辞書２５８のパターン画像との照合により、認識対象物であると判定された当該認識対象物領域輝度画像の物体について、その位置座標をパターンマッチング結果（検知結果）として出力する。そして、次の認識対象物領域輝度画像について、ステップＳ８３４以降の処理を行うが、すべての認識対象物領域輝度画像に対して処理が終わっている場合には、パターンマッチング処理を終了する。なお、パターンマッチング結果として、位置座標の他に、認識対象物の種類等を出力してもよく、パターンマッチング結果に基づいて車両制御を行う車両制御ユニット３００で実施される処理のバリエーションを広げることや、処理精度を高めることが可能となる。

なお、前述したように、動的辞書２５８には、画像処理装置１により検出された認識対象物と静的辞書２５９のパターン画像とが一致したときに、当該パターン画像が登録される。そのため、エンジン駆動等により画像処理装置１が起動した後の最初のフレームの撮像画像に対する画像処理を行うときには、動的辞書２５８にはパターン画像が登録されていない。そのため、最初のフレームに対する画像処理を行う場合には、ステップＳ８３２〜Ｓ８３３の動的辞書２５８のパターン画像の削除、ステップＳ８３４〜Ｓ８３５の動的辞書２５８との照合をスキップし、ステップＳ８３６の静的辞書２５９との照合を行ってもよい。これにより、処理効率をより向上させることができる。また、自車両４００の走行当初は、他車両や歩行者等が存在せず、数フレーム目で初めて認識対象物となり得る物体が検出されるような場合等も同様に、動的辞書２５８にパターン画像が登録されていない場合がある。この場合も、処理効率の向上のため、ステップＳ８３２〜Ｓ８３５をスキップし、ステップＳ８３６に進んでもよい。

一方、ステップＳ８３４で、すべての動的辞書２５８のパターン画像と認識対象物領域輝度画像とを照合したが、一致するパターン画像がなかった場合（ステップＳ８３５の判定がＮｏ）には、ステップＳ８３６に進む。このステップＳ８３６では、認識対象物領域輝度画像と、認識対象物のあらゆるパターン画像が登録された静的辞書２５９のパターン画像との照合（パターンマッチング）を行う。この場合も、静的辞書２５９からパターン画像を一つずつ取り出し、認識対象物領域輝度画像と照合していく。そして、認識対象物領域輝度画像と静的辞書２５９のいずれかのパターン画像とが一致したか否かを判定し（ステップＳ８３８）、一致した場合（Ｙｅｓ）は、静的パターンマッチング部２５６は、一致フラグに「１」を設定し、次のステップＳ８３９に進む。

このステップＳ８３９では、パターン画像登録・削除部２５７が、一致フラグ「１」の入力を受けて、一致したパターン画像を静的辞書２５９から動的辞書２５８に移動する。さらに、一致したパターン画像に対応する履歴保持部２６０の領域に、一致したことを登録（記憶）する。その後、ステップＳ８４０に進み、静的辞書２５９のパターン画像との照合により、認識対象物であると判定された当該認識対象物領域輝度画像の物体について、その位置座標をパターンマッチング結果（検知結果）として出力する。この場合も、パターンマッチング結果として、位置座標の他に、必要に応じて認識対象物の種類等を出力する。そして、次の認識対象物領域輝度画像について、ステップＳ８３４以降の処理を行うが、すべての認識対象物領域輝度画像に対して処理が終わっている場合には、パターンマッチング処理を終了する。

一方ステップＳ８３６で、すべての静的辞書２５９のパターン画像と認識対象物領域輝度画像とを照合したが、一致するパターン画像がなかった場合（ステップＳ８３８の判定がＮｏ）には、当該認識対象物領域輝度画像は、認識対象物ではないことがわかる。そのため、パターンマッチング結果（検知結果）として、認識対象物なし（パターンマッチング結果なし）を出力し（ステップＳ８４０）、次の認識対象物領域輝度画像について、ステップＳ８３４以降の処理を行う。または、何も出力することなく、次の認識対象物領域輝度画像の処理を行うようにしてもよい。すべての認識対象物領域輝度画像に対して処理が終わっている場合は、パターンマッチング処理を終了する。

なお、上記説明では、認識対象物領域輝度画像ごとに動的辞書２５８または静的辞書２５９のパターン画像との照合と、パターンマッチング結果の出力とを行っているが、本願が実施例１の形態に限定されることはない。例えば、まず、当該フレームで検出されたすべての認識対象物領域輝度画像について個々に照合までを行う。そして、最後に、すべての認識対象物領域輝度画像について、まとめてパターンマッチング結果を出力するようにしてもよい。以降の実施例２でも同様である。

以上のような流れで、画像処理装置１のステレオ画像処理部２００での認識対象物の検出処理が実行される。画像処理装置１での認識対象物の検知結果（パターンマッチング結果）は、必要に応じて画像データとともに、車両制御ユニット３００等に向けて出力される。車両制御ユニット３００では、これらのデータに基づいて、例えば、自動ブレーキ機能、ハンドル操舵機能等を実行することにより、自車両４００を制御し、自車両４００が歩行者や他車両等の認識対象物に衝突するのを回避する。また、認識対象物のモニタへの表示や音等による警告等により、運転者に対して認識対象物の存在を喚起する。

以上、実施例１の画像処理装置１では、認識対象物を検出するためのパターンマッチングを行う際に、まず、過去のフレームで検出された認識対象物に対応するパターン画像が登録された動的辞書２５８と照合している。この動的辞書２５８のパターン画像のいずれかと一致した場合は、静的辞書２５９のパターン画像との照合を行う必要がなく、パターンマッチング処理が完了する。そして、動的辞書２５８のパターン画像と一致しないときのみ、静的辞書２５９のパターン画像との照合を行っている。したがって、動的辞書２５８のパターン画像との照合が一致すれば、静的辞書２５９の大量のパターン画像との照合を省くことができ、処理時間を短縮することができる。このように、迅速に認識対象物を検出することができる分、認識対象物との衝突を回避する等、車両制御ユニット３００での認識対象物への対応を、より迅速に行うことが可能となる。

また、動的辞書２５８のパターン画像との照合を行う前に、過去のフレームで一致しなかったパターン画像を動的辞書２５８から削除している。そのため、動的辞書２５８のパターン画像との照合を削減することができ、画像処理装置１での処理効率をより向上させることができる。

（実施例２）
次に、実施例２に係る画像処理装置について、図１１〜図１４を用いて説明する。図１１は、実施例２の画像処理装置における、立体物検出部２５０Ａの機能構成を示す機能ブロック図である。図１２は、追尾部２７０の機能構成を示す機能ブロック図である。図１３は、追尾処理の流れを示すフローチャートであり、図１４は、パターンマッチング処理の流れを示すフローチャートである。図１５は、追尾部２７０の同一物体判定部２７４での処理の一例を説明するための説明図であり、物体ｏｊのＸ，Ｙ座標における明度を示す。実施例２の画像処理装置は、図１１に示すように、追尾部２７０をさらに備えたこと以外は、実施例１の画像処理装置１と同様の基本構成を有している。そのため、実施例１と同様の構成については、同一の符号を付し、詳細な説明は省略する。なお、認識対象物領域輝度画像抽出部２５３とパターンマッチング部２５４とからなるパターン認識部２５２は、実施例１と同様の構成であるため、実施例１と同一の符号を付している。ただし、追尾部２７０からの追尾結果等が新たに入力されることから、各部での処理の内容が実施例１とは異なる。この処理の詳細は後述する。また、パターンマッチング部２５４に備えられた動的辞書２５８および静的辞書２５９には、パターン画像ごとに、後述のＩＤ番号を登録する領域が設けられている。

追尾部２７０は、図１１に示すように、認識対象物検出部２５１と認識対象物領域輝度画像抽出部２５３との間に位置する。追尾部２７０には、認識対象物検出部２５１からの認識対象物の検出結果が入力される。追尾部２７０は、この検出結果に基づいて、認識対象物領域輝度画像の物体が、追尾すべき物体であるか否かを判定し、認識対象物領域輝度画像抽出部２５３に対して、追尾結果を出力する。なお、追尾すべき物体でない場合は、認識対象物検出部２５１からの検出結果をそのまま出力する。追尾結果には、認識対象物の識別子としての固有番号（以下、「ＩＤ番号」と呼ぶ）が含まれる。追尾結果または検出結果を入力された認識対象物領域輝度画像抽出部２５３は、認識対象物領域輝度画像を出力するが、追尾結果が入力された場合は、ＩＤ番号付きの認識対象物領域輝度画像を出力する。

追尾部２７０は、図１２に示すように、過去フレーム検出結果読み書き部２７１と、過去フレーム検出結果保持部２７１ａと、領域予測部２７２と、予測領域内検出部２７３と、同一物体判定部２７４と、選択部２７５と、を備えて構成される。過去フレーム検出結果保持部２７１ａは、メモリ２０２に設けられ、現在処理中のフレーム（以下、「現フレーム」と呼ぶ）以前に処理した過去のフレーム（以下、「過去フレーム」と呼ぶ）における認識対象物の検出結果を保持（記憶）している。この検出結果は、認識対象物検出部２５１から入力された過去フレームで検出された物体（認識対象物）の位置座標である。過去フレーム検出結果読み書き部２７１は、過去フレーム検出結果保持部２７１ａにアクセスして、現フレームの検出結果を登録するとともに、過去フレームの検出結果を読み出す。この読み出された過去フレームを、領域予測部２７２に向けて出力する。なお、過去フレームの検出結果は、数フレーム分の情報があれば追尾には十分であるため、過去フレーム検出結果保持部２７１ａには、例えば、５フレーム分の検出結果を格納（記憶）する。過去フレーム検出結果読み書き部２７１は、現フレームの検出結果の書き込みの際に、空き領域がなくなった場合には、過去フレームの検出結果のうち、最も古い過去フレームの検出結果を削除し、現フレームの検出結果を新たに記憶する。これにより、処理効率を向上させることが可能となる。

領域予測部２７２は、過去フレーム検出結果保持部２７１ａに記憶された過去フレームの検出結果（位置座標）に基づいて、現フレームの認識対象物が存在する領域を予測する。なお、領域予測部２７２では、検出物の位置座標の他に、位置座標から算出した認識対象物の画像上の速度を用いて、物体が存在する領域を予測してもよい。

予測領域内検出部２７３は、領域予測部２７２で予測した予測領域内で認識対象物を検出し、予測結果として出力する。予測領域内検出部２７３では、少なくとも認識対象物の位置座標を出力する。また、認識対象物検出部２５１と同様に、この位置座標の他に、認識対象物の種類、例えば、車両、歩行者を出力してもよい。

同一物体判定部２７４は、予測領域内検出部２７３での物体の予測結果と現フレームでの物体（認識対象物）の検出結果とを比較して、同一物体であるか否かを判定する。より具体的には、同一物体判定部２７４では、この予測結果の物体と検出結果の物体との類似度に基づいて、両者が同一物体か否かを判定する。類似度に基づいた判定方法としては、例えば、図１５に示すように、物体ｏｊのＹ座標における明度およびＸ座標における明度のそれぞれを比較して、同一物体か否か判定する。なお、この同一物体であるか否かの判定は、類似度に限定されることはなく、両者の位置座標に基づいて、両者の重なりの程度を考慮して判定してもよい。また、ヒストグラムを利用した方法等、従来からある種々の方法も、代替または併用することが可能である。そして、同一物体と判定された場合、判定フラグに「１」を設定し、物体のＩＤ番号と判定フラグとを選択部２７５に向けて出力する。一方、同一物体でないと判定された場合、判定フラグに「０」を設定し、この判定フラグを選択部２７５に向けて出力する。なお、判定フラグは、メモリ２０２に設けてもよいし、パラメータとして選択部２７５に受け渡してもよい。

選択部２７５は、同一物体判定部２７４での判定結果、すなわち、判定フラグに基づいて、予測結果と検出結果とのどちらを最終出力とするかを選択し、選択結果を出力する。より具体的には、選択部２７５は、判定フラグが「１」である場合、予測領域内検出部２７３からの予測結果と同一物体判定部２７４からのＩＤ番号とを、追尾結果として出力する。これに対して、判定フラグが「０」である場合、認識対象物検出部２５１からの検出結果を出力する。

以下、実施例２の画像処理装置での認識対象物検出処理の流れを説明する。なお、実施例２の画像処理装置での処理の流れは、図９等を用いて説明した実施例１の画像処理装置１での処理の流れと基本的には同様である。そのたため、同様の処理についての説明は省略し、ここでは、立体物検出部２５０Ａでの処理を主に説明する。まず、上記実施例１と同様に、認識対象物検出部２５１が、水平視差図作成部２４０からの水平視差図３０と、視差演算部２１０からの視差画像データに基づいて、認識対象物の検出処理を行う（前述した図９のステップＳ８１およびその説明を参照）。この認識対象物の検出結果として、認識対象物検出部２５１は、検出したすべての物体（認識対象物となり得るもの）の位置座標（視差画像上のｘ，ｙ座標）、必要に応じて、検出した物体（認識対象物）の種類、例えば、車両、歩行者を出力する。

＜追尾処理＞
次に、認識対象物検出部２５１からの検出結果に基づいて、追尾部２７０が追尾処理を実施する。この追尾部２７０での追尾処理の流れについて、図１３のフローチャートを用いて以下に説明する。まず、追尾部２７０は、認識対象物検出部２５１からの現フレームの検出結果の入力を受け付ける（ステップＳ２１）。この現フレームの検出結果を、過去フレーム検出結果読み書き部２７１が、メモリ２０２の過去フレーム検出結果保持部２７１ａに格納する。また、過去フレーム検出結果読み書き部２７１は、過去のフレームの検出結果を過去フレーム検出結果保持部２７１ａから読み出し、領域予測部２７２に向けて出力する（以上、ステップＳ２２）。

領域予測部２７２では、過去フレーム検出結果保持部２７１ａから読み出された過去フレームの検出結果に基づいて、現フレームにおける認識対象物の存在する領域を予測し、その領域（以下、「予測領域」と呼ぶ）の位置座標を出力する（ステップＳ２３）。この領域の予測は、従来公知の手順等、いずれの手順を用いてもよい。次に、予測領域内検出部２７３が、この予測領域内で認識対象物を検出し、その位置座標を出力する（ステップＳ２４）。この検出は、認識対象物検出部２５１での処理と同様に、同一視差値ｄを持つ点の集まっている部分の水平座標を抽出し、そのサイズから判断する等の手順により行うことができる。

予測領域内検出部２７３からの予測結果は、同一物体判定部２７４に入力される。この同一物体判定部２７４は、予測結果（位置座標等）と、過去のフレームの検出結果（位置座標等）とを比較して（ステップＳ２５）、上述したような手順により、同一物体か否かを判定する（ステップＳ２６）。この判定の結果、同一物体でないと判定された場合（Ｎｏ）、同一物体判定部２７４は判定フラグに「０」を設定する（ステップＳ２７）。この判定フラグ「０」に基づいて、選択部２７５は、現フレームの検出結果（認識対象物検出部２５１からの検出結果）を出力して、追尾処理を終了する（ステップＳ２８）。

これに対して、ステップＳ２６の判定の結果、同一物体であると判定された場合（Ｙｅｓ）、同一物体判定部２７４は判定フラグに「１」を設定する（ステップＳ２９）。また、予測結果（位置座標等）にＩＤ番号を付与する（ステップＳ３０）。このＩＤ番号は、認識対象物の出現順に昇順に付してもよいし、認識対象の種類等に応じて予め設定した番号を付してもよい。次いで、この判定フラグ「１」に基づいて、選択部２７５は、現フレームの検出結果として、追尾結果（予測結果とＩＤ番号）を出力して、追尾処理を終了する（ステップＳ３１）。

以上により、追尾部２７０から出力された検出結果または追尾結果が、認識対象物領域輝度画像抽出部２５３に入力される。認識対象物領域輝度画像抽出部２５３は、検出結果または追尾結果の予測結果に基づいて、認識対象物領域輝度画像を出力する（前述した図９のステップＳ８２およびその説明を参照）。このとき、認識対象物領域輝度画像抽出部２５３は、追尾結果が入力された場合は、ＩＤ番号付きの認識対象物領域輝度画像を出力する。

認識対象物領域輝度画像抽出部２５３からの認識対象物領域輝度画像、または、ＩＤ番号付き認識対象物領域輝度画像に基づいて、パターンマッチング部２５４により、パターンマッチング処理が行われる。追尾部２７０から検出結果が入力されたことで、認識対象物領域輝度画像抽出部２５３から認識対象物領域輝度画像のみが入力されたときのパターンマッチング処理の流れは、図１０のフローチャートに示す実施例１の処理の流れと同様である。以下では、追尾結果が入力されたことで、認識対象物領域輝度画像抽出部２５３からＩＤ番号付きの認識対象物領域輝度画像が入力されたときのパターンマッチン処理の流れを、図１４のフローチャートを用いて説明する。また、実施例２のパターンマッチング部２５４の構成は、図５に示す実施例１のパターンマッチング部２５４の構成と同一であるため、図５に示す実施例１と同一の符号を用いて各部の処理を説明する。

＜ＩＤ番号入力時のパターンマッチング処理＞
図１４に示すステップＳ１０１において、パターンマッチング部２５４は、認識対象物領域輝度画像抽出部２５３からのＩＤ番号付きの認識対象物領域輝度画像の入力を受け付ける。このとき、パターンマッチング部２５４では、認識対象物領域輝度画像抽出部２５３からの認識対象物領域輝度画像に、ＩＤ番号の付与があれば、追尾結果による認識対象物領域輝度画像が入力されたと判断する。

次に、実施例１と同様の手順で、動的パターンマッチング部２５５が、動的辞書２５８のすべてのパターン画像に対して、対応する履歴保持部２６０のデータを参照する。そして、過去に一致しないフレームが連続しているパターン画像が存在するか否かを判定する（ステップＳ１０２）。このステップＳ１０２の判定で、過去に一致しないフレーム数が連続しているパターン画像が存在すると判定された場合（Ｙｅｓ）には、パターン画像登録・削除部２５７が、該当するパターン画像を動的辞書２５８から静的辞書２５９へ移動する。さらに、移動したパターン画像に対応する履歴保持部２６０のデータを初期化する（以上、ステップＳ１０３）。その後、ステップＳ１０４に進む。一方、ステップＳ１０２で、過去に一致しないフレームが連続しているパターン画像が存在しない（Ｎｏ）と判定された場合は、ステップＳ１０３をスキップしてステップＳ１０４に進む。

次に、ステップＳ１０４以降では、動的パターンマッチング部２５５が、動的辞書２５８のパターン画像との照合処理を行う。この処理は、認識対象物領域輝度画像抽出部２５３から入力されるすべての認識対象物領域輝度画像について実施する。まず、ステップＳ１０４で、動的パターンマッチング部２５５が、動的辞書２５８を検索し、処理対象の認識対象物領域輝度画像に付されたＩＤ番号と同一のＩＤ番号が付与されたパターン画像があるか否かを判定する。同一のＩＤ番号が付与されたパターン画像があった場合（Ｙｅｓ）、当該ＩＤ番号に係る認識対象物領域輝度画像と、当該ＩＤ番号に係る動的辞書２５８のパターン画像とを照合（パターンマッチング）する（ステップＳ１０５）。この照合により、両者が一致したか否かを判定し（ステップＳ１０６）、一致した場合（Ｙｅｓ）、ステップＳ１０９の履歴保持部２６０への登録処理に進む。一方、一致しない場合（Ｎｏ）、ステップＳ１０７の他のＩＤ番号に係るパターン画像との照合処理に進む。

ステップＳ１０７は、認識対象物領域輝度画像が、同一のＩＤ番号に係るパターン画像と一致しない場合に実行される処理である。ステップＳ１０７では、動的パターンマッチング部２５５は、動的辞書２５８中の他のＩＤ番号に係るパターン画像と認識対象物領域輝度画像との照合を行う。この照合は、動的辞書２５８のパターン画像と一致するまで、または、すべてのパターン画像との照合が完了するまで行う。そして、認識対象物領域輝度画像と一致するパターン画像があったか判定し（ステップＳ１０８）、一致するパターン画像があった場合（Ｙｅｓ）、ステップＳ１０９の履歴保持部２６０への登録処理に進む。一方、一致するパターン画像がなかった場合（Ｎｏ）、ステップＳ１１０の静的辞書２５９のパターン画像との照合処理に進む。

ここで、認識対象物領域輝度画像が、他のＩＤ番号（異なるＩＤ番号）に係るパターン画像と一致するケースについて説明する。例えば、ある過去フレームで大人の歩行者と子供の歩行者とが検出された場合を想定する。このとき、検出順に大人の歩行者にはＩＤ番号＝１、子供の歩行者にはＩＤ番号＝２が付与されたとする。その後、例えば、現フレームで、大人と子供とがすれ違ったとき、現フレームでのＩＤ番号が入れ替わってしまうことがあり、子供の歩行者がＩＤ番号＝１、大人の歩行者がＩＤ番号＝２と認識されることがある。この場合、ステップＳ１０５で、ＩＤ番号＝２に対応する大人の歩行者の認識対象物領域輝度画像に対して、過去フレームでＩＤ番号＝２が付されたパターン画像が照合対象として選択される。しかし、当該パターン画像は子供の歩行者に対応しているため、ステップＳ１０６で一致しない（Ｎｏ）と判定される。次に、ステップＳ１０７において、他のＩＤ番号に係るパターン画像、すなわち、ＩＤ番号＝１が付されたパターン画像（大人の歩行者）との照合で一致が確認され、大人の歩行者を認識対象物として検出することができる。このような照合手順とすることで、認識対象物を取りこぼしなく、かつ、効率的に検出することができる。

ステップＳ１０９は、認識対象物領域輝度画像と、動的辞書２５８のパターン画像とが一致した場合に実行される処理である。ステップＳ１０９では、一致したパターン画像に対応する履歴保持部２６０の領域に、一致したことを登録（記憶）する。その後、ステップＳ１１３に進み、動的辞書２５８のパターン画像との照合により、認識対象物であると判定された当該認識対象物領域輝度画像の物体について、その位置座標をパターンマッチング結果（検知結果）として出力し、パターンマッチング処理を終了する。実施例２でも、パターンマッチング結果として、位置座標の他に、必要に応じて認識対象物の種類等を出力してもよい。

ステップＳ１１０は、認識対象物領域輝度画像と動的辞書２５８のパターン画像とが一致しなかった場合に行われる処理である。ステップＳ１１０では、実施例１と同様の手順で、認識対象物領域輝度画像と、静的辞書２５９のパターン画像とを照合（パターンマッチング）する。そして、認識対象物領域輝度画像と静的辞書２５９のパターン画像とが一致したか否かを判定する（ステップＳ１１１）。一致した場合（Ｙｅｓ）は、ステップＳ１１２で、パターン画像登録・削除部２５７が、一致したパターン画像を、ＩＤ番号とともに動的辞書２５８に移動する。この移動とともに、一致したパターン画像に対応する履歴保持部２６０の領域に、一致したことを登録（記憶）する。その後、ステップＳ１１３に進み、静的辞書２５９のパターン画像との照合により、認識対象物であると判定された当該認識対象物領域輝度画像の物体について、その位置座標をパターンマッチング結果（検知結果）として出力し、パターンマッチング処理を終了する。この場合も、パターンマッチング結果として、位置座標の他に、必要に応じて認識対象物の種類等を出力する。

一方、ステップＳ１１１の判定がＮｏの場合、つまり、すべての静的辞書２５９のパターン画像と認識対象物領域輝度画像とを照合したが、一致するパターン画像がなかった場合には、当該認識対象物領域輝度画像は、認識対象物ではないことがわかる。この場合、当該認識対象物領域輝度画像に対してはパターンマッチング結果（検知結果）として、認識対象物なし（パターンマッチング結果なし）を出力し（ステップＳ１１３）、当該認識対象物領域輝度画像のパターンマッチング処理を終了する。または、何も出力せずに終了してもよい。

以上のように、実施例２の画像処理装置では、追尾部２７０による追尾処理を行って、追尾すべき物体（認識対象物）にＩＤ番号を付与している。そして、パターンマッチング部２５４によるパターンマッチング処理で、動的辞書２５８のパターン画像の中に認識対象物領域輝度画像と同じＩＤ番号のパターン画像があるか確認している。そして、一致する場合、認識対象物領域輝度画像と同じＩＤ番号のパターン画像と照合することで、動的辞書２５８の複数のパターン画像の中でも、照合するパターン画像を絞ることができる。そのため、パターンマッチングの処理時間を短縮して、迅速に認識対象物を検出することができる。また、このように迅速に認識対象物を検出することができる分、認識対象物との衝突を回避する等、車両制御ユニット３００での認識対象物への対応を、より迅速に行うことが可能となる。

以上、本発明の実施例を図面により詳述してきたが、上記各実施例は本発明の例示にしか過ぎないものであり、本発明は上記各実施例の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。例えば、パターン画像によるものでなく、パターンに応じた特徴量による構成としてもよい。また、上記各実施例のようなステレオカメラの構成であって視差画像データを利用するものにのみ適用されるものではなく、単一のカメラや３以上のカメラからなる構成、輝度画像データのみを利用する構成等においても適用可能である。

１ 画像処理装置（認識対象物検出手段）
１０ 補正画像データａ’（基準画像データ） ２０ 垂直視差図
３０ 水平視差図 １００ 撮像ユニット（撮像部）
１１０ 画像補正部 ２００ ステレオ画像処理部（画像処理部）
２１０ 視差演算部 ２２０ 垂直視差図作成部（垂直視差データ作成部）
２３０ 路面位置検出部（移動面位置検出部）
２４０ 水平視差図作成部（水平視差データ作成部）
２５０，２５０Ａ 立体物検出部（対象物検出部）
２５８ 動的辞書（第２の特徴量記憶部）
２５９ 静的辞書（第１の特徴量記憶部）
２７０ 追尾部 ３００ 車両制御ユニット（移動制御手段）
５００ 移動体制御システム

特開２０１２−１６４２７５号公報

Claims (9)

1. 複数の撮像部からフレーム単位で入力される複数の撮像画像に基づいて視差画像データを生成する視差演算部と、
   前記視差画像データに基づいて、画像垂直座標と視差値の関係を示す垂直視差データを作成する垂直視差データ作成部と、
   前記垂直視差データに基づいて、認識対象物が移動する移動面を検出する移動面位置検出部と、
   前記視差画像データおよび前記移動面に基づいて、前記移動面付近における、画像水平座標および視差値の関係を示す水平視差データを作成する水平視差データ作成部と、
   前記水平視差データに基づいて、前記認識対象物の候補を検出する対象物候補検出部と、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときに前記所定の特徴量が記憶される第２の特徴量記憶部と、
   前記第２の特徴量記憶部へ前記所定の特徴量が記憶されたフレーム以降のフレームにおいて、該以降のフレームの撮像画像から前記第２の特徴量記憶部に基づいて前記認識対象物の検出を行い、前記認識対象物が検出されなかったときには前記第１の特徴量記憶部に基づいて前記認識対象物の検出を行う対象物検出部と、
   を備え、
   前記水平視差データ作成部は、前記認識対象物の種類に応じて、前記移動面からの高さの異なる複数の前記水平視差データを作成することを特徴とする画像処理装置。
2. 前記対象物検出部は、前記視差画像データにより求めた前記認識対象物のサイズに基づいて、当該認識対象物の種類を特定することを特徴とする請求項１に記載の画像処理装置。
3. 撮像部からフレーム単位で入力される撮像画像について、該撮像画像中の認識対象物の候補が第１の特徴量記憶部に記憶された特徴量に相当したときに前記認識対象物の候補を認識対象物として検出する画像処理装置であって、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときに前記所定の特徴量が記憶される第２の特徴量記憶部と、
   前記第２の特徴量記憶部へ前記所定の特徴量が記憶されたフレーム以降のフレームにおいて、該以降のフレームの撮像画像から前記第２の特徴量記憶部に基づいて前記認識対象物の検出を行い、前記認識対象物が検出されなかったときには前記第１の特徴量記憶部に基づいて前記認識対象物の検出を行う対象物検出部と、
   を備え、
   前記対象物検出部は、前記認識対象物の検出に際し前記撮像画像中の認識対象物の候補が第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときに、前記第２の特徴量記憶部から前記所定の特徴量を削除し、
   前記対象物検出部は、前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときには、前記第２の特徴量記憶部への前記所定の特徴量の記憶に際して前記第１の特徴量記憶部から前記所定の特徴量を削除し、前記認識対象物の候補が前記第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときには、前記第２の特徴量記憶部からの前記所定の特徴量の削除に際して前記第１の特徴量記憶部への前記所定の特徴量の登録を行うことを特徴とする画像処理装置。
4. 前記第１の特徴量記憶部を有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記対象物検出部は、現在のフレームで検出された認識対象物の候補である物体を前記現在のフレームの前のフレームにおいて検出された認識対象物に相当する場合に、前記前のフレームで検出された前記認識対象物の前記撮像画像上における位置座標に基づいて前記現在のフレームの前記物体の位置座標を予測して、前記物体に対し前記物体を識別する識別子を付与する追尾部を有し、
   前記第２の特徴量記憶部には、前記識別子が付与された前記物体に相当する特徴量が前記識別子と関連付けて記憶され、
   前記対象物検出部は、前記物体に対して前記識別子が付与されたときに、前記第２の特徴量記憶部に基づいた前記認識対象物の検出を行うことを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記特徴量は、パターン画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 撮像部からフレーム単位で入力される撮像画像について、該撮像画像中の認識対象物の候補が第１の特徴量記憶部に記憶された特徴量に相当したときに前記認識対象物の候補を認識対象物として検出する画像処理装置で行われる認識対象物検出方法であって、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときに前記所定の特徴量を第２の特徴量記憶部に記憶する記憶ステップと、
   前記第２の特徴量記憶部へ所定の特徴量が記憶されたフレーム以降のフレームにおいて、該以降のフレームの撮像画像から前記第２の特徴量記憶部に基づいて前記認識対象物の検出を行う第１の検出ステップと、
   上記第１の検出ステップで前記認識対象物が検出されなかったときには前記第１の特徴量記憶部に基づいて前記認識対象物の検出を行う第２の検出ステップと、
   前記認識対象物の検出に際し前記撮像画像中の認識対象物の候補が第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときに、前記第２の特徴量記憶部から前記所定の特徴量を削除する第１の削除ステップと、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときには、前記第２の特徴量記憶部への前記所定の特徴量の記憶に際して前記第１の特徴量記憶部から前記所定の特徴量を削除する第２の削除ステップと、
   前記認識対象物の候補が前記第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときには、前記第２の特徴量記憶部からの前記所定の特徴量の削除に際して前記第１の特徴量記憶部への前記所定の特徴量の登録を行う登録ステップと、
   を有することを特徴とする認識対象物検出方法。
8. 撮像部からフレーム単位で入力される撮像画像について、該撮像画像中の認識対象物の候補が第１の特徴量記憶部に記憶された特徴量に相当したときに前記認識対象物の候補を認識対象物として検出するため、
   コンピュータに、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときに前記所定の特徴量を第２の特徴量記憶部に記憶する記憶ステップと、
   前記第２の特徴量記憶部へ所定の特徴量が記憶されたフレーム以降のフレームにおいて、該以降のフレームの撮像画像から前記第２の特徴量記憶部に基づいて前記認識対象物の検出を行う第１の検出ステップと、
   前記第１の検出ステップで前記認識対象物が検出されなかったときには前記第１の特徴量記憶部に基づいて前記認識対象物の検出を行う第２の検出ステップと、
   前記認識対象物の検出に際し前記撮像画像中の認識対象物の候補が第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときに、前記第２の特徴量記憶部から前記所定の特徴量を削除する第１の削除ステップと、
   前記認識対象物の候補が前記第１の特徴量記憶部に記憶された所定の特徴量に相当したときには、前記第２の特徴量記憶部への前記所定の特徴量の記憶に際して前記第１の特徴量記憶部から前記所定の特徴量を削除する第２の削除ステップと、
   前記認識対象物の候補が前記第２の特徴量記憶部に記憶された所定の特徴量に相当しないフレームが所定数連続したときには、前記第２の特徴量記憶部からの前記所定の特徴量の削除に際して前記第１の特徴量記憶部への前記所定の特徴量の登録を行う登録ステップと、
   を実行させるための認識対象物検出プログラム。
9. 移動体の移動制御を行う移動制御手段と、
   前記移動体の周囲を撮像対象として撮像する撮像手段と、
   前記撮像手段から入力される撮像画像から、前記撮像対象内に存在する認識対象物を検出する認識対象物検出手段と、を備え、
   前記認識対象物検出手段として、請求項１乃至６のいずれか一項に記載の画像処理装置を用いたことを特徴とする移動体制御システム。