WO2013136395A1

WO2013136395A1 - 検知装置、検知方法、プログラムが格納された記憶媒体

Info

Publication number: WO2013136395A1
Application number: PCT/JP2012/007464
Authority: WO
Inventors: 航介吉見
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2012-03-12
Filing date: 2012-11-21
Publication date: 2013-09-19
Anticipated expiration: 2014-09-12

Description

検知装置、検知方法、プログラムが格納された記憶媒体

　本発明は、検知装置、検知方法及びプログラムに関し、特に車載動画像における歩行者領域の検知など、画像変化の著しい条件における画像認識技術に関する。

　カメラから取得された動画像系列から特定の物体を認識するための方法として、様々な計算機処理方法が公開されている。例えば、画像中から人物、車両、顔など特定のカテゴリの物体を検知する方法として、機械学習による統計的識別器を用いた方法が知られている。

　機械学習による統計的識別器を用いた方法では、予めカテゴリがラベル付けされた複数のサンプル画像から特徴量を抽出し、機械学習によってこれらのラベル付けされた特徴量の統計的性質を利用した各カテゴリを分類する識別器を生成する。そして、新規入力された画像中から特定のカテゴリに属する物体の画像を当該生成した識別器を用いて検知する。

　このような統計的識別器を生成する方法としては、SVM（Support Vector Machine）及びAdaBoost等の派生的手法を例として多くの方法が公開されている。例えば、特許文献１には、統計的識別器によって構成された頭部検知器、顔検知器、上半身検知器の３つの検知器によって監視カメラ上で人物検知を行う技術が開示されている。

　統計的識別器などにより画像領域中の特定カテゴリに属する物体を検知する場合において、ノイズや検知対象、および背景の動きなどによる画像の変化を要因として、検知結果が不安定になるという問題がある。具体的には、図１６に示すように、検知漏れ（miss detection）、誤検知（false detection）、検知領域（region of interest: ROI）の欠けや位置ずれなど、検知、位置、及びスケールの精度低下により正しい領域の選択が困難若しくは不可能となる場合がある。また、複数の候補ROIが検知対象物の画像領域周辺に出力されるROIの重畳を生じる場合もある。このような場合、検知対象物体の画像上の動きとは無関係にROIの移動、拡大、縮小、消失、出現、等を生じるため、単フレーム毎の検知性能の期待値を低下させるだけでなく、ROIの時系列的な不整合を生じることになる。

　上記のような検知の不安定性を解消し、ロバストな物体検知を実現するために、時系列情報の利用が考えられる。これは、識別器による候補検知結果において、十分な試行回数における統計的な性質として、正しい領域がそれ以外の領域よりも高い頻度もしくは高い確信度で検知されるという妥当な仮定に基づく方法である。時系列の入力情報もしくは時系列の出力結果を用いて最終的な検知結果を判断する時系列フィルタリングの枠組みを用いることで、Frame-wiseの検知結果で生じる可能性のある誤検知や検知漏れが排除され、安定した検知結果を得ることが期待できる。

　時系列的追跡を併用した方法として、特許文献１では、人物検知器による検知結果と、人物追跡器による追跡結果と、をそれぞれ独立した基準で求め、最後にそれらの結果を照合させて、各時刻における画像上の人物の追跡位置を取得する。このような手法は、検知器・追跡器ともに性能低下要因の少ない条件で有効に働く。例えば、変化の乏しい風景画像を背景とする固定監視カメラ画像などによる人物の移動履歴取得などの用途では、検知器・追跡器ともに一致した結果を出力することが期待でき、両者の結果を照合することで誤りなく人物のみを検知・追跡することができる。

　また、特許文献２には、抽出された候補領域毎に影らしさの評価値を算出し、当該評価値を形状判定に反映させて対象物体の領域を検知する物体検知方法が開示されている。

　また、特許文献３には、入力画像をブロックに分割して探索を行い、移動物体か光の外乱によるものかを評価することで精度良く移動物体を認識する技術が開示されている。

特開２０１０－０７２７２３号公報特開平６－１７６１５０号公報特開２００９－７６０９４号公報

　例えば、車載カメラ画像のように、カメラ自体が動くことにより対象のみでなく背景画像が常に変化するような条件においては、ノイズや背景物体画像の移動などにより、特許文献１の検知モジュールでは、誤検知や検知漏れを生じ、追跡モジュールでは、誤追跡を引き起こす要因が増大する。従って、検知モジュール及び追跡モジュールの双方が常に同時に高い信頼性を維持することは困難である。

　特に、特許文献１では、検知結果と追跡結果を独立した基準でそれぞれ求め、両者の結果が一致した場合のみを採用することで誤りを低減させる方法を採っているため、どちらか一方が正しい結果の取得に失敗した場合には追跡結果の取得ができなくなってしまう。

　また、特許文献１では、過去に検知された確信度の低い候補を追跡し、確信度の高い検知結果が出た時点で採用することができるが、その判断はframe-wiseの検知モジュールの結果に依存しているため、画像の変化による検知漏れ、および検知領域精度の低下の影響は免れない。従って、特許文献１では、誤検知を低減することはできても、検知漏れ、およびframe-wiseの検知結果における領域検知精度の低下を低減することは出来ず、検知結果の安定性は保証されないという問題を有していた。

　また、特許文献２、３の技術を用いても、検知対象と背景画像が常に変化するような条件下において検知精度が低下することがあり、このような悪条件においても高い検知性能を有する検知装置が求められていた。

　本発明では、上記の問題を解決し、誤検知や検知漏れによる検知性能低下を抑制すると同時に、検知領域の位置・スケール精度を向上させることで、検知結果の時間的整合性をもつ安定かつ高精度な検知装置、検知方法、及びプログラムの提供を目的とする。

　本発明の一態様である検知装置は、入力画像を受け付ける画像入力手段と、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出手段と、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定手段と、前記検出手段で検出された現時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定手段と、を具備する。

　また、本発明の一態様である検知方法は、入力画像を受け付ける画像入力ステップと、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、前記検出手段で検出された現時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、を有する。

　また、本発明の一態様であるプログラムは、入力画像を受け付ける画像入力ステップと、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、前記検出手段で検出された現時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、を計算機に実行させる。

　本発明によれば、誤検知や検知漏れによる検知性能低下を抑制すると同時に、検知領域の位置・スケール精度を向上させることで、検知結果の時間的整合性をもつ安定かつ高精度な検知装置、検知方法、及びプログラムを提供することができる。

実施の形態１に係る物体検知システムの全体構成を示すブロック図である。実施の形態１に係る物体検知装置の機能構成を示すブロック図である。実施の形態１に係る物体検知装置の動作の流れを示すフローチャート図である。実施の形態２に係る物体検知装置の機能構成を示すブロック図である。実施の形態２に係る候補領域の検出の様子を示す模式図である。実施の形態２に係る候補領域を表すパラメータ等の記法の定義を示す模式図である。実施の形態２に係る時差ベクトルの例を示す模式図である。実施の形態２に係るOptical flowを用いて時差ベクトルの位置の差分要素を推定する場合の例を示す模式図である。実施の形態２に係る時空間相関特徴生成部が相関特徴値を求める際に、ROIの領域面積の包含関係を用いる場合における表記の定義を示す模式図である。実施の形態２に係る時空間相関特徴生成部が、求めた候補に対する相関特徴値を位置－スケールのパラメータ空間へ投影する様子を示す模式図である。実施の形態２に係る時空間相関特徴生成部が、求めた各候補に対する相関特徴値を位置－スケールのパラメータ空間へ投影した結果生成された時空間相関特徴の例を示す模式図である。実施の形態２に係る時空間相関特徴生成部が、生成した時空間相関特徴を平滑化し、検知領域決定部が、閾値処理および極大探索によってピークを物体検知領域として決定する様子を示した模式図である。実施の形態２に係る物体検知装置の動作の流れを示すフローチャート図である。実施の形態２に係る物体検知装置の候補推定部の動作の流れの一例を示すフローチャート図である。実施の形態２に係る物体検知装置の時空間相関特徴生成部の動作の流れの一例を示すフローチャート図である。背景技術に係る物体検知装置における識別器において出力される検知結果のパタンを模式的に示した図である。

　本発明の実施の形態について以下に図面を参照して説明する。以下の説明は、本発明の好適な実施の形態を示すものであって、本発明の範囲が以下の実施の形態に限定されるものではない。以下の説明において、同一の符号が付されたものは実質的に同様の内容を示している。

（実施の形態１）
　以下、図面を参照して本発明の実施の形態１について説明する。図１は、本発明の実施形態１に係る物体検知システム１の全体構成を模式的に示したブロック図である。図１を参照すると、物体検知システム１は、電子制御装置１０と、画像出力装置２０と、端末装置３０と、を備える。

　電子制御装置１０は、画像中の物体を検知するための情報処理を行うコンピュータである。電子制御装置１０は、画像出力装置２０から送られる画像情報に応じて、所定のプログラムに基づき、画像中の検知対象とした特定カテゴリに属する物体（歩行者、先行車両等）の領域を特定するための情報処理を行なう。

　画像出力装置２０は、少なくとも画像情報を電子制御装置１０に向けて出力する装置である。図１では、画像出力装置２０は具体的にカメラデバイスである場合を示している。カメラデバイスは、リアルタイムで画像を撮像する撮像装置であり、撮影対象の画像を連続的に取得する。撮像装置には、例えば、NTSC（National Television Standards Committee）形式やPAL（Phase Alternating Line）形式を出力するビデオカメラ等を用いることができる。

　画像出力装置２０として、カメラデバイスの他、記憶媒体に保存された画像情報を読み出してNTSC出力やPAL出力、その他電子制御装置が読み取ることのできる画像形式に変換して出力するような画像キャプチャ装置を用いることができる。この場合の画像出力装置は、電子制御装置１０のＣＰＵ１１内部で動作するソフトウェアプログラムとして実現することもできる。

　端末装置３０は、電子制御装置１０を操作し、かつ電子制御装置１０の内部状態や出力をモニタリングするためのユーザインタフェースとして動作する。端末装置３０は、一例として、入力画像そのものや、検出領域、登録されている認識対象のリストをユーザに示すシンボル、電子制御装置１０における対象カテゴリに含まれる物体の検知結果等を提示するディスプレイ（画像表示装置）の形態を取る。また、別の例として、端末装置３０は、画像認識装置の開始／終了、認識対象の指定、ディスプレイ提示情報の選択等、電子制御装置１０への指令を入力するための入力デバイス（例えば、スイッチボード、キーボード、マウス、タッチパネル等）の形態を取る。

　但し、端末装置３０を有しない構成で本発明を実現することも可能である。この他、物体検知装置１００によって取得された情報を入力として利用する装置を接続することができる。また、そのような装置の機能を電子制御装置１０内部のCPU（Central Processing Unit）で動作するソフトウェアプログラムとして実現することもできる。

　次に、電子制御装置１０について詳しく説明する。電子制御装置１０は、中央演算装置（CPU）１１と、第１記憶装置（Mem）１２と、第２記憶装置（DB）１３と、第１インタフェース１４と、第２インタフェース１５と、を有する。

　中央演算装置（CPU）１１は、情報処理を行う装置であり、第１記憶装置（Mem）１２、及び第２記憶装置（DB）１３、第１インタフェース１４、第２インタフェース１５、と電気的に接続されている。

　中央演算装置（CPU）１１は、プログラムを実行することで、画像出力装置２０から第１インタフェース１４を介して入力された画像情報に基づいて、第１記憶装置（Mem）１２及び第２記憶装置（DB）１３に記憶された情報を適宜参照しながら、検知対象となる物体の画像領域を特定するための情報処理を行う。

　　ここで、検知（検出）とは、歩行者、あるいは車両などといった特定のカテゴリに属する物体の画像領域を入力画像上でその他の画像領域と識別して特定することをいう。

　第１記憶装置（Mem）１２は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。

　第２記憶装置（DB）１３は、主にデータベース（ＤＢ）であり、中央演算装置１１と電気的に接続されている。なお、図１では、第１記憶装置（Mem）１２と第２記憶装置（DB）１３とを便宜上分けて描いているが、これら２つの記憶装置は、一つの記憶デバイスとして実現されていてもよい。また、第１記憶装置（Mem）１２及び第２記憶装置（DB）１３は、図１では、電子制御装置１０に内蔵されているが、外部の記憶装置として構成されていてもよい。

　第１インタフェース１４は、中央演算装置（CPU）１１、第１記憶装置（Mem）１２、及び第２記憶装置（DB）１３と、画像出力装置２０との間の情報のやり取りを仲介する装置である。図１では、第１インタフェース１４は、画像出力装置２０と中央演算装置（CPU）１１とのみ接続される構成を示しているが、第１インタフェース１４は、第１記憶装置（Mem）１２や第２記憶装置（DB）１３と直接接続される構成とすることも可能である。

　第２インタフェース１５は、電子制御装置１０の内部で行なわれた情報処理の結果を外部に接続した端末装置３０に引き渡す場合、あるいは端末装置３０から入力される電子制御装置１０への指令入力を受け取る場合に情報の仲介装置としての役割を果たす。

　図２は、本実施の形態１に係る物体検知装置１００の機能構成を模式的に示したブロック図である。物体検知装置１００は、電子制御装置１０が中央演算装置１１においてソフトウェアプログラムを実行することで、図２の各種機能を実現することが可能である。なお、物体検知装置１００において実現される各種機能は、個々の装置、又は機能部もしくは電子回路として実現してもよい。

　図２を参照すると、本発明の実施形態１に係る物体検知装置１００は、画像入力部１１０と、候補検出部１２０と、候補推定部１３０と、評価決定部１４０と、を備える。

　画像入力部１１０は、画像出力装置２０から出力された入力画像を受け取る。この際、画像入力部１１０は、必要な画像領域の切り出し、解像度やサイズの調整、NTSC形式画像からの奇数（あるいは偶数）フィールドの抽出、画質改善等、取得画像形式の調整を行ってもよい。画像入力部１１０は、画像出力装置２０より受け取った入力画像を候補検出部１２０及び候補推定部１３０へ出力する。

　候補検出部１２０は、画像入力部１１０より受け取った入力画像において検知対象が含まれる画像領域の候補を検出する。以下、検知対象が含まれる画像領域の候補を候補領域と定義する。候補検出部１２０は、入力画像において検知対象が含まれる画像領域の候補を候補領域（ROI：region of interest）として検出する。

　候補検出部１２０は、入力画像に含まれる特徴量に基づいて統計的に検知対象を識別する構成とすることで検知対象が含まれる画像領域の候補を検出することができる。候補検出部１２０は、検出した候補領域に関する情報を候補推定部１３０及び評価決定部１４０に出力する。

　候補推定部１３０は、以前の時刻において候補検出部１２０で検出された候補領域を更新することで現在の時刻における候補領域を推定する。候補推定部１３０は、候補領域の更新方法として、異なる時刻における入力画像を比較することで更新する方法を用いることができる。例えば、候補推定部１３０は、直前の時刻と現在の時刻との入力画像間のオプティカルフローベクトル（Optical Flow vector）を求め、当該Optical Flow Vectorを用いて候補領域を更新することで現時刻における候補領域を推定する。

　候補推定部１３０は、直前の時刻に候補検出部１２０で検出された候補領域を更新して現在時刻における候補領域を推定するだけではなく、更に以前の時刻に候補検出部１２０で検出された候補領域を複数回累積的に更新することで現時刻における候補領域を推定する。すなわち、候補推定部１３０は、推定した候補領域を記憶装置１２に一時的に格納し、次の時刻において、前時刻に格納した候補領域に対する更新を行うことで現時刻における候補領域を推定する。

　ここで、候補推定部１３０がどの程度の過去に検知された候補領域に基づいて現時刻における候補領域を推定するかは、処理量と物体検知精度との要求に応じて適宜設定することができる。長区間前に検出された候補領域に基づいて現時刻における候補領域の推定を行う場合、すなわち、累積区間を長く取る場合、候補推定部１３０は、多くの候補領域に対する推定を行う必要があり、処理量が大きくなる。また、候補検出部１２０で複数の候補領域が同時に検出される場合は、これら複数の候補領域に対してそれぞれ更新を行って現時刻の候補領域を複数推定する必要がある。従って、候補推定部１３０は、所定の基準を設定して、推定する候補領域の数を限定することが好ましい。

　候補推定部１３０は、遡る期間に関して基準を設定し、基準以前の時刻で検出された候補領域については更新を行わないことで、現時刻に推定する候補領域の数を限定しても良い。例えば、候補推定部１３０は、処理量や精度の関係から、遡る時刻を１区間に限定し、直前の時刻に検出された候補領域にのみ更新を行う構成とすることも可能である。

　また、候補推定部１３０は、各候補領域に対して信頼度を設定し、信頼度に関して基準を設定し、信頼度の低い候補領域については更新を行わないことで現時刻に推定する候補領域の数を制限しても良い。ここで、当該信頼度は、候補領域内の画像が検知対象である対象カテゴリに属する物体である確信度を示している。候補領域の更新が繰り返されることで、累積的に更新された候補領域に検知対象に属する物体が含まれる確信度は一般的に低下する。従って、候補推定部１３０は、候補領域内の画像が前記検知対象である確信度数を合わせて更新する構成を取ると好ましい。

　評価決定部１４０は、候補検出部１２０で検出された現時刻における候補領域と候補推定部１３０で推定された現時刻における候補領域との重なり度合いを評価して検知対象が含まれる画像領域を決定する。

　次に、物体検知装置１００の動作について説明する。図３は、物体検知装置１００の動作の流れを示すフローチャート図である。

　画像入力部１１０は、入力画像を逐次受け付け、一定時刻間隔で出力する（ステップＳ１０１）。画像入力部１１０より入力画像を受け取った候補検出部１２０は、入力画像に対し、物体検知領域の候補となる候補領域を検出する（ステップＳ１０２）。次に、候補推定部１３０は、前時刻以前に取得された候補領域を更新することで現時刻における候補領域を推定する（ステップＳ１０３）。次に、評価決定部１４０は、ステップＳ１０２で検出された現在時刻における候補領域とステップＳ１０３で推定された現在時刻における候補領域との重なり度合いを評価する（ステップＳ１０４）。評価決定部１４０は、ステップＳ１０４における評価結果に基づいて検知対象が含まれる画像領域を決定する（ステップＳ１０５）。

　以上のように、本実施の形態１に係る物体検知装置１００は、複数の候補領域の時空間的な重なりを評価した上で画像領域を決定する。従って、単フレーム毎の候補検出による結果では誤検出や検出漏れが含まれていたとしても、別フレームで取得された候補領域の更新によって得られる推定候補領域との重なり度合いの評価によって最終的に検知対象が含まれる画像領域が決定される構成を取る。当該構成とすることで、正しい候補領域を検知対象の物体が含まれる画像領域として判断することができる。

　（実施の形態２）
　本実施の形態２は、候補領域相互の時空間的な重なり度合いを評価した特徴量を生成することで、検知対象が含まれる画像領域を決定することを特徴とする。以下、図面を参照して詳細に説明する。但し、実施の形態１で既に説明した部分については発明の明確化のため一部説明を省略する。

　図４は、本実施の形態２に係る物体検知装置２００の構成を示すブロック図である。物体検知装置２００は、画像入力部２１０と、候補検出部２２０と、候補推定部２３０と、評価決定部２４０と、を具備する。ここで、評価決定部２４０は、具体的に、時空間相関特徴生成部２４１と、検知領域決定部２４２と、を有することを特徴とする。なお、画像入力部２１０、候補検出部２２０、候補推定部２３０、及び、評価決定部２４０は、それぞれ実施の形態１の画像入力部１１０、候補検出部１２０、候補推定部１３０、及び、評価決定部１４０に対応する。

　画像入力部２１０は、画像出力装置２０から出力された入力画像を受け取り、当該入力画像を候補検出部２２０及び候補推定部２３０へ出力する。

　候補検出部２２０は、画像入力部２１０より受け取った入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する。

　候補検出部２２０は、画像入力部２１０から各時刻に受け取る入力画像に対し、検知対象となるカテゴリ（歩行者、車両、Etc.）の画像領域の候補となる候補領域を背景画像と識別する。候補検出部２２０は、検出した候補領域の位置、スケール、およびその確からしさを表す信頼度の数値を当該候補領域に関する情報として出力する。

　ここで、候補検出部２２０は、例えば一般的な統計的学習による識別器を用いることで実現可能である。例えば、特徴量として、Haar-like特徴、HoG特徴、などを用いた、SVMやAdaBoostなどの統計的識別器を用いることができる。候補検出部２２０は、入力画像に含まれる上記特徴量に基づいて検知対象が含まれる画像領域の候補を検出する。

　候補検出部２２０は、信頼度の数値に閾値（threshCandVal1）を設定することで閾値以上の信頼度を持つ候補のみを出力させることができる。また、出力される候補の最大個数を定めた閾値（maxCandNum）を超える候補が検出された場合には、maxCandNum以下に収まるように（threshCandVal1）より高い信頼度の閾値（threshCandVal2）を再設定することで、出力される最大の候補数を制限することができる。

　図５は、候補検出部２２０が候補領域を検出する様子を示している。候補検出部２２０は、入力画像（Image plane）に写る人物の特徴を捉えて、３つの領域を検知対象である人物が含まれる画像領域の候補として検出している。

　なお、検知漏れを極力避けるため、候補検出部２２０は、候補領域の重複は許容し、計算資源の許す限り多数の候補を取得するようにthreshCandVal1を設定することが好ましい。

　候補検出部２２０で検出される各画像領域の候補（候補領域）は、図６を参照して下記の数式１のように表現できる。

　ただし、数式１における各インデックスは以下の値を示している。
（１）ｉ：各候補に割り当てられるインデックス
（２）ｔ：現在のフレームインデックス
（３）ｐ：位置ベクトル（ｐ＝（ｘｃ、ｙｃ））
（４）ｓ：スケールベクトル（ｓ＝（ｗ、ｈ))
（５）（ｘｃ、ｙｃ）：候補の中心画像座標
（６）ｗ、ｈ：候補の中心座標から矩形境界までの幅と高さ
（７）ｖａｌ：候補の信頼度
（８）ｃｎｔ：候補検出部２２０で検出されてから経過したフレームインデックス数（時刻）を表すカウンタ値

　ここで、位置ベクトルｐ、スケールベクトルｓ、信頼度ｖａｌは、それぞれ候補検出部２２０が出力した値を初期値とし、カウンタ値ｃｎｔは０を初期値とする。

　また、上述の通り、信頼度ｖａｌは、候補領域内の画像が検知対象である確信度を示している。以下の説明では、候補検出部２２０が検出した候補領域の入力画像中の位置に関する情報、領域サイズに関する情報、候補領域内の画像が前記検知対象である確信度に関する情報、をまとめて候補情報と称することがある。また、カウンタ値ｃｎｔは、候補推定部が候補領域を更新した回数を示しているため、以下の説明では更新回数情報と称することがある。

　候補推定部２３０は、以前の時刻において候補検出部２２０で検出された候補領域を更新することで現時刻における候補領域を推定する。具体的には、候補推定部２３０は、現時刻（ｔ）より以前の時刻（（ｔ－１）、（ｔ－２）、（ｔ－３）、・・・）に検出された各候補領域の前時刻（ｔ－１）における推定値と現時刻（ｔ）における状態との差分（時差ベクトル）を求め、求めた時差ベクトルに基づき各候補領域の更新を行う。更新された候補領域も、数式１で示すように位置ベクトルｐ、スケールベクトルｓ、信頼度ｖａｌ、カウンタ値ｃｎｔでラベルされる。

　時差ベクトルは、例えば図７に示すように、各候補領域の状態（位置：p、スケール：s等）の前時刻から現時刻における推移を表すベクトルである。位置情報についての時差ベクトルの具体的演算方法は、前時刻と現時刻の入力画像における画像領域の対応付け問題に帰着することができ、各種の既存方法を用いることができる。

　例えば、図８に示すように、候補推定部２３０は、前時刻の候補領域Ｒ（ｉ、ｔ－１)に含まれる画像領域を適当な大きさのサブリージョンに分割し、各サブリージョン単位で前時刻と現時刻の入力画像間のOptical Flowを求める。そして、候補推定部２３０は、求めたOptical Flowの平均値や中心値などの代表ベクトルを候補領域の位置に関する時差ベクトルΔｐとする。候補推定部２３０は、当該方法により、位置に関する時差ベクトルΔｐを求めることができる。なお、Optical Flowを求める手法には、Horn-Schunk、Lucas-Kanadeなどの公開されている既存の手法を用いることができる。

　また、候補推定部２３０は、前時刻の候補領域内の輝度、エッジ勾配特徴(例えばHOG特徴)、色特徴（例えばHSヒストグラム）等の画像特徴の、現時刻の入力画像の各画像領域における画像相関や特徴ベクトルのBhattacharya距離等による類似度に基づく追跡手段等によって、候補領域の現時刻画像上での位置を推定することで、位置に関する時差ベクトルΔｐを求めることができる。

　スケールに関する時差ベクトルΔｓは、微小な時間区間においては候補のスケールが一定であると仮定して、０としてもよい。また、例えば位置に関する時差ベクトルを求める場合と同様の既存の追跡手段によって時差ベクトルΔｓが求められる構成であっても良い。候補推定部２３０は、前時刻の候補領域の画像と現時刻の入力画像の領域との対応付けを行う際、現時刻側の矩形領域を位置だけでなくスケールを微小に変化させながら前時刻の候補領域の画像と比較することで、スケール変化の推定も同時に行うような手法によってΔｓを推定することが可能である。

　候補の信頼度の変位Δｖａｌは０としてもよいが、位置に関する時差ベクトルΔｐの推定精度等に応じて加減算する調整項として正負の値を設定してもよい。

　候補の経過時間カウンタの変位Δｃｎｔは、フレームインデックスの増加分として＋１の一定値とする。若しくは、候補推定部２３０は、直前の時刻であるｔ－１から現在時刻ｔまでの処理の間に経過したクロック数、又は、実時間経過時間を経過時間カウンタの変位Δｃｎｔとして用いてもよい。

　このように、候補推定部２３０は、候補検出部２２０が候補領域を検出して生成した候補情報を更新することで現時刻における候補領域を推定する。また、候補推定部２３０は、候補情報を更新すると共に候補領域を更新した回数を示す更新回数情報を合わせて更新する。但し、候補推定部２３０は、更新回数情報が更新回数の限度を示す閾値を示している場合は、その後の候補情報の更新は行わず候補情報を破棄する。

　時差ベクトルに基づき、各候補領域は現時刻の候補領域に更新されて、保存される。前時刻（ｔ－１）の候補領域Ｒ（ｉ、ｔ－１）は、現時刻（ｔ）において下記の数式２のように更新される。

　数式２においてΔ（ｉ、ｔ－１、ｔ）は、候補領域Ｒ（ｉ、ｔ－１）の時刻（ｔ）における時差ベクトルであり、Ｗ（ｉ、ｔ－１、ｔ）は更新における重み行列である。各項は以下の数式３～６のように定義することができる。

　ここで、αは候補の信頼度に対する重み係数であり、時間経過による信頼度の変化を表し、０＜α≦１の実数の値を設定することができる。適当な定数を設定してもよいし、位置の推定における精度に基づいて増減させるようにしてもよい。

　候補検出部２２０によって出力された現時刻における候補領域は、更新せずにそのまま保存される。同時に、これらの各候補領域に関する情報は、時空間相関特徴生成部２４１に向けて出力される。候補推定部２３０は、経過時間カウンタｃｎｔに対し閾値（累積閾値）を設定することで、最初に候補検出部２２０によって検出されてから一定時間(累積区間)以内の候補のみを用いるように時空間相関特徴生成部２４１で利用する時間区間の長さを規定することができる。閾値を超えた候補領域に関する情報は破棄することができる。

　候補推定部２３０は、現時刻に取得された候補領域に関する情報、および更新された過去に取得された候補領域（累積候補）に関する情報を保持し、時空間相関特徴生成部２４１に提供する。

　時空間相関特徴生成部２４１は、候補検出部２２０で検出された現在の時刻における候補領域と候補推定部２３０で推定された現時刻における候補領域との重なり度合いを評価する。

　具体的に、時空間相関特徴生成部２４１は、現時刻に候補検出部２２０で検出された候補領域と、前時刻以前の過去に候補検出部２２０で検出され、候補推定部２３０で時差ベクトルを用いて更新されて保持されている累積区間以内のすべての候補領域とを用いて、相関特徴量を算出する。ここで、相関特徴量は、各候補領域相互の位置とスケールに対する類似性の度合いを評価する数値であり、求められた相関特徴量の値の大きさが物体検知領域としての確からしさの指標となる。

　　現時刻tに候補検出部２２０において検出された候補領域、および現時刻ｔに候補推定部２３０において保持されている時差修正済の累積区間以内に取得された候補領域をそれぞれＲ（ｉ、ｔ）、Ｒ（ｊ、ｔ）、・・・とする。ここで、ｉ、ｊは候補領域のインデックスを示している。時空間相関特徴生成部２４１は、各候補領域それぞれに対し、それ自身を含む候補領域の集合との領域の重なりを評価する相関特徴値を計算する。インデックスｉで示される時刻ｔの候補領域Ｒ（ｉ、ｔ）に対する相関特徴値ｆ（ｉ、ｔ）は、例えば下記の数式７から求めることができる。

　ここで、Ａｒｅａは、引数の領域面積を表す関数とし、Ｒ（ｉ、ｔ）∩Ｒ（ｊ、ｔ）及びＲ（ｉ、ｔ）∪Ｒ（ｊ、ｔ）は、それぞれ２つの候補領域Ｒ（ｉ、ｔ）とＲ（ｊ、ｔ）の画像平面上（ｕ－ｖ平面上）での積集合及び和集合を示している。図９は、候補領域面積の包含関係を用いる場合における表記の定義を示す模式図である。

　図１０に示すように、時空間相関特徴生成部２４１は、候補領域Ｒ（ｉ、ｔ）に対して求めた相関特徴値ｆ（ｉ、ｔ）を、候補領域Ｒ（ｉ、ｔ）の位置ベクトルｐ（ｕ、ｖ）及びスケールベクトルｓ（ｗ、ｈ）をパラメータとし、相関特徴値ｆを値に持つパラメータ空間にマッピングする。図１１に示すように、時空間相関特徴生成部２４１は、各候補領域Ｒに対して求めた相関特徴値ｆを位置ベクトルｐ及びスケールベクトルｓをパラメータとするパラメータ空間にマッピングする。相関特徴値ｆのマッピングによって生成された特徴値の分布構造を時空間相関特徴ｆ（ｐ、ｓ；ｔ）と称する。当該時空間相関特徴は、検知候補領域同士の重複度を定量的に評価するために生成される指標である。ここでは、現時刻に検出された候補群だけでなく、過去に検出された候補群も合わせて評価される。従って、当該時空間相関特徴は、各候補領域相互の重なり具合を示す指標として領域相互重複度と称することがある。

　図１２に示すように、時空間相関特徴生成部２４１は、Medianフィルタやガウシアンフィルタ等を用いて時空間相関特徴ｆ（ｐ、ｓ；ｔ）を平滑化することができる。

　時空間相関特徴は、相関特徴値の分布によって、 position-scale空間における検知対象である物体が含まれる画像領域の確からしさを表す評価値の分布を得ることができ、これに基づいて物体検知結果を決定することができる。

　また、時空間相関特徴は、直接物体検知領域の決定基準として用いる以外に、その他の特徴量と組み合わせて別の用途に用いることもできる。例えば、レーダー等によるレンジマップと組み合わせて一定の距離以内にある物体領域を表す新たな相関特徴空間を構成するような用途に用いてもよい。

　検知領域決定部２４２は、時空間相関特徴生成部２４１おける現時刻ｔにおける各候補領域の重なり度合いに関する評価に基づいて検知対象が含まれる画像領域を決定する。具体的には、検知領域決定部２４２は、時空間相関特徴生成部２４１において生成された時空間相関特徴ｆ（ｐ、ｓ；ｔ）の特徴値の大きさや分布などを指標として、物体検知領域の決定を行う。

　例えば、検知領域決定部２４２は、時空間相関特徴ｆ（ｐ、ｓ；ｔ）の特徴値の閾値処理による２値化、および極大値抽出処理などによってピークを抽出し、これに対応する位置ｐとスケールｓによって決まる画像平面上の領域を物体検知領域として決定する。

　次に、物体検知装置２００の動作について図面を参照して詳細に説明する。図１３は、物体検知装置２００の動作の流れを示すフローチャート図である。

　まず、画像入力部２１０は、画像出力装置２０より入力画像を取得する（ステップＳ２０１）。次に、候補検出部２２０は、物体検知領域の候補となる候補領域を検出し、当該候補領域に関する情報を記憶装置１２に格納する（ステップＳ２０２）。ここで、候補検出部２２０は、検出した候補領域を、位置ベクトルｐ（ｕ、ｖ）とスケールベクトルｓ（ｗ、ｈ）及び信頼度ｖａｌとカウンタ値ｃｎｔの初期値で表し、これらの情報を現時刻ｔにおける候補領域に関する情報として記憶装置１２に格納する。

　次に、候補推定部２３０は、前時刻以前に取得された候補（累積候補）について、前時刻と現時刻における状態の差分を表す時差ベクトルを演算し、これに基づいて累積候補の状態を更新した上で記憶装置１２に格納する（ステップＳ２０３）。ここで、候補推定部２３０が現時刻ｔにおいて更新する累積候補には、前時刻（ｔ－１）に候補検出部２２０で検出された候補領域に加え、前時刻（ｔ－１）以前に候補検出部２２０で検出され、前時刻（ｔ－１）で更新された候補領域が含まれる。

　次に、時空間相関特徴生成部２４１は、所定時区間（累積区間）以内に取得されたすべての候補（現時刻（ｔ）に検出された候補および現時刻（ｔ）に更新された累積候補を含む）を用いて時空間相関特徴を生成する（ステップＳ２０４）。最後に、検知領域決定部２４２は、ステップＳ２０４で求められた時空間相関特徴の特徴値の大きさや分布を指標として検知領域を決定する（ステップＳ２０５）。

　図１４は、前記ステップＳ２０３における動作の詳細の一例を模式的に示したフローチャートである。

　図１４を参照すると、まず、候補推定部２３０は、記憶装置１２に記憶されている累積候補集合の中から未更新の累積候補Ｒ（ｉ、ｔ－１）を選択する（ステップＳ３０１）。

　次に、候補推定部２３０は、累積候補Ｒ（ｉ、ｔ－１）の累積カウンタｃｎｔの値で処理を分岐する（ステップＳ３０２）。すなわち、候補推定部２３０は、ステップＳ３０１で選択した候補Ｒ（ｉ、ｔ－１）のｃｎｔが所定の閾値未満であるかを判定する。

　ステップＳ３０２の判定の結果、累積カウンタｃｎｔが閾値以上であれば、候補推定部２３０は、ステップＳ３０１で選択した当該候補領域Ｒ（ｉ、ｔ－１）は累積区間を超えているとして、記憶装置１２から当該候補領域を破棄してステップＳ３０６に進む（ステップＳ３０３）。

　一方、ステップＳ３０２の判定の結果、累積カウンタｃｎｔが閾値未満であれば、候補推定部２３０は、累積区間内であるとして、候補領域Ｒ（ｉ、ｔ－１）と現時刻（ｔ）における入力画像上の領域との対応付けを行い、候補領域Ｒの位置ｐおよびスケールｓの時差ΔｐおよびΔｓを算出する（ステップＳ３０４）。ここで、候補推定部２３０は、必要ならば信頼度および累積カウンタの差分Δｖａｌ、Δｃｎｔを更新し、時差ベクトルΔ（ｉ、ｔ－１、ｔ）を求める。また、重み行列Ｗ（ｉ、ｔ－１、ｔ）の要素についても必要ならば更新する。デフォルトでは、これらの値は定数に設定されていても良い。

　次に、候補推定部２３０は、候補Ｒ（ｉ、ｔ－１）の情報を時差ベクトルΔ（ｉ、ｔ－１、ｔ）および重み行列Ｗ（ｉ、ｔ－１、ｔ）を用いて候補領域Ｒ（ｉ、ｔ－１）に更新する（ステップＳ３０５）。

　次に、候補推定部２３０は、未更新の累積候補がすべて更新されるまでの条件で処理をループさせる（ステップＳ３０６）。条件を満たした場合は終了し、満たさない場合にはＳ３０１に戻って前記処理を繰り返す。

　図１５は、図１３に示すステップＳ２０４における動作の詳細の一例を模式的に示したフローチャートである。

　図１５を参照すると、第１に、時空間相関特徴生成部２４１は、すべての保持している累積候補Ｒ（ｉ、ｔ）について、相関特徴値ｆ（ｉ、ｔ）を演算する（ステップＳ４０１）。

　次に、時空間相関特徴生成部２４１は、求めた相関特徴値ｆ（ｉ、ｔ）を、位置ｐおよびスケールｓのパラメータ空間に投影し、時空間相関特徴f (ｐ、ｓ； t)を生成する（ステップＳ４０２）。次に、時空間相関特徴生成部２４１は、生成された時空間相関特徴f (ｐ、ｓ； t)をガウス関数やMedianフィルタ等の平滑化関数を用いて平滑化する（Ｓ４０３）。

　検知領域決定部２４２は、上記ステップＳ４０１～Ｓ４０３の処理によって得られた平滑化後の時空間相関特徴f (ｐ、ｓ； t)に対するピーク処理等を行い、検知領域を決定し、対象カテゴリの物体を検知する。

　上記の構成を採用することにより、ノイズによる性能低下を時空間的平滑化効果によって抑制しながら、正しい検知領域に対応する特徴値をより強調するような特徴空間を生成することが可能となる。従って、高精度かつ時間的な整合性のあるロバストな物体検知装置を実現することが可能となる。

　このように、複数の候補検知ROIの領域の時空間的な重なりを評価した特徴量を生成し、物体検知領域の特定に利用する。当該方法により、単フレーム毎の候補検知による結果では誤検知や検知漏れを含む場合や、候補検出部が出力する評価値において誤検知領域と正しい検知領域が拮抗する場合でも、より高性能な検知領域の判断が可能となる。

　なお、上記説明では、時空間相関特徴生成部２４１は、数式７に従い、他の候補領域との和集合と積集合とを演算し、相関特徴値ｆを算出する場合について説明したがこれに限定されるものではない。時空間相関特徴生成部２４１は、異なる時刻に検出されて更新された候補領域を含む候補領域集合の中で相互の重複度を算出することで相関特徴値ｆを算出するその他の方法を採用することが可能である。

　以上各実施の形態で説明したように、本発明の検知装置は、複数の候補領域の時空間での相関を評価して最終的に現時刻における検知対象が含まれる画像領域を決定する。当該構成とすることで、画像全体が動くような悪条件下においても精度良く対象物体等の検出が可能となる。

　また、従来の物体検知装置では、誤検知や重複検知を削減するために識別器の出力に対する閾値を上げることで、検知漏れが増大するというトレードオフの関係に対して適切な処理が施されていなかった。これに対し、本発明の検知装置は、前時刻における候補領域の検出結果に基づいて推定される現時刻の推定候補領域と、現時刻における候補領域の検出結果と、の相関を評価することにより、上記トレードオフの問題に適切に対応することができる。

　すなわち、本発明の検知装置は、人物や車両など特定カテゴリの物体を検知する目的で通常用いられる物体識別器の出力を候補領域として時系列的に保持し、各候補領域の入力画像上における時間的変化を補正した上で、候補同士の時空間的な領域の重なりの相関を検知対象領域としての確からしさを表す特徴として取り出す。当該取り出した相関特徴値を検知領域の特定に利用することにより、画像ノイズ、背景、および対象の動きに起因する候補検知の結果に含まれる検知漏れ、誤検知、検知領域精度の低下を抑制・補償することを可能にし、確実かつ安定に物体領域を検知することができる。

　なお、上記説明では、検知対象が物体であるものとして説明したがこれに限定されるものではなく、所定の物体の特定動作を検知対象としても良い。すなわち、本発明の検知装置は、対象物体を検知する物体検知装置として構成されていてもよし、ジェスチャを認識するジェスチャ認識装置として構成されていても良い。

　また、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記各実施の形態で説明した各機能はハードウェアによって実現されていても良いし、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現されていても良い。また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　また、本発明は上記説明した各実施の形態を適宜組み合わせることが可能である。また、本発明は以下の形態を取ることが可能である。

　　　（付記１）
　入力画像を受け付ける画像入力手段と、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出手段と、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定手段と、前記検出手段で検出された現在の時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定手段と、を具備する検知装置。
　　　（付記２）
　前記検出手段は、検出した前記候補領域の前記入力画像中の位置、領域サイズ、前記候補領域内の画像が前記検知対象である確信度、に関する情報を候補情報として生成し、
　前記推定手段は、前記候補情報を更新することで現時刻における前記候補領域を推定する、付記１に記載の検知装置。
　　　（付記３）
　前記推定手段は、前記候補領域の前時刻から現時刻における推移を表すベクトルを算出し、前記算出したベクトルを用いて前記候補情報を更新する、付記２に記載の検知装置。
　　　（付記４）
　前記検出手段は、前記推定手段が前記候補領域を更新した回数を示す更新回数情報の初期値を更に生成し、前記推定手段は、前記候補情報を更新すると共に前記更新回数情報を合わせて更新する、付記２又は３に記載の検知装置。
　　　（付記５）
　前記推定手段は、前記更新回数情報が更新回数の限度を示す閾値を示している場合は、その後の前記候補情報の更新は行わず前記候補情報を破棄する、付記４に記載の検知装置。
　　　（付記６）
　前記決定手段は、前記検出手段において現時刻に検出された前記候補領域と、前記検出手段において累積区間内に検出され、前記推定手段において現時刻に推定された前記候補領域と、に基づいて画像平面上における重なり度合いを評価して候補領域のパラメータ空間に投影した時空間相関特徴を生成する時空間相関特徴生成手段と、前記時空間相関特徴における相関特徴値の大きさに基づいて前記検知対象が含まれる画像領域を決定する検知領域決定手段と、を備える付記２乃至５のいずれか１項に記載の検知装置。
　　　（付記７）
　前記時空間相関特徴生成手段は、前記検出手段において現時刻に検出された前記候補領域と、前記検出手段において累積区間内に検出され、前記推定手段において現時刻に推定された前記候補領域と、に基づいて画像平面上における重なり度合いを評価することで相関特徴値を算出し、前記算出した相関特徴値を候補領域のパラメータ空間に投影することで時空間相関特徴を生成する、付記６に記載の検知装置。
　　　（付記８）
　前記時空間相関特徴生成手段は、前記累積区間において保持されたすべての候補領域の集合である累積候補集合から任意に選択された第一の候補領域Ｒ１に対し、前記累積候補集合内の第二の候補領域Ｒ２との和集合Ｒ１∪Ｒ２に対する共通部分Ｒ１∩Ｒ２の割合に前記第二の候補領域Ｒ２の前記確信度を掛けた値を演算し、第二の候補領域Ｒ２について累積候補集合のすべての候補に変えながら総和をとった結果を第一の候補領域Ｒ１の相関特徴値とする、付記６又は付記７に記載の検知装置。
　　　（付記９）
　前記時空間相関特徴生成手段は、次式に従って、現時刻ｔにおける第ｉ番目の候補領域Ｒｉの相関特徴値ｆ（ｉ、ｔ）を求めることを特徴とする、付記６乃至８に記載の検知装置。

　　　　・・・（式１）
　　　（付記１０）
　前記検知領域決定手段は、前記時空間相関特徴生成手段において生成された前記時空間相関特徴における相関特徴値が、所定の閾値を超える領域において局所最大値をとる点に対応する候補領域のパラメータを前記検知対象が含まれる画像領域として決定することを特徴とする、付記６乃至９のいずれか１項に記載の検知装置。
　　　（付記１１）
　入力画像を受け付ける画像入力ステップと、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、前記検出手段で検出された現在の時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、を有する検知方法。
　　　（付記１２）
　撮像装置より入力した入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、前記検出手段で検出された現在の時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、を計算機に実行させるプログラム。
　　　（付記１３）
　画像を撮像する撮像装置と、前記撮像装置で撮像された画像を入力して対象カテゴリに含まれる物体を検知する検知装置と、前記検知装置における検知結果を表示する画像表示装置と、を含む検知システムであって、前記検知装置は、入力画像を受け付ける画像入力手段と、前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出手段と、以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定手段と、前記検出手段で検出された現在の時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定手段と、を具備する、検知システム。

　この出願は、２０１２年３月１２日に出願された日本出願特願２０１２－０５４５３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　１　検知システム
　１０　電子制御装置
　１１　中央演算装置
　１２　第１記憶装置（メモリ）
　１３　第２記憶装置（データベース）
　１４　第１インタフェース
　１５　第２インタフェース
　２０　　画像出力装置
　３０　　端末装置
　１００　　物体検知装置
　１１０　　画像入力部
　１２０　　候補検出部
　１３０　　候補推定部
　１４０　　評価決定部
　２００　　物体検知装置
　２１０　　画像入力部
　２２０　　候補検出部
　２３０　　候補推定部
　２４０　　評価決定部
　２４１　　時空間相関特徴生成部
　２４２　　検知領域決定部

Claims

　入力画像を受け付ける画像入力手段と、
　前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出手段と、
　以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定手段と、
　前記検出手段で検出された現時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定手段と、
を具備する検知装置。
　前記検出手段は、検出した前記候補領域の前記入力画像中の位置、領域サイズ、前記候補領域内の画像が前記検知対象である確信度、に関する情報を候補情報として生成し、
　前記推定手段は、前記候補情報を更新することで現時刻における前記候補領域を推定する、
　請求項１に記載の検知装置。
　前記推定手段は、前記候補領域の前時刻から現時刻における推移を表すベクトルを算出し、前記算出したベクトルを用いて前記候補情報を更新する、
　請求項２に記載の検知装置。
　前記検出手段は、前記推定手段が前記候補領域を更新した回数を示す更新回数情報の初期値を更に生成し、
　前記推定手段は、前記候補情報を更新すると共に前記更新回数情報を合わせて更新する、
請求項２又は３に記載の検知装置。
　前記推定手段は、前記更新回数情報が更新回数の限度を示す閾値を示している場合は、その後の前記候補情報の更新は行わず前記候補情報を破棄する、
　請求項４に記載の検知装置。
　前記決定手段は、
　前記検出手段において現時刻に検出された前記候補領域と、前記検出手段において累積区間内に検出され、前記推定手段において現時刻に推定された前記候補領域と、に基づいて画像平面上における重なり度合いを評価して候補領域のパラメータ空間に投影した時空間相関特徴を生成する時空間相関特徴生成手段と、
　前記時空間相関特徴における相関特徴値の大きさに基づいて前記検知対象が含まれる画像領域を決定する検知領域決定手段と、
　を備える請求項２乃至５のいずれか１項に記載の検知装置。
　前記時空間相関特徴生成手段は、前記累積区間において保持されたすべての候補領域の集合である累積候補集合から任意に選択された第一の候補領域Ｒ１に対し、前記累積候補集合内の第二の候補領域Ｒ２との和集合Ｒ１∪Ｒ２に対する共通部分Ｒ１∩Ｒ２の割合に前記第二の候補領域Ｒ２の前記確信度を掛けた値を演算し、第二の候補領域Ｒ２について累積候補集合のすべての候補に変えながら総和をとった結果を第一の候補領域Ｒ１の相関特徴値とする、
　請求項６に記載の検知装置。
　前記検知領域決定手段は、前記時空間相関特徴生成手段において生成された前記時空間相関特徴における相関特徴値が、所定の閾値を超える領域において局所最大値をとる点に対応する候補領域のパラメータを前記検知対象が含まれる画像領域として決定することを特徴とする、
　請求項６又は７に記載の検知装置。
　入力画像を受け付ける画像入力ステップと、
　前記入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、
　以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、
　前記検出手段で検出された現時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、
を有する検知方法。
　撮像装置より入力した入力画像において検知対象が含まれる画像領域の候補を候補領域として検出する検出ステップと、
　以前の時刻において前記検出手段で検出された前記候補領域を更新することで現時刻における前記候補領域を推定する推定ステップと、
　前記検出手段で検出された現在の時刻における前記候補領域と前記推定手段で推定された現時刻における前記候補領域との重なり度合いを評価して前記検知対象が含まれる画像領域を決定する決定ステップと、
　を計算機に実行させるプログラムが格納された記憶媒体。