JP5127531B2

JP5127531B2 - 画像監視装置

Info

Publication number: JP5127531B2
Application number: JP2008084350A
Authority: JP
Inventors: 直幸高田
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2008-03-27
Filing date: 2008-03-27
Publication date: 2013-01-23
Anticipated expiration: 2028-03-27
Also published as: JP2009237993A

Description

本発明は、画像監視装置に関し、特に、来店者や通行人の顔を撮影した画像に基づいて不審人物を検知する画像監視装置に関する。

近年、監視領域を撮影した監視画像に基づいて不審人物を検知する監視装置が開発されており、監視画像から人物に相当する領域を抽出し、抽出領域内の画像情報を調べて、当該領域に写っている人物が不審人物か否かを判定する技術の提案がある。例えば、その抽出領域から顔の向きを調べた結果に基づいて、不審人物と判定する不審者判定装置が提案されている（特許文献１を参照）。係る不審者判定装置は、不審人物は出入口または窓がある方向などの特定方向を注視する傾向があることに着目し、撮影画像に写った人物の顔の向きを特定して、予め設定された方向を向いている時間などが長い場合にその人物を不審人物と判定する。

特開２００６−１０９０１４号公報

特許文献１に記載された不審者判定装置では、不審人物が注視するであろう出入口や窓などの方向が監視領域ごとに異なる。そのため、監視領域を撮影する監視カメラを設置する度に、出入口や窓と監視カメラとの位置関係を調べて、監視カメラにより取得された画像上でその出入口などの方向を設定するという煩雑な作業が必要となる。

そこで、本発明の目的は、そのような煩雑な作業を要することなく、監視領域を撮影した画像から、不審人物を検知可能な画像監視装置を提供することにある。

かかる課題を解決するための本発明は、監視領域の人物を撮影した監視画像から不審人物を検出する画像監視装置を提供する。係る画像監視装置は、監視画像を順次取得する撮像部と、監視画像から人物領域を検出する人物領域検出手段と、予め正面を向いた顔の特徴点配置を記憶する配置情報記憶手段と、人物領域から顔の特徴点を抽出し、配置情報記憶手段に記憶された正面を向いた顔の特徴点配置と比較して、正面向きの顔に対する特徴点位置のずれ量を検出する顔向き検出手段と、特徴点位置のずれ量が顔を背けた状態に対応する所定量以上であれば人物領域について不審行動と判定する不審行動判定手段と、順次取得される複数の監視画像において対応する人物領域を追跡する追跡手段と、追跡手段が追跡した人物領域が不審行動と判定された回数に基づき不審人物と判定する不審人物判定手段とを有する。
不審人物に特有の心理傾向として、監視カメラ等の撮像手段を避け、顔を記録されないようにする傾向が見られる。そこで本発明では、この不審人物特有の心理傾向を利用して、監視領域において、監視カメラ等の撮像手段から意識的に、または無意識のうちに顔を背けている人物を不審人物として検出する。これにより、監視領域ごとに予め特定の注視対象を設定するといった煩雑な作業を要することなく、監視領域の撮像画像から不審人物を検出することが可能となる。

また本発明に係る画像監視装置において、顔向き検出手段は、さらに監視画像上での顔の向きを検出し、追跡手段は、複数の監視画像のそれぞれについて検出した人物領域から、監視画像上での人物領域に対応する人物の進行方向を検出し、不審行動判定手段は、複数の監視画像のうちの何れかの監視画像の人物領域において、顔の向きが進行方向と略一致する場合、その人物領域について不審行動と判定しないことが好ましい。

また本発明に係る画像監視装置において、顔向き検出手段は、さらに監視画像上での顔の向きを検出し、不審行動判定手段は、複数の監視画像のうちの何れかの監視画像の人物領域において、人物の顔の向きの延長上に、他の人物領域がある場合、その人物領域について不審行動と判定しないことが好ましい。

さらに本発明に係る画像監視装置において、配置情報記憶手段は、正面を向いた顔の特徴点配置として人の顔の３次元形状モデルを予め記憶し、顔向き検出手段は、人物領域から抽出された顔の特徴点の位置と３次元形状モデルにおける対応する特徴点の位置とが最も一致するときの３次元形状モデルの顔の向きを、正面向きの顔に対する特徴点位置のずれ量として検出することが好ましい。

本発明に係る画像監視装置は、監視カメラの設置時に煩雑な作業を必要とすることなく、監視領域を撮影した画像から、不審人物を検知できるという効果を奏する。

以下、本発明に係る画像監視装置の実施の形態について図を参照しつつ説明する。
本発明を適用した画像監視装置では、不審人物は監視カメラを発見すると、証跡性の高い顔を撮影されることを忌避するために、監視カメラから顔を背けようとする傾向にあることを利用する。そのために、係る画像監視装置は、監視カメラにより監視領域を撮影した監視画像から人物の顔に相当する領域を抽出して顔の向きを判定する。そして画像監視装置は、その顔の向きが監視カメラの方を向いていない状態が継続している場合に、その顔に対応する人物を不審人物と判定するものである。

図１は、本発明を適用した画像監視装置１０の概略構成を示す。図１に示すように、画像監視装置１０は、撮像部１００、画像処理部２００及び出力部３００を有する。以下、画像監視装置１０の各部について詳細に説明する。

撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。

撮像部１００は、監視領域内を通行または滞留する人物の顔を撮影できるように、この監視領域の動線に沿った位置に、その動線方向を撮影するよう設置される。
例えば、画像監視装置１０がコンビニエンスストアまたはスーパーマーケット等の店舗の来訪者を監視する場合、撮像部１００は、出入口を撮影範囲に含むよう、出入口正面の壁の上方または天井に、撮影方向をその出入口側へ向けた状態で取り付けられる。また、画像監視装置１０がオフィスビルの屋内の通行人を監視する場合、撮像部１００は、例えば廊下の天井あるいは壁の上方に、撮影方向をやや下方へ向けた状態で取り付けられる。

撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、100msec）ごとに１フレーム取得する。撮像部１００は、画像処理部２００と接続され、取得した監視画像を画像処理部２００へ渡す。

画像処理部２００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部２００は、撮像部１００から受け取った監視画像に基づいて、不審人物を検知する。そのために、画像処理部２００は、不審人物検知部２１０と記憶部２２０とを有する。さらに、不審人物検知部２１０は、人物領域検出手段２１１、顔向き検出手段２１２、追跡手段２１３、不審行動判定手段２１４及び不審人物判定手段２１５を有する。
このうち、不審人物検知部２１０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、不審人物検知部２１０の各手段について詳細に説明する。

人物領域検出手段２１１は、撮像部１００から受け取った各監視画像から、人物が写っている領域である人物領域を抽出する。そのために、人物領域検出手段２１１は、例えば、監視画像上の部分領域から１以上の特徴量を算出し、その特徴量が、人物に対応すると考えられる所定の条件を満たす場合に、その部分領域を人物領域として抽出する。具体的には、人物領域検出手段２１１は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布、またはそのエッジ近傍の画素の輝度分布などとすることができる。また予め、人物を撮影した複数の画像から、人物に対応するエッジ画素の方向分布やエッジ近傍の輝度分布などの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
あるいは、人物領域検出手段２１１は、予め定めたテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、人物領域として抽出するようにしてもよい。また、人物領域検出手段２１１は、監視画像と、監視領域内に人物等の移動物体が存在しない状態で撮影された基準画像との差分を行い、その差分値が所定値以上となる画素が連結した差分領域を抽出する。そして人物領域検出手段２１１は、差分領域が人物に相当すると考えれるサイズ及び形状を有している場合、その差分領域を人物領域として抽出してもよい。人物領域の抽出処理としては、既に種々の方法が知られるところであり、ここでの説明は省略する。

人物領域検出手段２１１は、人物領域を抽出すると、監視画像からその領域を切り出した人物画像を作成する。また、人物領域検出手段２１１は、元監視画像上での人物領域の重心位置及び大きさを示す人物領域情報を作成する。そして人物領域検出手段２１１は、人物画像及び関連する人物領域情報に、他の人物領域との識別に用いるための人物識別子を割り当て、それらを一つの人物情報とする。人物領域検出手段２１１は、得られた人物情報を、不審人物検知部２１０の他の手段で利用できるように記憶部２２０に記憶する。なお、人物領域検出手段２１１は、一つの監視画像中に複数の人物領域が存在する場合、全ての人物領域を抽出し、それぞれについて人物情報を作成し、記憶部２２０に記憶する。その際、人物識別子は、人物情報ごとに異なる値が設定される。

顔向き検出手段２１２は、人物画像に写っている人物の正面向きを基準とした顔向きを検出する。
図２に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系（Ｘ,Ｙ,Ｚ）では、原点Ｏは顔向きの推定対象となる人物２の頭部の略中心に設定される。またＺ軸を、その人物２の頭部と撮像部１００とを結ぶ直線とする。そしてＸ軸は、原点Ｏを通り、Ｚ軸と直交する垂直方向の直線に設定される。同様にＹ軸は、原点Ｏを通り、Ｚ軸と直交する水平方向の直線に設定される。
この座標系において、人物２の顔向きは、人物２が撮像部１００を直視した状態（すなわち、人物２が顔の正面を撮像部１００に対向させている状態）を正対状態とした場合のヨー角ψとピッチ角θの組（ψ,θ）で表される。ヨー角ψは、正対状態における人物２の顔向きに対する、左右方向の回転角（すなわち、Ｚ軸を基準とした、ＹＺ平面内での回転角）を表す。またピッチ角θは、正対状態における人物２の顔向きに対する、上下方向の回転角（すなわち、Ｚ軸を基準とした、ＸＺ平面内での回転角）を表す。以下では、ヨー角ψ、ピッチ角θを、ラジアン単位で表し、それぞれ、右向き方向または下向き方向を正とする。

顔向き検出手段２１２は、記憶部２２０から人物情報を読み出し、その人物情報に含まれる人物画像から、頭部に相当する領域を抽出する。顔向き検出手段２１２は、例えば、人物画像からエッジを抽出したエッジ画像を作成する。そして顔向き検出手段２１２は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、頭部領域として抽出することができる。この場合において、顔向き検出手段２１２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは、顔向き検出手段２１２は、人物画像あるいは人物画像のエッジ画像に対して、予め準備した頭部のテンプレートを用いてテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、頭部領域として抽出することができる。さらにまた、顔向き検出手段２１２は、人物領域検出手段２１１により抽出された人物領域の頭部に相当すると考えられる領域を頭部領域としてもよい（例えば、人物領域の上端部から、平均的な頭部のサイズ及び形状に相当する領域を切り出して、頭部領域とする）。

頭部領域が抽出されると、顔向き検出手段２１２は、その頭部領域から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段２１２は、抽出した顔特徴点の種別と頭部領域上の位置情報（例えば、頭部領域の左上端部を原点とする２次元座標値）を、算出する。例えば、顔向き検出手段２１２は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段２１２は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段２１２は、頭部領域に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。なお、上記の人物画像のエッジ画像から、頭部領域内のそのようなエッジ画素を抽出してもよい。そして顔向き検出手段２１２は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段２１２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段２１２は、顔の各部位に相当するテンプレートと頭部領域とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。

顔特徴点が抽出されると、顔向き検出手段２１２は、各顔特徴点の２次元的な分布を調べて、顔向きを検出する。つまり、本実施形態において、顔向きとは、正面を向いた（正対状態）顔からの特徴点のずれ量ということができる。
図３を参照しつつ、顔の向きと顔特徴点の関係について説明する。図３（ａ）は、対象人物が撮像部１００の方を向いている場合（すなわち、正対状態である場合）の対象人物の顔画像３１０を示す。一方、図３（ｂ）は、対象人物が撮像部１００に対して顔を背けている場合の対象人物の顔画像３３０を示す。図３（ａ）に示すように、対象人物が撮像部１００に対して顔の正面を向けている場合、鼻の頂点である鼻尖点３１１は、顔の正中線３２０上に存在する。また、左右の目尻３１２、３１３、左右の口角点３１４、３１５なども観察することができる。
一方、図３（ｂ）に示すように、対象人物が撮像部１００に対して顔を背けている場合、鼻尖点３３１は、眼や口に対して突出しているので、ヨー角ψが大きくなるほど、正中線３４０から離れていく。さらに、左右の目尻３３２、３３３、左右の口角点３３４、３３５については、対象人物が顔を回転させていくと、そのうち隠れて見えなくなる。例えば図３（ｂ）に示すよりも、対象人物がもう少し顔を右側へ回転させると、右の目尻３３３あるいは右の口角点３３５は顔画像３３０上に写らず、それらの顔特徴点を検出不可能となる。このように、顔の正中線に対する鼻尖点の位置や、検出できない顔特徴点の種別から、撮像部１００に対する対象人物の顔の向きを調べることができる。

そこで、顔向き検出手段２１２は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き検出手段２１２は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また顔向き検出手段２１２は、顔の特徴点配置の情報として正中線の方向及び正中線から鼻尖点までの距離と、少なくとも正面向きの顔を含む顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部２２０に記憶しておく。記憶部２２０は、顔の特徴点配置の情報を記憶することで配置情報記憶手段として機能する。そして顔向き検出手段２１２は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。

また顔向き検出手段２１２は、抽出された顔特徴点と、人物の顔の３次元形状を表す３次元形状モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出してもよい。この場合、人の頭部を模した標準的な３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデル）を予め準備し、記憶部２２０に記憶しておく。またその３次元形状モデルの顔特徴点の配置の情報として両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部２２０に記憶しておく。
顔向き検出手段２１２は、人物画像の頭部領域から顔特徴点が抽出されると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして顔向き検出手段２１２は、人物画像の頭部領域から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段２１２は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして顔向き検出手段２１２は、その３次元形状モデルの顔の向きから、上記のヨー角ψとピッチ角θの組（ψ,θ）を求めることができる。この場合においても、顔向きは正面向きを基準として特徴点の位置関係から算出されるのであって、すなわち正面を向いた顔からの特徴点のずれ量といえる。また、記憶部２２０は、３次元形状モデルと３Ｄ顔特徴点を記憶することで、特徴点の配置情報記憶手段として機能する。
なお、顔向き検出手段２１２は、人物画像の頭部領域から抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるよう、３次元形状モデルに回転、拡大／縮小などの処理を行って、その３次元形状モデルの顔の向きを決定してもよい。

また、人物画像の頭部領域から抽出できない顔特徴点がある場合、顔向き検出手段２１２は、その抽出できなかった顔特徴点の種別に基づいて顔の向きを検出してもよい。例えば、右目尻に相当する顔特徴点が抽出できなかった場合、顔向き検出手段２１２は、その人物は右方向へ大きく顔を背けていると判断し、ヨー角ψの値を、これ以上顔を背けると顔特徴点が抽出できなくなると考えられる角度、例えばπ/4よりも大きな値に設定する。同様に、左目尻に相当する顔特徴点が抽出できなかった場合、顔向き検出手段２１２は、その人物は左方向へ大きく顔を背けていると判断し、ヨー角ψの値を、例えば絶対値がπ／４よりも大きい負の値に設定する。

さらに、人物画像に写った人物がサングラスやマスクをしているなどの理由により、眼や口が隠されてしまい、顔特徴点を抽出できないことがある。また、その人物が顔を伏せているときも、眼や口が画像上に写らなくなり、顔特徴点を抽出できなくなる。しかし、顔を伏せている場合、頭部領域に占める頭頂部の比率が大きくなる。そこで、頭部領域から顔特徴点が全く抽出できない場合、あるいは、鼻よりも下部の特徴点が抽出できない場合、顔向き検出手段２１２は、頭部領域内に占める肌色画素の比率を算出する。そして顔向き検出手段２１２は、その比率が小さくなるほど、ピッチ角θ及びヨー角ψに大きな値を設定する。例えば、その比率が、人物領域に写った人物が顔を伏せていると考えられる場合に相当する値（例えば、２０％）となったとき、顔向き検出手段２１２は、ピッチ角θをπ／４とする。そして頭部領域内に占める肌色画素の比率がその値よりも小さければ、顔向き検出手段２１２は、ピッチ角θの値をπ／４よりも大きくする。逆にその比率がその値よりも大きければ、顔向き検出手段２１２は、ピッチ角θの値をπ／４よりも小さくする。なお、ヨー角ψ、ピッチ角θの正負は、頭部領域内の肌色画素全ての重心位置に基づいて決定される。肌色画素は、顔表面領域に相当すると考えられるので、例えば、頭部領域全体の重心位置よりも、肌色画素の重心が下側にあれば、ピッチ角θを正の値とする。また、頭部領域全体の重心位置よりも、肌色画素の重心が右側にあれば、ヨー角ψを正の値とする。
顔向き検出手段２１２は、顔の向きを表すヨー角ψ、ピッチ角θの値を求めると、それらを顔向き情報として対応する人物情報に関連付けて、記憶部２２０に記憶する。

追跡手段２１３は、各人物情報ごとに、その人物情報に含まれる人物画像に写っている人物の進行方向を検出する。後述するように、撮像部に対して顔を背けていても、この顔の向きが進行方向を向いていれば、その人物の行動は不審なものではない。そこで、その人物が進行方向を向いているか否かを判断するために、追跡手段２１３は、その人物の進行方向を求めるものである。そのために、追跡手段２１３は、同一人物によると考えられる人物領域の監視画像上の位置変化を、所定の時間間隔で連続して取得される複数の監視画像にわたって調べる。

図４を参照しつつ、人物の進行方向の検出について説明する。追跡手段２１３は、最新の監視画像から抽出された人物領域４００の重心位置４０１と、その人物領域に写っている人物と同一人物のものであると考えられる、１フレーム前の監視画像から抽出された人物領域４１０の重心位置４１１の差を進行方向ベクトル４２０として求めて、対応する人物領域の時間的な移動を追跡する。そして追跡手段２１３は、進行方向ベクトル４２０の方向を、その人物の進行方向とする。また、追跡手段２１３は、進行方向ベクトル４２０の長さ（すなわち、重心位置間の距離）を、その２枚の監視画像の取得時期の差で割った値を、その人物の移動速度とする。

最新の監視画像あるいはその１フレーム前若しくは数フレーム前の監視画像から抽出された人物領域が複数存在する場合、追跡手段２１３は、様々な公知のトラッキング処理を用いて、それら順次取得された複数の監視画像における、同一人物に対応する人物領域を追跡して特定することができる。例えば、追跡手段２１３は、最新の監視画像から抽出された人物領域のうち、着目する人物領域について、その着目人物領域の重心位置と、１フレーム前に取得された監視画像から抽出された全ての人物領域の重心位置との距離を求める。そして追跡手段２１３は、最も重心間の距離の短い人物領域を、着目人物領域に写っている人物と同一人物の人物領域とすることができる。あるいは、追跡手段２１３は、１フレーム前に取得された監視画像から抽出された着目人物領域について進行方向及び移動速度が求められている場合、その進行方向及び移動速度から、最新の監視画像におけるその人物の位置を推定してもよい。この場合、追跡手段２１３は、最新の監視画像から抽出した人物領域のうち、その推定位置に最も近い人物領域を、１フレーム前の監視画像の着目人物領域に写っている人物と同一人物の人物領域とすることができる。

追跡手段２１３は、着目する人物領域について、１フレーム前に取得された監視画像において同一人物によるものと考えられる人物領域がある場合、その人物領域同士が同一人物のものであることを表すために、その着目する人物領域に割り当てられた人物識別子を、１フレーム前に取得された監視画像における対応人物領域に割り当てられた人物識別子と同じ値に設定する。
また追跡手段２１３は、求めた進行方向ベクトルの長さを１に正規化した正規化進行方向ベクトル及び移動速度を、進行方向情報として、対応する人物情報に関連付けて記憶部２２０に記憶する。

不審行動判定手段２１４は、最新の監視画像から抽出された人物領域のうち、着目する人物領域に写っている人物（以下着目者という）について、不審行動をとっているか否かを判断する。そして不審行動をとっていると判断した場合、その着目者の不審行動回数Ｎを１加算する。不審行動回数Ｎは、初期値が０に設定され、順次撮影された複数の監視画像にわたって所定の人物が不審行動を行っていることを示す度合いであり、複数の監視画像にわたって同一人物に対応する人物情報ごとに計算される。

そこでまず、不審行動判定手段２１４は、着目者が不審行動をとっていることの指標として、着目者が撮像部１００に対して顔を背けている程度を表すカメラ敬遠度Ｃ_avoidを算出する。カメラ敬遠度Ｃ_avoidは、例えば以下の式により算出される。
Ｃ_avoid＝α｜ψ｜＋β｜θ｜（１）
ここで、α及びβは、それぞれヨー角ψ、ピッチ角θに対する重み係数である。この重み係数α、βは、撮像部１００の設置状況に応じて最適化することができる。例えば、撮像部１００を通路の天井に設置して、上方からその通路方向を撮影する場合、通路の奥側から撮像部１００の方へ向かってくる通行人の顔の向きについて求めたヨー角ψ（顔の左右方向の向きを表す）は、通行人と撮像部１００との距離には依存しない。一方、通行人の顔の向きについて求めたピッチ角θ（顔の上下方向の向きを表す）は、通行人がずっと同じ方向を向いていたとしても、通行人と撮像部１００との距離が小さくなるにつれて大きくなると考えられる。そこで、このような場合には、ヨー角ψの方が、通行人が撮像部１００に対して顔を背けているか否かを正確に表していると考えられる。そのため、カメラ敬遠度に占めるヨー角ψの比重が、ピッチ角θの比重よりも大きくなるように、重み係数αを重み係数βよりも大きくする（例えば、α＝１、β＝０．７）。なお、重み係数αとβを同じ値（例えば、α＝β＝１）に設定してもよい。
さらに、カメラ敬遠度Ｃ_avoidを、上記の（１）式を用いる代わりに、他の式を用いて算出してもよい。例えば、カメラ敬遠度Ｃ_avoidを、ヨー角ψの２乗値とピッチ角θの２乗値の和としてもよい。

次に、不審行動判定手段２１４は、着目者の行動が不審行動と判定することが禁止される、すなわち、着目者の行動は正常行動であることを示す正常行動指標Ｅの値を設定する。この正常行動指標Ｅは、原則として'０'の値を有し、着目者が撮像部１００から顔を背けていても、不審行動ではないと判断される場合、すなわち、その行動が正常行動であると判断される場合'１'となる。一例として、不審行動判定手段２１４は、着目者が進行方向を向いているか否か判断する。着目者が進行方向を向いている場合、着目者は撮像部１００に対して故意に顔を背けているとは考えられないので、着目者の行動は不審行動に該当しない、すなわち不審行動と判定することを禁止する。そこで、不審行動判定手段２１４は、着目者に対応する顔向き情報のヨー角ψ及びピッチ角θから、監視画像上において着目者の顔向きを表す単位方向ベクトルを算出する。そして不審行動判定手段２１４は、その単位方向ベクトルと、着目者の人物情報に関連付けて記憶部２２０に記憶されている正規化進行方向ベクトルの内積を計算する。そして内積値が１に近い所定値以上（例えば、０．９８、両方向ベクトルのなす角が約１０度未満）である場合、不審行動判定手段２１４は、着目者は進行方向を向いていると判断し、正常行動指標Ｅを１に設定する。なお、不審行動判定手段２１４は、着目者の顔向きと進行方向が一致しているか否かを調べるために、撮像部１００の撮影方向、焦点距離などの撮影条件が分かっている場合、それらの撮影条件を用いて、撮像部１００から着目者までの距離を推定することにより、正規化進行方向ベクトルを図２の正規直交座標系（Ｘ,Ｙ,Ｚ）上に投影した３次元単位方向ベクトルを求めてもよい。同様に、不審行動判定手段２１４は、顔向き情報から、正規直交座標系（Ｘ,Ｙ,Ｚ）上における単位方向ベクトルを求める。そして不審行動判定手段２１４は、進行方向ベクトルから求めた３次元単位方向ベクトルと、顔向き情報から求めた３次元単位方向ベクトルとの内積値を計算してもよい。

また、不審行動判定手段２１４は、着目者の行動が不審行動と判定することを禁止する条件として、着目者が他の人物の方を向いているか否かを判断基準としてもよい。着目者が他の人物と会話している場合には、着目者は撮像部１００に対して故意に顔を背けているとは考えられないので、着目者の行動は不審行動に該当しない、すなわち、着目者の行動は正常行動であるとする。この場合、不審行動判定手段２１４は、例えば、着目者の顔向き情報から求めた上記の単位方向ベクトルの延長先が、他の人物領域と重なる場合、着目者は他の人物の方を向いていると判断して、正常行動指標Ｅを１に設定する。なお、不審行動判定手段２１４は、着目者の顔向き情報から求めた単位方向ベクトルの延長先が、他の人物領域のうち、頭部領域と重なる場合にのみ、着目者は他の人物の方を向いていると判断して、正常行動指標Ｅを１に設定するようにしてもよい。さらに、不審行動判定手段２１４は、着目者の顔向き情報から求めた単位方向ベクトルの延長先と何れかの頭部領域が重なる場合、その頭部領域に該当する他人の顔向きと着目者の顔向きが略対向している場合に、正常行動指標Ｅを１に設定するようにしてもよい。具体的には、不審行動判定手段２１４は、上記の他人の顔向きの単位方向ベクトルを求め、着目者の顔向きの単位方向ベクトルとの内積値を求める。そしてその内積値が−１に近い場合（例えば−０．９８以下）に、不審行動判定手段２１４は正常行動指標Ｅを１に設定する。

不審行動判定手段２１４は、着目者について、正常行動指標Ｅが０の場合、カメラ敬遠度Ｃ_avoidが所定の閾値Th1以上か否か判定する。カメラ敬遠度Ｃ_avoidがその閾値Th1以上である場合、不審行動判定手段２１４は、着目者の前回判定時の不審行動回数Ｎを、人物識別子に基づいて特定して記憶部２２０から読み出し、不審行動回数Ｎを１加算する。そして不審行動判定手段２１４は、着目者の不審行動回数Ｎを、その着目者の人物情報に関連付けて記憶部２２０に記憶する。なお閾値Th1は、撮像部１００に対して顔向きが正対している状態から所定量以上この顔向きが外れていることを判定する値であって、撮像部１００に対して顔を背けていることを判断するための判断基準である。この閾値Th1は、例えば、着目者の両目尻、または両口角点の何れかが監視画像上に写らなくなったときの顔向きに相当する値とすることができる。あるいは、事前に、カメラに対して故意に顔を背けた状態とそうでない状態の人を撮影して、それぞれの状態におけるカメラ敬遠度Ｃ_avoidを求め、判別分析などを用いて求めたその境界値を、閾値Th1としてもよい。
一方、正常行動指標Ｅが１の場合、あるいはカメラ敬遠度Ｃ_avoidが所定の閾値Th1未満の場合、不審行動判定手段２１４は、記憶部２２０から読み出した不審行動回数Ｎを加算せず、そのまま着目者の人物情報に関連付けて、記憶部２２０に記憶する。

不審人物判定手段２１５は、着目者に関連付けられている不審行動回数Ｎに基づいて、その着目者が不審人物か否か判断する。例えば、不審人物判定手段２１５は、時間的に連続する複数の監視画像において着目者に対応する人物領域が最初に検出されてから（以下、フレームインという）、その着目者に対応する人物領域が検出されなくなるまで（以下、フレームアウトという）、あるいは最新の監視画像取得時までの時間のうち、９割以上に相当する時間の間、着目者が不審行動をとり続けていれば、着目者を不審人物とする。具体的には、不審行動回数Ｎが、フレームインからフレームアウトあるいは最新の監視画像取得時までの間に取得された全監視画像数の９割以上に達する場合、不審人物判定手段２１５は、その着目者を不審人物として特定する。ただし、不審人物判定手段２１５は、フレームインから最新の監視画像取得時までの期間に基づいて不審人物か否か特定する場合、その期間が所定時間を超えてから、不審人物か否かの判断を行うことが好ましい。この所定時間は、監視領域内を通行したり滞留する人物について、不審人物と判定するのに必要最小限の時間であり、撮像される監視領域の広さに応じて設定されてよい。本実施の形態では、例えば、１分間に設定される。
不審人物判定手段２１５は、不審人物として特定された着目者に関する人物情報を、出力部３００へ出力する。

記憶部２２０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部２２０には、画像監視装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部２２０は、画像監視装置１０の動作中、各フレーム毎に上記の人物情報（すなわち、人物識別子、人物画像、顔向き情報、進行方向情報及び不審行動回数など）を記憶する。さらに記憶部２２０は、人物画像から切り出した当該人物の顔画像（すなわち、頭部領域及びその周囲を含む画像）を、人物識別子と関連付けて記憶してもよい。特に、記憶部２２０は、不審人物判定手段２１５により不審人物と判定された人物に対応する一連の人物画像のうち、最も正面向きの顔画像（例えば、カメラ敬遠度C_avoidが最小となる顔画像）を、人物識別子と関連付けて記憶してもよい。あるいは、記憶部２２０は、全ての顔特徴点が検出できた顔画像を、人物識別子と関連付けて記憶してもよい。なお、顔画像の切り出し、人物識別子との関連付けなどの処理は、画像処理部２００を構成するマイクロプロセッサ上で動作し、画像監視装置１０全体を制御する制御部（図示せず）により行われる。
さらに、記憶部２２０は、人物の進行方向を正確に求めるために、撮像部１００に関する諸条件（例えば、設置高、焦点距離、撮影方向）を記憶していてもよい。

出力部３００は、画像処理部２００と接続され、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置、スピーカまたは振動装置などを有する。そして出力部３００は、画像処理部２００の不審人物検知部２１０が不審人物を検知したとき、その旨を示すメッセージを表示したり、警報を発することにより、監視者に報知する。さらに出力部３００は、不審人物に関する人物情報、またはその人物情報に関連付けられた上記の顔画像を表示するようにしてもよい。
なお出力部３００は、公衆通信回線または構内ローカルエリアネットワークなどを介して画像処理部２００と接続され、画像処理部２００と別個に配置された監視装置でもよい。

以下、図５に示したフローチャートを参照しつつ、本発明を適用した画像監視装置１０の不審人物検出処理の動作を説明する。なお、以下に説明する動作のフローは、上記の制御部（図示せず）により制御される。
最初に、画像監視装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００の不審人物検知部２１０へ送る（ステップＳ１００）。次に、不審人物検知部２１０の人物領域検出手段２１１は、取得された監視画像から人物領域を検出する（ステップＳ１１０）。そして人物領域検出手段２１１は、抽出した人物領域から人物情報（人物画像、人物領域情報及び人物識別子を含む）を作成する。次に、画像処理部２００は、一つ以上の人物領域が検出されたか否か判定する（ステップＳ１２０）。人物領域が全く検出されなかった場合、画像監視装置１０は不審人物検出処理を終了する。

一方、ステップＳ１２０において、一つ以上の人物領域が検出され、人物情報が作成された場合、不審人物検知部２１０は、作成された人物情報の中から、着目する人物情報を設定する（ステップＳ１３０）。そして不審人物検知部２１０の顔向き検出手段２１２は、その着目人物情報に含まれる人物画像から抽出した顔特徴量の分布に基づいて、その着目人物情報に対応する着目者の顔の向きを検出する。顔向き検出手段２１２は、検出した着目者の顔の向きを、顔向き情報として着目人物情報に関連付けて記憶部２２０に記憶する（ステップＳ１４０）。また、不審人物検知部２１０の追跡手段２１３は、１フレーム前に取得された監視画像から検出された人物領域のうち、着目者と同一人物によると考えられるものを特定して、その１フレーム前の監視画像について求められた人物情報と着目人物情報を関連付ける。そして追跡手段２１３は、最新の監視画像における着目者の人物領域の位置と、１フレーム前の着目者と同一人物の人物領域の位置の差などに基づいて、着目者の進行方向を検出する（ステップＳ１５０）。そして追跡手段２１３は、その進行方向を表す進行方向情報を、着目人物情報に関連付けて記憶部２２０に記憶する。

次に、不審人物検知部２１０の不審行動判定手段２１４は、着目者について、その顔向き情報に基づいてカメラ敬遠度Ｃ_avoidを算出する（ステップＳ１６０）。また、不審行動判定手段２１４は、着目者の顔向き情報、進行方向情報などから算出した着目者の顔の向きと進行方向の一致度合いなどに基づいて、正常行動指標Ｅの値を設定する（ステップＳ１７０）。
その後、不審行動判定手段２１４は、着目者が不審行動をとっているか否かを判定する（ステップＳ１８０）。具体的には、正常行動指標Ｅが着目者の行動が正常行動であることを示さず（すなわち、本実施形態ではＥ＝０）、かつカメラ敬遠度Ｃ_avoidが顔を背けていることに相当する閾値Th1以上である場合、不審行動判定手段２１４は、着目者が不審行動をとっていると判断する。そして不審行動判定手段２１４は、着目者に対応する人物識別子と関連付けられた不審行動回数Ｎを記憶部２２０から読み出し、１加算して更新する（ステップＳ１９０）。一方、ステップＳ１８０において、正常行動指標Ｅが正常行動であることを示すか（すなわち、本実施形態ではＥ＝１）、カメラ敬遠度Ｃ_avoidが閾値Th1未満である場合、不審行動判定手段２１４は、不審行動回数Ｎを加算せずに更新し、ステップＳ２００へ進む。

次に、不審人物検知部２１０の不審人物判定手段２１５は、着目者の不審行動回数Ｎを、所定回数と比較する（ステップＳ２００）。なお、所定回数は、例えば、着目者がフレームインしてから現在までの総フレーム数の９割である。そして不審人物判定手段２１５は、着目者の不審行動回数Ｎがその所定回数以上であれば、着目者を不審人物と特定し、出力部３００を介して不審人物を検知したことを報知する（ステップＳ２１０）。一方、ステップＳ２００において、着目者の不審行動回数Ｎがその所定回数未満の場合、不審人物判定手段２１５は、現時点において着目者は不審人物でないと判断し、ステップＳ２２０へ進む。

その後、不審人物検知部２１０は、最新の監視画像から作成された人物情報のうち、着目されていない人物情報が残っているか否か判定する（ステップＳ２２０）。そして着目されていない人物情報が残っている場合、不審人物検知部２１０は、制御をステップＳ１３０へ戻し、未だ着目されていない人物情報の中から、着目する人物情報を設定し、ステップＳ１４０〜Ｓ２２０の処理を繰り返す。
一方、ステップＳ２２０において、着目されていない人物情報が残っていない場合、画像監視装置１０は、不審人物検出処理を終了する。
画像監視装置１０は、上記の不審人物検出処理を、一定の時間間隔で、例えば監視画像が取得される度に繰り返す。

以上説明してきたように、本発明を適用した画像監視装置１０は、監視領域を撮像部１００で撮影した監視画像から、その監視画像に写っている対象者の顔の向きを検出し、撮像部１００に対して長時間顔を背けている場合に、対象者を不審人物と特定する。このように、係る画像監視装置１０は、予め不審者と判定するための特定の注視対象の方向を設定しなくても、不審人物を特定することができるので、画像監視装置１０の設置時に、設置環境に依存する煩雑な設定を行わなくてもよい。さらに、画像監視装置１０は、対象者の顔の向きと進行方向の一致度合いなどに基づいて、対象者の行動が正常行動か否かを調べ、その行動が正常行動である場合には、対象者が顔を撮像部１００から背けていても、不審行動との判定を禁止することにより、正常な行動をとっている人物を不審人物と誤判定することを防止できる。そのため、画像監視装置１０は、高い精度で不審人物を特定することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、撮像部１００として、ステレオカメラを用いてもよく、あるいは、同一の監視領域を異なる角度で撮影する複数のカメラで構成してもよい。この場合、ステレオカメラまたは複数のカメラにより同時に撮影された複数の監視画像から、公知の技術を用いて監視領域の３次元情報を再構成することができる。そのため、追跡手段２１３も、公知の技術を用いて監視領域内で検出された人物の進行方向を３次元的に決定できるので、より正確にその進行方向を調べることができる。また不審行動判定手段２１４も、正常行動指標Ｅを算出する際、その人物の顔の向きと進行方向の一致度合いを、より正確に算出することができる。さらに不審行動判定手段２１４は、着目する人物が他人の方を向いているか否かも正確に判定することが可能となる。

さらに、上記の実施形態では、不審行動判定手段２１４は、不審行動の指標として、カメラ敬遠度Ｃ_avoidが所定の閾値Th1以上のときに、不審行動回数を１ずつ加算するように構成した。しかしその代わりに、不審行動判定手段２１４は、正常行動指標Ｅが０のとき（正常行動とは認められないとき）のカメラ敬遠度Ｃ_avoidそのものを累算するようにしてもよい。そして不審人物判定手段２１５は、その累算値が所定の閾値を超えたときに、対応する人物を不審人物と判定する。あるいは、不審行動判定手段２１４は、着目者について、正常行動指標Ｅの値を先に設定し、着目者の行動が正常行動と認められないときに限り、カメラ敬遠度Ｃ_avoidを算出し、その他の場合にはカメラ敬遠度Ｃ_avoidを０とするようにしてもよい。
さらに、不審行動判定手段２１４は、各人物情報について、不審行動回数を記憶する代わりに、不審行動の継続時間を記憶するようにしてもよい。この場合、不審人物判定手段２１５は、着目者について、不審行動の継続時間が所定時間（例えば、１分間）を超えた場合、その着目者を不審人物と判定する。

さらに、不審行動判定手段２１４が、着目者が不審行動をとったと判定したときの人物に対応する人物画像からその人物の顔画像を抽出して、カメラ敬遠度Ｃ_avoidと共にその人物に関連付けて記憶部２２０に記憶し、不審人物判定手段２１５が、その人物を不審人物と判定したとき、その人物に関連付けて記憶部２２０に記憶されている顔画像のうち、最も小さいカメラ敬遠度Ｃ_avoidと関連付けられている顔画像を検出する検出手段をさらに備えていてもよい。カメラ敬遠度Ｃ_avoidが小さいということは、当該人物が撮像部１００の方に顔を向けていることを意味し、その最小値を示したフレームでは撮像部１００に最も正対した状態に近い顔画像になっていることが期待できるからである。その検出手段が検出した顔画像は、不審人物の追跡、以降撮像部１００から入力される監視画像との比較により不審人物の自動検出、該当者の再来訪時の検知などに用いてもよい。

さらに、不審人物判定手段２１５は、不審人物と判定した着目者に対応する人物情報から、顔画像または人物画像と、顔画像中の色ヒストグラム、顔特徴点の位置など、それらの画像から抽出した特徴量とを、照合処理用の不審人物特徴情報として登録し、記憶部２２０に記憶してもよい。そしてその不審人物特徴情報を、不審人物の追跡、以降撮像部１０から入力される監視画像との比較により不審人物の自動検出、該当者の再来訪時の検知などに用いてもよい。
また、本発明を適用した画像監視装置を、ＡＴＭの操作者など、一定地点に留まっている一人の人物を不審人物か否かを判定する場合、上記の追跡手段を省略してもよい。この場合、対象者が撮像部から顔を背けていると、不審行動であると判断できるように、撮像部を、ＡＴＭの操作画面など、対象者が作業のために着目すべき場所の近傍に設置することが好ましい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

本発明を適用した画像監視装置の概略構成図である。対象人物の顔の向きを規定する座標系を示す図である。（ａ）は、対象人物が撮像部の方を向いている場合の対象人物の顔画像の概略図であり、（ｂ）は、対象人物が撮像部に対して顔を背けている場合の対象人物の顔画像の概略図である。対象人物の進行方向を模式的に表す図である。本発明を適用した画像監視装置の不審人物検出処理に関する動作を示すフローチャートである。

符号の説明

１０画像監視装置
１００撮像部
２００画像処理部
２１０不審人物検知部
２１１人物領域検出手段
２１２顔向き検出手段
２１３追跡手段
２１４不審行動判定手段
２１５不審人物判定手段
２２０記憶部
３００出力部

Claims

監視領域の人物を撮影した監視画像から不審人物を検出する画像監視装置であって、
前記監視画像を順次取得する撮像部と、
前記監視画像から人物領域を検出する人物領域検出手段と、
予め正面を向いた顔の特徴点配置を記憶する配置情報記憶手段と、
前記人物領域から顔の特徴点を抽出し、前記配置情報記憶手段に記憶された前記正面を向いた顔の特徴点配置と比較して、正面向きの顔に対する特徴点位置のずれ量を検出する顔向き検出手段と、
前記特徴点位置のずれ量が顔を背けた状態に対応する所定量以上であれば前記人物領域について不審行動と判定する不審行動判定手段と、
前記順次取得される複数の監視画像において対応する人物領域を追跡する追跡手段と、
前記追跡手段が追跡した人物領域が前記不審行動と判定された回数に基づき不審人物と判定する不審人物判定手段と、
を有することを特徴とする画像監視装置。
前記顔向き検出手段は、さらに前記監視画像上での顔の向きを検出し、
前記追跡手段は、前記複数の監視画像のそれぞれについて検出した前記人物領域から、前記監視画像上での前記人物領域に対応する人物の進行方向を検出し、
前記不審行動判定手段は、前記複数の監視画像のうちの何れかの監視画像の人物領域において、前記顔の向きが前記進行方向と略一致する場合、当該人物領域について不審行動と判定しない、請求項１に記載の画像監視装置。
前記顔向き検出手段は、さらに前記監視画像上での顔の向きを検出し、
前記不審行動判定手段は、前記複数の監視画像のうちの何れかの監視画像の人物領域において、前記人物の顔の向きの延長上に、他の人物領域がある場合、当該人物領域について不審行動と判定しない、請求項１に記載の画像監視装置。
前記配置情報記憶手段は、前記正面を向いた顔の特徴点配置として人の顔の３次元形状モデルを予め記憶し、
前記顔向き検出手段は、前記人物領域から抽出された前記顔の特徴点の位置と前記３次元形状モデルにおける対応する特徴点の位置とが最も一致するときの前記３次元形状モデルの顔の向きを、前記正面向きの顔に対する特徴点位置のずれ量として検出する、
請求項１〜３の何れか一項に記載の画像監視装置。