JP4572175B2 - 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム - Google Patents

Description

本発明は、映像から非定常映像を検出する装置，方法及びそのプログラムに関するものである。

従来の非定常映像検出技術としては、時空間の抽出された特徴量から非定常映像検出を行う方法(例えば、非特許文献１参照)が知られている。

前述の方法は、特徴量として立体高次自己相関特徴を用いることによって、対象の切り出しを不要にでき、複数人物の中で一人が非定常という場合の非定常映像検出にも適応できる、という利点を有する。

なお、非定常映像検出技術に関連する技術として、パラメータ更新アルゴリズム（例えば、非特許文献２参照）、１クラスＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（サポートベクターマシン））（例えば、非特許文献３参照）が知られている。
南里卓也，大津展之、「複数人動画像からの異常動作検出」、電子情報通信学会技術研究報告ＰＲＭＵ２００４−７７、２００４−０９（平成１６年９月）、ｐｐ．９−１６。 Ｃ．Ｓｔａｕｆｆｅｒ，Ｗ．Ｇｒｉｍｓｏｎ、"Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ" ，ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９９（平成１１年），ｐｐ．２４６−２５２． 麻生英樹，津田宏治，村田昇、「パターン認識と学習の統計学」、岩波書店、平成１５年４月、ｐｐ．１２６−１２７。

上述の非定常映像検出技術では、局所特徴を用いているため、画面上での位置関係の情報を使用していない。しかし、人間が監視映像の非定常性を判定する際に、人の動作などの局所的な情報だけでなく、大局的な位置情報から判断する（例えば、人や物体が画面上のどこに出現するか、など）場合も多いと考えられている。

また、監視映像の非定常性を判定する際に、通常のスピードで移動している通行人と極端に異なるスピードで異動している通行人は、非定常として検出される必要がある。しかし、動画像におけるカット（即ち、一つの連続した場面）中で大局的な位置と速度情報を非定常性の判定に利用する技術は、現在の技術には見られないものであった。

上述の非定常映像検出技術では、変化領域の二値画像生成段階、特徴量抽出段階、識別段階、という順序で検出を行っている。しかし、前述の順序では、背景の時間的な変化を考慮していないため、二値画像生成段階で情報の欠落、ノイズ混入が発生していた。

本発明は、前記課題に基づいてなされたものであって、画面上の位置情報に基づいた非定常と動きからみた非定常の双方を検出し、時間情報も含んだ特徴量を利用して非定常映像検出を行う非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラムを提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、映像情報に含まれる映像カットから非定常な映像カットを検出する非定常映像検出装置であって、データ管理手段から映像ファイルとリストファイルから成る映像カットを取得する映像入力手段と、各映像カットに含まれるフレーム毎に変化領域を検出し、１つの映像カットに含まれるフレーム分時間方向を並べたことを、１つの映像カットに対応した１つの特徴ベクトルと見做す特徴ベクトル生成手段と、生成された特徴ベクトルの主成分分析を行い、特徴ベクトルの次元数を削減して、特徴ベクトルの圧縮を行う特徴ベクトル圧縮手段と、その圧縮された特徴ベクトルの特徴空間における分布に基づき、教師なし学習によってはずれ値を検出し、はずれ値を出力した場合の該特徴ベクトルを非定常ベクトルと見做して検出する非定常ベクトル検出手段と、検出された非定常ベクトルに対応する映像カットを非定常な映像カットと見做して出力する非定常カット出力手段と、を有することを特徴とする。

請求項２記載の発明は、請求項１記載の発明において、前記特徴ベクトル生成手段が、フレームに含まれる画素毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行う、ことを特徴とする。

請求項３記載の発明は、請求項１記載の発明において、前記特徴ベクトル生成手段が、フレームに含まれる小領域毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行う、ことを特徴とする。

請求項４記載の発明は、映像情報に含まれる映像カットから非定常な映像カットを検出する非定常映像検出方法であって、データ管理手段から映像ファイルとリストファイルから成る映像カットを取得する映像入力ステップと、各映像カットに含まれるフレーム毎に変化領域を検出し、１つの映像カットに含まれるフレーム分時間方向に並べたことを、１つの映像カットに対応した１つの特徴ベクトルと見做す特徴ベクトル生成ステップと、生成された特徴ベクトルの主成分分析を行い、特徴ベクトルの次元数を削減して、特徴ベクトルの圧縮を行う特徴ベクトル圧縮ステップと、その圧縮された特徴ベクトルの特徴空間における分布に基づき、教師なし学習によってはずれ値を検出し、はずれ値を出力した場合の該特徴ベクトルを非定常ベクトルと見做して検出する非定常ベクトル検出ステップと、検出された非定常ベクトルに対応する映像カットを非定常な映像カットと見做して出力する非定常カット出力ステップと、を有することを特徴とする。

請求項５記載の発明は、請求項４記載の発明において、前記特徴ベクトル生成ステップが、フレームに含まれる画素毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする。

請求項６記載の発明は、請求項４記載の発明において、前記ベクトル生成ステップが、フレームに含まれる小領域毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする。

請求項７記載の発明は、非定常映像検出プログラムであって、請求項４乃至６のいずれかに記載の非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

前記の請求項１，４の発明によれば、時空間に関する変化情報を含む特徴量を取得できる。また、非定常ベクトル検出手段における処理を減少させる。

前記の請求項２，５の発明によれば、フレームに含まれる画素に基づいて、背景の時間的な変化を考慮した確率モデルを生成できる。

前記の請求項３，６の発明によれば、フレームに含まれる小領域に基づいて、背景の時間的な変化を考慮した確率モデルを生成できる。

前記の請求項７の発明によれば、請求項４乃至６のいずれかに記載の非定常映像検出方法をコンピュータプログラムとして取得できる。

なお、さらに具体的には、請求項１に記載の発明において、非定常ベクトル検出手段が、第２統計処理手段として１クラスサポートベクターマシンを用いることもできる。即ち、教師なし学習を行うことができる。

また、請求項１記載の発明において、特徴ベクトル圧縮手段が、次元圧縮に主成分分析手段を用いることもできる。即ち、特徴ベクトル圧縮手段における処理を減少できるため、高速に非定常な映像カットを出力できる。

請求項４に記載の発明において、非定常ベクトル検出ステップが、第２統計処理手段として１クラスサポートベクターマシンを用いることもできる。即ち、教師なし学習を行うことができる。

また、請求項４に記載の発明において、特徴ベクトル圧縮ステップが、次元圧縮に主成分分析手段を用いることもできる。即ち、特徴ベクトル圧縮ステップにおける処理を減少できるため、高速に非定常な映像カットを出力できる。

以上示したように請求項１，４の発明によれば、時空間に関する変化情報を含む特徴量によって、物体の位置および速度の両者、もしくはどちらか一方から、非定常な映像カットを提供できる。また、処理を減少できるため、高速に非定常な映像カットを出力できる。

請求項２，５の発明によれば、前記確率モデルによって、背景が時間的に変化する場合にも非定常な映像カットを頑健に認識できる。

請求項３，６の発明によれば、前記確率モデルによって、背景が時間的に変化する場合にも非定常な映像カットを頑健に認識できる。

請求項７の発明によれば、非定常映像検出方法を実装したコンピュータプログラムを実行できる。

これらを以って監視装置分野に貢献できる。

以下、本発明の実施の形態における非定常映像検出装置について、その方法と共に説明する。

本実施の形態における非定常映像検出の基本方法は、次の通りである。

まず、映像に関するカット（即ち、映像カット）において、特定の時間（例えば、数秒程度）、特定の画像の大きさ（即ち、画像の画素数）に関する３次元的な変化領域を特徴量と見做す。即ち、この特徴量は、ある程度連続した動きの情報を反映できるものである。

次に、背景の時間的な変化を考慮した変化領域抽出方法（或いは、変化検出方法）を適用し、映像カットから変化領域を正確に抽出する。即ち、この変化領域抽出方法を適応することによって、例えば、朝、昼、夜と日照の変化に応じて変わる背景であっても、影の強弱があっても、その前景での通常と異なる映像カットを頑健に認識できる。

そして、前述の特徴量を識別器に入力することによって、動作の単位で通常と異なる映像カット（即ち、非定常映像カット）を正確に認識（検出）する。

以下に本実施の形態における非定常映像検出装置の構成を図１及び図３に基づいて説明する。本実施の形態における非定常映像検出装置の構成は、映像入力部１０１，特徴ベクトル１０２，特徴ベクトル１０３，非定常ベクトル検出部１０４，非定常カット出力部１０５から成る。

映像入力部１０１は、複数の映像カット（例えば、図３中のカットＣ１〜Ｃｋ）を取得し、特徴ベクトル生成部１０２に入力する部である。なお、本実施の形態では、複数のフレーム（画像）から成る１つのビデオファイル（例えば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｉｎｇ）形式ファイルなど）や複数の画像ファイル（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式ファイルなど）と、その映像としての並び（例えば、フレームまたは画像の並び、ビデオファイルの並び）に関する記述を含むテキスト形式ファイル（以後、リストファイルと称する）と、の組合せを映像カットと見做すこととする。即ち、意味的な連続シーン，背景が同一のシーン，物体の位置が変化しないまとまったシーンなどを総称して映像カットと称することもできる。

また、ビデオファイル，複数の画像ファイルを総じて映像ファイルと称することとする。また、複数の画像ファイルの各ファイルの画像をフレームと見做しても良い。また、映像入力部１０１は、映像ファイル，リストファイルを格納したデータ管理手段（例えば、一般的な映像情報を格納したデータベースなど）から映像カットを取得して特徴ベクトル生成部１０２に送っても良い。

特徴ベクトル生成部１０２は、入力された複数の映像に関する映像カットを入力された順に以下の処理を行なう部である。

まず、１つの映像カットを構成する複数枚のフレームに対し、そのフレーム毎に変化検出処理を行う。なお、変化検出処理は、変化検出単位（例えば、１枚のフレームに含まれる特定の小領域または画素）毎に行なうものとする。変化検出単位（例えば、特定の小領域毎、画素毎）の選択、変化検出単位に小領域を選択した場合における特定の小領域の大きさを予め設定するものとする。その特定の小領域の大きさは、すべてのフレーム、すべての映像カットに共通のものとする。

次に、変化検出処理の結果、各フレームの各画素に対応し、その画素の時間的な変化の有無を数値と見做した画像が生成される。

例えば、各フレームに背景差分を施し、変化画像を生成する。なお、変化画像とは、例えば、差分の絶対値が一定の閾値を超えた点を「１」、越えない点を「０」と見做した二値画像、差分の絶対値を正規化した多値画像である。

変化画像は、１つの映像カットに関してフレーム数分時間方向に並んで生成される。この映像カットに含まれるフレーム数分時間方向に並んだ変化画像群を時空間特徴ベクトルと見做すこととする。なお、時空間特徴ベクトルの次元数は、１フレームの画素数に１映像カットのフレーム数を乗じた数である。

以上のようにして、１つの映像カットに対応した１つの時空間特徴ベクトル（例えば、図３中の符号Ｖ１からＶｋで示される時空間特徴ベクトル）が生成される。なお、生成された時空間特徴ベクトルは、例えば、一時的に、メモリに記憶されていても良い。

特徴ベクトル圧縮部１０３は、時空間特徴ベクトルを圧縮する部である。例えば、図３中のＦ’（１）（符号ＤＶ１）〜Ｆ’（ｋ）（符号ＤＶｋ）は、圧縮された時空間特徴ベクトルである
即ち、すべての映像カットに対応する時空間特徴ベクトルＦ（ｋ）（ｋ＝１，．．．，Ｋ、Ｋは映像カットの数）の主成分分析を行なうことである。さらに、予め定めた寄与率を超える次数までの主軸に投影した係数を用いてＦ（ｋ）の次元数を削減する（即ち、統計的処理を施す）ことによって圧縮を行う。

そして、すべての映像カットについて圧縮された時空間特徴ベクトルが生成されると、その時空間特徴ベクトルは非定常ベクトル検出部１０４へ送られる。

非定常ベクトル検出部１０４は、時空間特徴ベクトルの特徴空間における分布に基づき、統計的処理（或いは、統計的処理手段）によってはずれ値を検出し、このはずれ値となった時空間特徴ベクトルを非定常ベクトルと見做して出力する部である。なお、時空間特徴ベクトルの次数を可変に設定すると統計処理を困難にするため、時空間特徴ベクトルの次数は一定に設定することが望ましい。従って、非定常映像検出装置に入力される映像カットは、フレームサイズ及びフレーム数が一定な映像カットに限定する。

非定常カット出力部１０５は、非定常ベクトルと判定された特徴ベクトルに対応する映像カットを非定常映像カットと見做して出力する。

次に、特徴ベクトル生成部１０２における特徴ベクトル生成方法を図２乃至図３も基づいて説明する。なお、以下の説明では、背景における画素毎の確率モデルを作成するものとする。

より具体的には、背景における画素毎の確率モデルの作成は、ある１画素の画素値の時間変化のヒストグラムに対して混合分布モデルをあてはめ、背景に属すると見做された分布のみを抽出する操作である。なお、画素毎ではなく、小領域毎に確率モデルの作成を行う場合には、領域に番号ｎを付与し、以下の表記の(ｘ，ｙ)をｎで置き換えて操作を行えばよい。

また、映像カットの入力される順番をｋ、映像カット中のフレームの順番をｔ、フレームに含まれる画素をＩ(ｘ，ｙ，ｔ)、背景の確率モデルをＢ(ｘ，ｙ，ｔ)、時刻ｔにおいて画素Ｉ(ｘ，ｙ，ｔ)が前景である確率をＰ(ｘ，ｙ，ｔ)と定義する。

まず、映像のｋ番目の映像カット（例えば、図３中の映像カットＣ１〜Ｃｋ）が入力される（Ｓ１１）と、画素の位置(ｘ，ｙ)毎に以下の処理を行う。なお、ステップＳ１２とＳ１４は、処理中のラベル定義と変数定義であるため、説明を省く。

背景の初期モデルＢ(ｘ，ｙ，０)を作成し、時空間特徴ベクトルＦ（ｋ）を初期化する（Ｓ１３）。

なお、初期モデルは、画素毎に映像カットの先頭の数十フレーム分の画素値の分布から求めた正規混合分布と見做す。また、初期モデルにおいて、数十フレームから正確な分布を推定することは困難であり、かつ、この初期モデルは以降の処理によって逐次的に更新されるため、数十フレームに関する平均と分散に基づいて適当な初期パラメータを与えるものとする。

また、時空間特徴ベクトルＦ（ｋ）は、１映像カット分の総画素数（即ち、フレームの画素数に１映像カットのフレーム数を乗じた数）分のスカラーの１次元配列で、成分をすべて「０」として初期化される。

次に、ｔ番目のフレームの画素Ｉ(ｘ，ｙ，ｔ)の値が、背景の正規混合分布Ｂに含まれるか否かを判定し、この判定結果を適合度Ｐ(ｘ，ｙ，ｔ)と見做す（Ｓ１５）。

なお、適合度は、前記分布Ｂの中心からＩまでの距離が、該分布Ｂの分散値の定数倍以内に含まれている場合を値「１」、含まれていない場合を値「０」と見做す。また、前記適合度は、前記分布ＢからＩが発生する確率値としてもよい。

前記適合度Ｐの値に基づいて、Ｂ(ｘ，ｙ，ｔ)のパラメータを更新してＢ(ｘ，ｙ，ｔ＋１)とする（Ｓ１６）。なお、パラメータ更新アルゴリズムは、上述のアルゴリズム（非特許文献２参照）でよい。

そして、適合度Ｐに基づいて時空間特徴ベクトルＦ（ｋ）を更新する（Ｓ１７）。即ち、Ｆ（ｋ）＝（Ｐ（０，０，０），Ｐ（１，０，０），．．．，Ｐ（Ｘ，Ｙ，０），．．．，Ｐ（Ｘ，Ｙ，Ｔ））とする。例えば、図３中の符号Ｖ１〜Ｖｋで示される時空間特徴ベクトルが得られる。なお、時空間特徴ベクトルＦ（ｋ）を閾値処理によって二値で表すこともできる。

以上のステップＳ１５〜Ｓ１７をフレーム数分繰り返す（Ｓ１８）。

また、以上のステップＳ１２〜Ｓ１８を総画素数分繰り返す（Ｓ１９）。

非定常ベクトル検出部１０４における非定常ベクトル検出方法を以下に説明する。

まず、非定常映像検出装置に入力された映像カットの数と同じ数の圧縮された時空間特徴ベクトルが、特徴ベクトル生成部１０２から入力される。

非定常ベクトル検出部１０４は、前記入力された時空間特徴ベクトルを識別器に入力し、識別器が入力された時空間特徴ベクトルに対してはずれ値を返却した場合、その時空間特徴ベクトルを非定常ベクトルと見做して出力する。

なお、識別器では、教師なし学習の方法（例えば、Ｋ−ｍｅａｎｓ法、１クラスＳＶＭ、ＥＭアルゴリズム）を用いることができる。

Ｋ−ｍｅａｎｓ法は、入力データを加えながら全入力データの平均値をクラスタ中心として更新していく方法である。

１クラスＳＶＭは、入力空間での孤立点が原点近傍に写像されるような高次元特徴空間において孤立点を求める方法（非特許文献３参照）である。

ＥＭアルゴリズムは、データの分布を確率モデルで記述し、データの分布パラメータの推定と尤度最大化を繰り返す方法である。

以上の非定常映像検出装置に関する方法をコンピュータプログラムとして記述し、コンピュータに実行させることによって、非定常映像検出装置を実現できる。

また、以上の非定常映像検出装置に関する方法を記述したコンピュータプログラムを、非定常映像検出装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、本実施の形態の装置構成の変形として、デジタルビデオカメラ装置から必要な数分の映像カットを取得し、その必要な数分の映像カットを高速で大容量の記憶装置（例えば、メモリなど）に一時的に格納して特徴ベクトル生成部１０２に送っても良い。

本実施の形態における非定常映像検出装置の構成図。 本実施の形態における特徴ベクトル生成方法を示すフローチャート。 本実施の形態における非定常映像検出に関する概念図。

符号の説明

１０１…映像入力部
１０２…特徴ベクトル生成部
１０３…特徴ベクトル圧縮部
１０４…非定常ベクトル検出部
１０５…非定常カット出力部
Ｃ１，Ｃｋ…カット
Ｖ１，Ｖｋ…特徴ベクトル
ＤＶ１，ＤＶｋ…圧縮された時空間特徴ベクトル

Claims (7)

1. 映像情報に含まれる映像カットから非定常な映像カットを検出する非定常映像検出装置であって、
   データ管理手段から映像ファイルとリストファイルから成る映像カットを取得する映像入力手段と、
   各映像カットに含まれるフレーム毎に変化領域を検出し、１つの映像カットに含まれるフレーム分時間方向を並べたことを、１つの映像カットに対応した１つの特徴ベクトルと見做す特徴ベクトル生成手段と、
   生成された特徴ベクトルの主成分分析を行い、特徴ベクトルの次元数を削減して、特徴ベクトルの圧縮を行う特徴ベクトル圧縮手段と、
   その圧縮された特徴ベクトルの特徴空間における分布に基づき、教師なし学習によってはずれ値を検出し、はずれ値を出力した場合の該特徴ベクトルを非定常ベクトルと見做して検出する非定常ベクトル検出手段と、
   検出された非定常ベクトルに対応する映像カットを非定常な映像カットと見做して出力する非定常カット出力手段と、
   を有することを特徴とする非定常映像検出装置。
2. 前記特徴ベクトル生成手段が、
   フレームに含まれる画素毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする請求項１に記載の非定常映像検出装置。
3. 前記特徴ベクトル生成手段が、
   フレームに含まれる小領域毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする請求項１に記載の非定常映像検出装置。
4. 映像情報に含まれる映像カットから非定常な映像カットを検出する非定常映像検出方法であって、
   データ管理手段から映像ファイルとリストファイルから成る映像カットを取得する映像入力ステップと、
   各映像カットに含まれるフレーム毎に変化領域を検出し、１つの映像カットに含まれるフレーム分時間方向に並べたことを、１つの映像カットに対応した１つの特徴ベクトルと見做す特徴ベクトル生成ステップと、
   生成された特徴ベクトルの主成分分析を行い、特徴ベクトルの次元数を削減して、特徴ベクトルの圧縮を行う特徴ベクトル圧縮ステップと、
   その圧縮された特徴ベクトルの特徴空間における分布に基づき、教師なし学習によってはずれ値を検出し、はずれ値を出力した場合の該特徴ベクトルを非定常ベクトルと見做して検出する非定常ベクトル検出ステップと、
   検出された非定常ベクトルに対応する映像カットを非定常な映像カットと見做して出力する非定常カット出力ステップと、
   を有することを特徴とする非定常映像検出方法。
5. 前記特徴ベクトル生成ステップが、
   フレームに含まれる画素毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする請求項４に記載の非定常映像検出方法。
6. 前記ベクトル生成ステップが、
   フレームに含まれる小領域毎に、時間方向の画素値の分布に基づいて背景の確率モデルを生成し、該確率モデルをフレーム毎に更新することによって変化領域抽出を行うことを特徴とする請求項４に記載に非定常映像検出方法。
7. 請求項４乃至６のいずれかに記載の非定常映像検出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする非定常映像検出プログラム。

Images