JP6621435B2 - 行列長推定装置、方法、及びプログラム - Google Patents

Description

本発明は、行列長推定装置、方法、及びプログラムに係り、特に、人物の待ち行列の長さを推定する行列長推定装置、方法、及びプログラムに関する。

カメラを用いてその場所における行列の状態を計測、推定する技術は、基本とする画像処理技術の点から大きく２つに分類することができる。

一つ目は、画像中の個人を検出または追跡することで人数や待ち時間を計測する技術である。特許文献１では、カメラから入力された画像系列を用いて、前景画像（背景差分）と速度画像（オプティカルフロー）を算出し、これらに基づき個人を検出するとともに、行列長と行列内の人物の移動速度を推定している。

二つ目は、個人個人を検出することなく、画像内の所定領域内の画像特徴を計算し、これに基づき混雑度合を推定する手法である。非特許文献１では、人の密度が高まるにつれて画像のテクスチャが複雑化する（壁や床面などの背景に比べ、雑踏の画像は濃淡の空間変化が複雑になる）ことに着目し、テクスチャの複雑度を示す指標として、画像テクスチャのフラクタル次元を計算し、その値に基づき混雑度を推定している。この方法またはこのような画像のテクスチャ特徴に基づき混雑度合を推定する手法は、混雑時に発生するオクルージョンの問題に対して頑健であり、横向きに近いカメラ画像にも適用可能であるという長所を持つ。

特開2007-317052号公報

A.N. Marana, L.F. Costa, R.A. Lotufo, and S.A. Velastin. "On the efficacy of texture analysis for crowd monitoring", SIBGRAPI ’98, pp.354-361, Oct. 1998.

しかしながら、上記一つ目の技術のように個人個人を検出する手法は、カメラの撮影角度が横向きに近く画像上で人物同士が重畳する所謂オクルージョンが発生する状況においては正しい結果が得られなくなるという問題があった。

上記二つ目の技術では、行列待ちによる混雑と通過者による混雑を区別することができないため、行列以外の通過者が多い場所には適用できないという問題があった。また、その場所の背景（人がいない状態の画像）に細かな構造物や模様があり複雑なテクスチャを持つ場合など、背景の状態によっては、テクスチャ特徴からだけでは、混雑しているのかどうかを正しく判断できなくなるという問題もあった。

本発明は、上記問題点を解決するために成されたものであり、横向きに近いカメラにおいても適用可能で、かつ行列と通過者が混在するような状況、さらに背景が複雑なテクスチャを持つような場合であっても、精度良く行列長を推定することができる行列長推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る行列長推定装置は、固定カメラで撮影した映像を用いて、人物の待ち行列の長さを推定する行列長推定装置であって、時系列順にフレーム画像の入力を受け付ける入力部と、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の時間変化を分析することで人物の滞留度を評価する滞留度評価部と、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の空間分布を分析することで人物の混雑度を評価する混雑度評価部と、前記小ブロック毎に、前記小ブロックについて評価された前記滞留度及び前記混雑度に基づいて、行列らしさの評価値を算出する小ブロック毎行列らしさ算出部と、画像中に設定された複数の判定用領域の各々について、前記判定用領域に含まれる小ブロックの各々について算出された前記行列らしさの評価値を統合することで、前記判定用領域が行列状態にあるかどうかを判定する行列状態判定部と、前記行列状態にあると判定された前記判定用領域がどれだけ連続して並んでいるかを判定することで、前記人物の待ち行列の長さを推定する行列長推定部と、を含んで構成されている。

本発明に係る行列長推定方法は、固定カメラで撮影した映像を用いて、人物の待ち行列の長さを推定する行列長推定装置における行列長推定方法であって、入力部が、時系列順にフレーム画像の入力を受け付け、滞留度評価部が、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の時間変化を分析することで人物の滞留度を評価し、混雑度評価部が、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の空間分布を分析することで人物の混雑度を評価し、小ブロック毎行列らしさ算出部が、前記小ブロック毎に、前記小ブロックについて評価された前記滞留度及び前記混雑度に基づいて、行列らしさの評価値を算出し、行列状態判定部が、画像中に設定された複数の判定用領域の各々について、前記判定用領域に含まれる小ブロックの各々について算出された前記行列らしさの評価値を統合することで、前記判定用領域が行列状態にあるかどうかを判定し、行列長推定部が、前記行列状態にあると判定された前記判定用領域がどれだけ連続して並んでいるかを判定することで、前記人物の待ち行列の長さを推定する。

本発明に係るプログラムは、上記発明に係る行列長推定装置の各部として機能させるためのプログラムである。

本発明の行列長推定装置、方法、及びプログラムによれば、小ブロック毎に、滞留度及び混雑度を評価して、行列らしさの評価値を算出し、複数の判定用領域の各々について、行列らしさの評価値を統合することで、行列状態にあるかどうかを判定し、行列状態にあると判定された判定用領域がどれだけ連続して並んでいるかを判定することで、人物の待ち行列の長さを推定することにより、横向きに近いカメラにおいても適用可能で、かつ行列と通過者が混在するような状況、さらに背景が複雑なテクスチャを持つような場合であっても、精度良く行列長を推定することができる、という効果が得られる。

本発明の実施の形態に係る行列長推定装置の構成を示すブロック図である。 滞留度を算出する方法を説明するための図である。 混雑度を算出する方法を説明するための図である。 行列状態を判定し、行列長を推定する方法を説明するための図である。 本発明の実施の形態に係る行列長推定装置における行列長推定処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る行列長推定装置における滞留度を評価する処理の流れを示すフローチャートである。 本発明の実施の形態に係る行列長推定装置における混雑度を評価する処理の流れを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る行列長推定装置の構成＞
次に、本発明の実施の形態に係る行列長推定装置の構成について説明する。図１に示すように、本発明の実施の形態に係る行列長推定装置１００は、ＣＰＵと、ＲＡＭと、後述する行列長推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この行列長推定装置１００は、機能的には図１に示すように、入力部１０と、演算部２０と、出力部９０とを備えている。

入力部１０は、固定カメラで撮影した映像の動画ファイル、又は静止画系列などの画像系列からフレーム画像を１枚ずつ取得する。ここでは時系列順にフレーム画像の入力を受け付ける。

なお、本実施の形態では、固定カメラで撮影された画像データ（映像データ）を計算機に入力し計算機上で画像処理を実施する場合を想定しているが、その詳細な形態は限定しない。また固定カメラから画像（映像）を逐一取得しながら処理を行うリアルタイム型の処理、一旦ハードディスクなどの記録媒体に記録された画像（映像）を読み出しながら処理していくオフライン型の処理のいずれに対しても適用可能である。

演算部２０は、滞留度評価部３０と、混雑度評価部４０と、小ブロック毎行列らしさ算出部５０と、行列状態判定部６０と、行列長推定部７０とを備えている。

滞留度評価部３０は、順次入力されたフレーム画像系列に対して、その画素値の時間的な変化を分析することで、画像中の小ブロック（画素もしくは小領域）毎に一時的に滞留する人物がいる可能性（ここでは滞留度と呼ぶ）を評価する。滞留度を評価する具体的な手法の一例を以下、図２を参照しながら説明する。

滞留度評価部３０は、微分画像生成部３１と、微分画像短時間平均部３２と、微分画像長時間平均部３３と、小ブロック毎相関値算出部３４と、滞留度算出部３５とを備えている。

微分画像生成部３１は、フレーム画像の各々に対して、Sobelフィルタなどにより画素値の空間勾配（一次微分（または二次微分））を算出して微分画像を生成する。

微分画像短時間平均部３２及び微分画像長時間平均部３３は、生成された微分画像を、現在から過去の一定時間（もしくは一定のフレーム枚数）に対して平均化する。この際、どの程度過去まで遡るか（平均を取る際の時間幅）については短時間のものと長時間のものとの二通りを考え、それぞれ平均化処理を行う。この平均化の際の時間幅（もしくは枚数）については経験的に設定すれば良いが、例としては、短時間の平均については、0.5秒間隔、合計2秒（4枚程度）で平均化し、長時間の平均については1秒間隔、合計3分（180枚程度）で平均化する。定性的な目安としては、図２中段の図のように、短時間平均をとることによって主として背景のエッジと滞留者のエッジが観測される（平均化により通過者のエッジは弱くなる）状態となるように（極力このような性質の画像が得られるように）、また長時間平均を取ることによって行列に並んでいる人も含めて人物のエッジがあまり観測されなくなる状態となるように（行列が進めば平均画像のエッジはボケるので、行列であっても動いていることが期待される程度の長めの時間で）、パラメータを決めれば良い（絶対的な指針はないので処理結果を見ながら試行錯誤的に決定する）。

小ブロック毎相関値算出部３４は、前述の処理で得られた微分画像の短時間平均画像と微分画像の長時間平均画像について、画像上の同じ位置にある個々の小ブロック（例えば画像全体を20画素×20画素の矩形の小ブロックにタイル分割したもの）毎に、相関値を算出する。相関値の算出アルゴリズムとしては、正規化相関、位相限定相関など様々なものがあるが、ここではその相関算出アルゴリズムは限定せず、小ブロックの画像の輝度パターンが類似している場合に高い相関値が出力されるアルゴリズムであれば良い。
なお、二つの画像のフーリエ変換の位相成分を取り出して相関を計算する位相限定相関法は、画素値の絶対値にあまり依存せず、画像上の輝度の変化点（画素値が空間方向に対して急峻に変化する点）が同じ位置にある場合に高い相関値が出力される性質があるため、前述の微分画像の短時間平均画像、長時間平均画像に何らかのノイズや輝度変動等が加わっている場合にも比較的安定した結果を得ることができる。

滞留度算出部３５は、小ブロック毎に、算出された相関値に基づいて、滞留度を算出する。上記のようにして相関値を算出した場合、一定時間滞留した人物が存在している小ブロックでは、その相関値が低い値をとることが期待される。つまり相関値が小さいほど滞留度が高いという関係にある。したがって相関値が仮に−１〜＋1で出力されるのであれば、以下の式によって、滞留度を算出すれば良い。

滞留度＝1−(相関値+1)／2

混雑度評価部４０は、入力されたフレーム画像の各々に対して、その画素値の空間的な変化つまり画像上のテクスチャを分析することで、画像中の小ブロック（画素もしくは小領域）毎に混雑度合（ここでは混雑度と呼ぶ）を評価する。これは、人が密集し、画像上で人の頭部や上半身が密集している状態などでは、画像のテクスチャに特徴が表れるため、個人個人の数を数えなくともテクスチャの状態から大凡の混雑状態を推定できるという知見に基づいている。混雑度を評価する具体的な手法の一例を以下、図３を参照しながら説明する。

混雑度評価部４０は、短時間平均部４１と、二次微分算出部４２と、小ブロック毎統計値算出部４３と、混雑度算出部４４とを備えている。

短時間平均部４１は、フレーム画像を、現在から過去の一定の短時間（もしくは一定のフレーム枚数）に対して平均化して生成される短時間平均画像を求める。

二次微分算出部４２は、短時間平均画像の二次微分（Laplacianフィルタなどを用いて計算できる）を計算する。

小ブロック毎統計値算出部４３は、小ブロック毎に、計算された二次微分値の平均値または分散値である統計値を算出する。例えば、二次微分値の平均値は、混雑度の簡便な指標となる。

混雑度算出部４４は、滞留度評価部３０で設定した小ブロックと同じ小ブロック毎に、混雑度の指標となるテクスチャの評価値（例としては二次微分値の平均値）を算出する。なお、二次微分値の代わりにSobelフィルタ等による一次微分値を用いても類似した結果が期待できるが、ごみごみとした人ごみ特有のテクスチャと二次微分値の大きさは良く対応するため、二次微分値のほうがより良い結果が得られると期待できる。また微分値の平均値だけでなく、その分散も混雑度を示す指標として有用と考えられる。なお、このようなテクスチャの状態を表すテクスチャ特徴から混雑度を推定する手法は、上記の例の他、非特許文献1をはじめとして様々な手法が存在しているため、本発明においてはその方法は限定しないものとする。また、単にフレーム画像の微分を計算するのではなく、画像の時間平均（数秒程度の比較的に短い時間で）をとった画像について微分値を算出する方式のほうがより精度良く行列に関する混雑度を評価できると期待される。これは、行列に並んでいる人は基本は静止しつつたまに動く、という性質があるため、短時間で見るとほぼ静止していることが多く、短時間平均をとることで、通過者については輪郭がぼやけて微分値（または二次微分値）の絶対値が小さくなるが、行列中の人物からは高い微分値が出ることが期待できるためである。またテクスチャ特徴からの混雑度の算出においては、一般的な前景検出技術（動き領域の検出技術）と組み合せ、全く動きの検出されない画素や小ブロックについてはテクスチャ特徴を算出しない（先の二次微分値の例であれば二次微分値を算出しない）、評価しない等、動きの全くない領域では混雑度の値が低くなるような工夫を加えることで、複雑なテクスチャを持つ場所を誤って行列状態と判定してしまう可能性を抑制することができる。

小ブロック毎行列らしさ算出部５０は、前述のようにして小ブロック毎に算出された滞留度および混雑度を統合して、行列らしさの評価値を算出する。滞留度が高く、かつ混雑度が高い場合にその小ブロックは行列らしいものと考え、例えば、滞留度と混雑度の和または積を計算することで行列らしさの評価値を得ることができる。

行列状態判定部６０は、画像中に設定された複数の判定用領域の各々について、当該判定用領域に含まれる小ブロックの各々について算出された行列らしさの評価値を統合することで、当該判定用領域が行列状態にあるかどうかを判定する。

具体的には、行列長を推定するために、図４のように画像内に複数の判定用領域を設定して、それぞれの判定用領域が行列状態にあるかどうかを判定することで、行列がどこまで伸びているのか（行列長）を推定する。なおこの判定用領域は、固定カメラを設置後、目視で、画像上で行列ができると想定される位置に設定する（典型的には、図４の例のように、想定される行列の始点から行列の伸びる方向に、少しずつずらしながら複数の判定用領域を設定していく）。それぞれの判定用領域が行列状態にあるかどうかの判定は、前述したように小ブロック毎に算出された行列らしさの評価値に基いてそれぞれの判定用領域が行列状態にあるか否かを判定する。簡便には、判定用領域毎にそこに含まれる小ブロックの行列らしさ評価値の平均値を求め、その平均値が予め経験的に設定しておいた閾値以上である場合には行列状態と判定し、閾値未満である場合には行列状態ではないと判定すれば良い。

なお、前述の小ブロック毎の行列らしさの評価値は、その場所の人の写り方や動きに応じて時々刻々一定の揺らぎ（不安定さ）を伴うことが考えられる。一方で行列が形成されている場合には、数十秒から数分程度の時間幅で行列は存在しているものと考えられるため、例えば、小ブロック毎に算出された行列らしさ評価値の時間平均（時間方向の移動平均）をとることで、最終的な判定結果を安定させることができる。

行列長推定部７０は、行列状態にあると判定された判定用領域がどれだけ連続して並んでいるかを判定することで、人物の待ち行列の長さを推定する。

また、人物の待ち行列の長さと待ち時間の関係が経験的に既知である場合（例えば、判定用領域２番までの行列は15分待ちなど）、人物の待ち行列の長さの推定結果から待ち時間を推計することも可能となる。

＜本発明の実施の形態に係る行列長推定装置の作用＞
次に、本発明の実施の形態に係る行列長推定装置１００の作用について説明する。行列長推定装置１００は、入力部１０によって所定時間範囲のフレーム画像を時系列順に受け付ける毎に、図５に示す行列長推定処理ルーチンを繰り返し実行する。

まず、ステップＳ１００では、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の時間変化を分析することで人物の滞留度を評価する。

ステップＳ１０２では、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の空間分布を分析することで人物の混雑度を評価する。

ステップＳ１０４では、小ブロック毎に、当該小ブロックについて上記ステップＳ１００、Ｓ１０２で評価された滞留度及び混雑度に基づいて、行列らしさの評価値を算出する。

ステップＳ１０６では、画像中に設定された複数の判定用領域の各々について、当該判定用領域に含まれる小ブロックの各々について上記ステップＳ１０４で算出された行列らしさの評価値を統合することで、当該判定用領域が行列状態にあるかどうかを判定する。

ステップＳ１０８では、行列状態にあると判定された判定用領域がどれだけ連続して並んでいるかを判定することで、人物の待ち行列の長さを推定し、出力部９０により出力し、行列長推定処理ルーチンを終了する。

上記ステップＳ１００は、図６に示す処理ルーチンにより実現される。

ステップＳ１１０では、フレーム画像の各々に対し、当該フレーム画像の一次微分又は二次微分を算出して微分画像を生成する。

ステップＳ１１２では、微分画像を、短時間範囲に亘って平均化して、微分画像の短時間平均画像を生成する。

ステップＳ１１４では、微分画像を、長時間範囲に亘って平均化して、微分画像の長時間平均画像を求める。

ステップＳ１１６では、小ブロック毎に、長時間平均画像及び短時間平均画像の当該小ブロックにおける相関値を算出する。

ステップＳ１１８では、小ブロック毎に、算出された相関値に基づいて、滞留度を算出し、処理ルーチンを終了する。

上記ステップＳ１０２は、図７に示す処理ルーチンにより実現される。

ステップＳ１２０では、フレーム画像を、所定の短時間範囲に亘って平均化して、フレーム画像の短時間平均画像を生成する。

ステップＳ１２２では、短時間平均画像について、画像の空間方向の二次微分を算出する。

ステップＳ１２４では、小ブロック毎に、計算された二次微分の統計値を算出する。

ステップＳ１２６では、小ブロック毎に、算出された二次微分の統計値に基づいて、混雑度を算出し、処理ルーチンを終了する。

以上説明したように、本発明の実施の形態に係る行列長推定装置によれば、小ブロック毎に、滞留度及び混雑度を評価して、行列らしさの評価値を算出し、複数の判定用領域の各々について、行列らしさの評価値を統合することで、行列状態にあるかどうかを判定し、行列状態にあると判定された判定用領域がどれだけ連続して並んでいるかを判定することで、人物の待ち行列の長さを推定することにより、横向きに近いカメラにおいても適用可能で、かつ行列と通過者が混在するような状況、さらに背景が複雑なテクスチャを持つような場合であっても、精度良く行列長を推定することができる。

また、本発明の実施の形態では、個人の検出を一切行うことなく、テクスチャ特徴から混雑度を算出し、また行列中の人が基本的には静止しつつたまに動くと言う動きの特徴を滞留度として積極的に評価し、最終的にこれらを総合して判定することで、オクルージョンの発生するような横向きに近いカメラにおいても適用可能で、また行列と通過者が混在するような状況、さらに背景が複雑なテクスチャを持つような場合にも精度良く行列長を推定することができるようになる。

また、各種窓口、イベント会場等の行列待ちが発生しやすい場所における安全管理やオペレーション最適化のために、その場所の行列の状態をカメラ画像から計測し、特に人物の待ち行列の長さを計測、推定することができる。

本発明の実施の形態では、個人の検出を一切行うことなく、テクスチャ特徴から混雑度を算出し、また行列中の人が基本的には静止しつつたまに動くと言う動きの特徴を滞留度として積極的に評価し、最終的にこれらを総合して判定することで、オクルージョンの発生するような横向きに近いカメラにおいても適用可能で、また行列と通過者が混在するような状況、さらに背景が複雑なテクスチャを持つような場合にも精度良く行列長を推定することができるようになる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、小ブロック毎に滞留度を評価する方法として、上述した方法とは異なる方法を用いても良い。また、小ブロック毎に混雑度を評価する方法として、上述した方法とは異なる方法を用いても良い。

１０ 入力部
２０ 演算部
３０ 滞留度評価部
３１ 微分画像生成部
３２ 微分画像短時間平均部
３３ 微分画像長時間平均部
３４ 小ブロック毎相関値算出部
３５ 滞留度算出部
４０ 混雑度評価部
４１ 短時間平均部
４２ 二次微分算出部
４３ 小ブロック毎統計値算出部
４４ 混雑度算出部
５０ 小ブロック毎行列らしさ算出部
６０ 行列状態判定部
７０ 行列長推定部
９０ 出力部
１００ 行列長推定装置

Claims (7)

1. 固定カメラで撮影した映像を用いて、人物の待ち行列の長さを推定する行列長推定装置であって、
   時系列順にフレーム画像の入力を受け付ける入力部と、
   時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の時間変化を分析することで人物の滞留度を評価する滞留度評価部と、
   時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の空間分布を分析することで人物の混雑度を評価する混雑度評価部と、
   前記小ブロック毎に、前記小ブロックについて評価された前記滞留度及び前記混雑度に基づいて、前記滞留度が高く、かつ、前記混雑度が高いほど、行列らしさの評価値が高くなるように、前記行列らしさの評価値を算出する小ブロック毎行列らしさ算出部と、
   画像中に設定された複数の判定用領域の各々について、前記判定用領域に含まれる小ブロックの各々について算出された前記行列らしさの評価値を統合することで、前記判定用領域が行列状態にあるかどうかを判定する行列状態判定部と、
   前記行列状態にあると判定された前記判定用領域がどれだけ連続して並んでいるかを判定することで、前記人物の待ち行列の長さを推定する行列長推定部と、
   を含む行列長推定装置。
2. 前記滞留度評価部は、
   時系列順に入力されたフレーム画像の各々について、前記フレーム画像の一次微分又は二次微分を算出して微分画像を生成する微分画像生成部と、
   前記微分画像を、長時間範囲に亘って平均化して生成される、微分画像の長時間平均画像を求める微分画像長時間平均部と、
   前記微分画像を、短時間範囲に亘って平均化して生成される、微分画像の短時間平均画像を求める微分画像短時間平均部と、
   前記小ブロック毎に、前記微分画像の長時間平均画像及び前記微分画像の短時間平均画像の前記小ブロックにおける相関値を算出する小ブロック毎相関算出部と、
   前記小ブロック毎に、前記算出された相関値に基づいて、前記滞留度を算出する滞留度算出部とを含む請求項１記載の行列長推定装置。
3. 前記滞留度評価部は、
   時系列順に入力されたフレーム画像を、所定の時間範囲に亘って平均化して生成される、フレーム画像の短時間平均画像を求める短時間平均部と、
   前記フレーム画像の短時間平均画像について、画像の空間方向の二次微分を算出する二次微分算出部と、
   前記小ブロック毎に、前記算出された二次微分の統計値を算出する小ブロック毎統計値算出部と、
   前記小ブロック毎に、前記算出された二次微分の統計値に基づいて、前記混雑度を算出する混雑度算出部とを含む請求項１又は２記載の行列長推定装置。
4. 固定カメラで撮影した映像を用いて、人物の待ち行列の長さを推定する行列長推定装置における行列長推定方法であって、
   入力部が、時系列順にフレーム画像の入力を受け付け、
   滞留度評価部が、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の時間変化を分析することで人物の滞留度を評価し、
   混雑度評価部が、時系列順に入力されたフレーム画像に基づいて、画像中の小ブロック毎に、画素値の空間分布を分析することで人物の混雑度を評価し、
   小ブロック毎行列らしさ算出部が、前記小ブロック毎に、前記小ブロックについて評価された前記滞留度及び前記混雑度に基づいて、前記滞留度が高く、かつ、前記混雑度が高いほど、行列らしさの評価値が高くなるように、前記行列らしさの評価値を算出し、
   行列状態判定部が、画像中に設定された複数の判定用領域の各々について、前記判定用領域に含まれる小ブロックの各々について算出された前記行列らしさの評価値を統合することで、前記判定用領域が行列状態にあるかどうかを判定し、
   行列長推定部が、前記行列状態にあると判定された前記判定用領域がどれだけ連続して並んでいるかを判定することで、前記人物の待ち行列の長さを推定する
   行列長推定方法。
5. 前記滞留度評価部が評価することでは、
   微分画像生成部が、時系列順に入力されたフレーム画像の各々について、前記フレーム画像の一次微分又は二次微分を算出して微分画像を生成し、
   微分画像長時間平均部が、前記微分画像を、長時間範囲に亘って平均化して生成される、微分画像の長時間平均画像を求め、
   微分画像短時間平均部が、前記微分画像を、短時間範囲に亘って平均化して生成される、微分画像の短時間平均画像を求め、
   小ブロック毎相関算出部が、前記小ブロック毎に、前記微分画像の長時間平均画像及び前記微分画像の短時間平均画像の前記小ブロックにおける相関値を算出し、
   滞留度算出部が、前記小ブロック毎に、前記算出された相関値に基づいて、前記滞留度を算出することを含む請求項４記載の行列長推定方法。
6. 前記滞留度評価部が評価することでは、
   短時間平均部が、時系列順に入力されたフレーム画像を、所定の時間範囲に亘って平均化して生成される、フレーム画像の短時間平均画像を求め、
   二次微分算出部が、前記フレーム画像の短時間平均画像について、画像の空間方向の二次微分を算出し、
   小ブロック毎統計値算出部が、前記小ブロック毎に、前記算出された二次微分の統計値を算出し、
   混雑度算出部が、前記小ブロック毎に、前記算出された二次微分の統計値に基づいて、前記混雑度を算出することを含む請求項４又は５記載の行列長推定方法。
7. コンピュータを、請求項１〜請求項３のいずれか１項に記載の行列長推定装置の各部として機能させるためのプログラム。