JP2018107587A - 監視システム - Google Patents

Abstract

【課題】複数台の撮像装置からの画像処理演算をシステムで管理し、限られたシステムリソースでも最適な画像処理結果を出力する必要性がある。【解決手段】監視システムは、（ａ）撮像した画像を送信する画像送信部と、要求を受信する要求受信部と、前記要求を撮像装置方向に適用するためのモーター制御部と、前記要求を撮像装置画角に適用するための画角制御部と、有する撮像装置と、（ｂ）前記撮像装置からの画像を用いて演算を実施する画像処理演算部と、前記画像処理部の演算結果を蓄積するデータベース部と、前記データベースに蓄積される前記演算結果を空間的および時間的に解析するシステム運用支援部と、前記システム運用支援部の解析結果に基づき前記撮像装置に前記要求を送信する要求送信部と、を有するサーバ装置と、を備える。【選択図】図１

Description

本開示は監視システムに関する。

従来から、大型商業施設、イベント会場、空港、駅、道路といった不特定多数の人が訪れる施設には、事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて、注意するものである。

このような背景から、監視者の労力を減らすための様々な機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生を、画像処理技術を用いてリアルタイムに自動検知する、ビッグデータに蓄積し特定の情報を検索するなど高度な機能を備えた映像監視システムが登場しつつある。ピンポイントの警戒だけではなく、蓄積データを活用したマーケティングや警備人員配置計画にも使われ始めている。

年々システムは高機能化しているが、画像処理演算もより複雑化の一途をたどり、撮像装置台数規模も大規模化している。そのシステムを支える上で、画像処理演算の最適化は重要な課題となっている。

特開２０１５−１７２８５０号公報

画像処理技術の発展・精度向上や、撮像装置解像度の飛躍的進化により、複数台の撮像装置からの画像処理演算をシステムで管理し、限られたシステムリソースでも最適な画像処理結果を出力する必要性がでてきた。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、監視システムは、（ａ）撮像した画像を送信する画像送信部と、要求を受信する要求受信部と、前記要求を撮像装置方向に適用するためのモーター制御部と、前記要求を撮像装置画角に適用するための画角制御部と、有する撮像装置と、（ｂ）前記撮像装置からの画像を用いて演算を実施する画像処理演算部と、前記画像処理部の演算結果を蓄積するデータベース部と、前記データベースに蓄積される前記演算結果を空間的および時間的に解析するシステム運用支援部と、前記システム運用支援部の解析結果に基づき前記撮像装置に前記要求を送信する要求送信部と、を有するサーバ装置と、を備える。

上記監視システムによれば、画像処理を効率的に行うことができる。

実施例に係る監視システムの構成を示すブロック図である。 実施例に係る監視システムの動作を説明するためのフローチャートである。 実施例に係る監視システムの動作を説明するためのフローチャートである。 実施例に係る監視システムについて、画像処理によるイベント発生機会を向上するための、最適運用イメージを説明する図である。 実施例に係る端末装置の動作を説明するためのフローチャートである。 実施例に係る端末装置の座標対応付け画面を説明するための図である。 実施例に係る端末装置のエリアマップ調整部と３Ｄ処理部を説明するための図である。 実施例に係る端末装置の測定点と矩形の付与を説明するための座標対応付け画面の図である。 実施例に係る端末装置の測定点と矩形の平面エリア上の描画について説明するための図であり、図８（Ａ）は立体エリアマップ、図８（Ｂ）は平面エリアマップ、図８（Ｃ）は床面投影である。 実施例に係る端末装置のカメラ画像とエリアマップ間の座標対応付けの幾何学計算概念を説明するための図であり、図９（Ａ）はカメラ画像、図９（Ｂ）は床面投影である。

実施形態に係る監視システムは、撮像装置から得られる画像処理情報を空間的にとらえることや、それを時間軸で分析することによって、すなわち、監視カメラ等から複数の画像処理で演算した結果を空間・時間の両面で統合的に活用することにより、監視システムにおける画像処理効率の最適化、各カメラの運用の最適化をはかるものである。

実施形態に係る監視システムは、撮像装置、端末装置、サーバ装置を備える。端末装置にはソフトウェアアプリケーションが実装され、キーボード・マウス等の外部入力デバイスにより操作され、ディスプレイ等の外部出力デバイス上に表示される。撮像装置は制御命令を受信可能なカメラ等で構成される。端末装置と外部入力デバイス間のやり取りは画面操作検知部が受け持つ。サーバ装置は監視システムを統括管理する。

撮像装置は、撮像した映像を送信する画像送信部、サーバ装置からの要求を受信する要求受信部、要求内容を撮像装置方向に適用するためのモーター制御部、要求内容を撮像装置画角に適用するための画角制御部を備える。

端末装置の、アプリケーションは大きく二つの機能に分かれ、一つは撮像対象空間を電子地図データとして表現したエリアマップ上で撮像装置からのイベント発生情報を視覚的に把握する機能であり、もう一つは、各撮像装置・エリアにおける発生イベントの頻度情報を視覚的に把握する機能である。

サーバ装置は、撮像装置からの映像を受信する画像受信部、その画像を用いて演算を実施する画像処理演算部、前述の撮像装置の画面内座標とエリアマップ内座標の関連性及び画像処理演算結果を蓄積するデータベース部と、その管理を司るデータベース管理部、データベースを分析し映像監視システムを最適運用させるためのシステム運用支援部、その結果に基づき撮像装置に要求を投げる要求送信部、監視システム構成要素の設定等を統合管理するシステム統合管理部を備える。

実施形態によれば、複数種の画像解析から各特徴を統合的に分析し、十分でないカメラ台数のシステムにおいても、人手でやるよりはるかに有効なカメラ運用が可能になる。さらには、時間軸での分析を行うことにより、時間帯によってカメラの画像処理実施内容を変更し、リソースの最適配分も可能になる。例えば、搭載された画像処理の側面を考え、入退検知処理は建屋の入口、混雑判定処理は狭まった通路といった具合に適用することにより、システム内の全撮像装置それぞれが、搭載された全種類の画像処理を実施し、それを統合処理するのではないので、システム的制約を低減することができる。また、単純に人のノウハウだけで配置を決めるものではないので、機会の損失を低減させ、監視システムを最適運用することができる。

実施形態は、特定人物検知（例えば、特開２０１２−１２４６５８号公報（参考文献１））、特定物体検索（例えば、特開２０１５−０３２１３３号公報（参考文献２））など他の画像処理検知・検索システムを本監視システムに組み合わせた場合において、イベント発生頻度の空間的・時間的分析によって、画角内の人物数や物体・行動数も増え、カメラ画角固定・機能固定で運用しているより効果的な運用が可能になる。これにより、設置カメラ台数の削減、監視労力の削減だけでなく、システム活用機会の増加、イベント検知率の向上につながる。

また、実施形態は３次元エリア情報とカメラ情報が統合管理されている状況下で活用することが望ましい。

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

まず、実施例に係る監視システムの構成いついて図１を用いて説明する。監視システムは、ネットワーク１００に、撮像装置１０１、サーバ装置２０１、端末装置３０１が接続され、互いに通信可能な状態で構成される。ネットワーク１００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Local Area Network）等のように各装置を相互に接続して通信を行う通信手段である。さらに、端末装置３０１には、外部入力デバイス４０１、外部出力デバイス４０２が接続される。撮像装置１０１、サーバ装置２０１、端末装置３０１については、各々複数装置が接続可能である。

撮像装置１０１は画像送信部１０２、要求受信部１０３、画角制御部１０４、モーター制御部１０５を備え、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等の撮像部で被写体を撮像し、撮像した画像にデジタル変換処理を施し、変換された画像データを、ネットワーク１００を介して録画装置へ出力するネットワークカメラや監視カメラ等の装置である。

画像送信部１０２は撮像された画像データの装置外部への出力を行う処理部である。要求受信部１０３は装置外部からの要求命令を受信し、その内容を解読、装置内各処理部に伝達する処理部である。画角制御部１０４は、要求に応じて画角（パン・チルト・魚眼カメラの平面・立面展開後の切り出し領域）を変更適用する処理部である。モーター制御部１０５は、要求に応じて撮像装置高さ、向き（ヨー・ピッチ・ロール）を変更適用する処理部である。

サーバ装置２０１は、画像受信部２０２、システム運用支援部２０３、要求送信部２０４、システム統合管理部２０５、画像処理演算部２０６、データベース部２０７、データベース管理部２０８の各処理部を備える。

画像受信部２０２は装置外部からの画像入力を行う処理部であり、例えばネットワーク１００を介して撮像装置１０１からの入力画像データの受信を行う。システム運用支援部２０３はデータベース部２０７からの各画像処理結果を空間的・時間的に解析し、その情報よりシステム内の複数の撮像装置１０１の各撮像装置に対して、画角・撮像装置の向き・その他撮像装置のパラメータのへの命令処理内容の作成を行う処理部である。要求送信部２０４はシステム運用支援部２０３で作成された命令内容の撮像装置への送信を行う処理部である。システム統合管理部２０５はネットワーク構成、各種プロセス設定等、システム全体の設定要素の管理部である。画像処理演算部２０６は受信画像について各種の画像処理演算を行う部分である。データベース部２０７は画像データや画像処理演算結果を位置情報・時刻情報等と紐（関連）づけて格納（記憶）する部分である。データベース管理部２０８はデータベース部２０７と端末装置３０１との間でのデータ入出力管理を行う処理部である。

端末装置３０１上に例えばクライアントソフトウェアとして実装されるアプリは、エリアマップ表示部３０２、カメラ映像表示部３０５、画像受信部３０６、画像要求部３０７、演算結果要求部３０８、演算結果受信部３０９、演算結果表示部３１０、画面操作検知部３１２の各処理部よりなる。

エリアマップ表示部３０２はデータベース部２０７より読み込んだエリアマップをＧＵＩ（Graphical User Interface）アプリケーション上に表示する処理部である。カメラ映像表示部３０５は画像受信部３０６で受信した画像をＧＵＩアプリケーション上に表示する処理部である。画像受信部３０６は、サーバ装置２０１の画像受信部２０２と同種の機能をもつ処理部であり、ネットワーク１００を介して撮像装置１０１等からの画像入力を行う処理部である。画像要求部３０７は装置外部へ画像出力を要求する処理部であり、撮像装置１０１へ画像データを要求する。演算結果要求部３０８は、ネットワーク１００を介して、データベース管理部２０８に所定の条件（場所・時間等であり、幅を持って連続または断続指定が可能である。）を指定して所定の検索要求を行う処理部である。演算結果受信部３０９はその要求に応じた演算結果をデータベース部２０７から取得する処理部である。演算結果表示部３１０は取得した演算結果をＧＵＩアプリケーション上にグラフィカル表示する処理部である。取得した複数種の演算結果についてのレイヤ管理が可能である。画面操作検知部３１２は外部入力デバイス４０１による操作の受け付けを行う処理部である。

外部入力デバイス４０１はキーボードやポインティングデバイス（マウス）等で構成される。外部出力デバイス４０２はディスプレイ等で構成される。

サーバ装置２０１、端末装置３０１は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の高性能端末でもよい。本構成では、常時駆動が要求される負荷の高い処理はサーバ装置２０１、グラフィカルな要素を要する機能は端末装置３０１と負荷分散しているが、構成はこの限りではなく同一装置内で実現してもよい。

次に、監視システムの運用の流れについて図２Ａおよび図２Ｂを用いて説明する。図２Ａは実施例に係る監視システムの動作を説明するためのフローチャートである。図２Ｂは図２ＡのＡおよびＢの部分のフローチャートである。

ステップＳ１０：運用開始前に、各種装置接続を行う。

ステップＳ２１：まずサーバ装置２０１は初期設定として、ネットワーク構成、各種プロセス設定、カメラ位置とエリアマップ間の対応付け情報等をシステム統合管理部２０５に設定する。カメラ位置とエリアマップ間の対応付けについては、後述する。

次に、実運用時の動作を説明する。

ステップＳ１１：まず、撮像装置１０１は撮像部で撮影した画像データ１０６を画像送信部１０２からネットワーク１００を介して、サーバ装置２０１の画像受信部２０２に送信する。

ステップＳ２２：サーバ装置２０１の画像受信部２０２は撮像装置１０１の撮像部が撮像した画像データ１０６を受信する。

ステップＳ２３：画像処理演算部２０６は、画像受信部２０２が受信した画像データ１０６に対して所定の画像処理演算を行って解析し、演算結果（解析結果）をデータベース部２０７に出力する。

ステップＳ２４：データベース部２０７は、演算結果を画像データ１０６と紐付けて記憶（格納）する。ここで、画像処理演算部２０６は画像種ごとに複数個用意され、全ての演算結果がデータベース部２０７に集約される。

サーバ装置２０１は、この処理を繰り返して、エリア内位置情報（Ａ）、測定時間（Ｔ）、画像処理種（Ｋ）、画像処理演算値（Ｖ）をデータベース部２０７に蓄積していく。ここで、エリア内位置情報（Ａ）は、ＸＹＺ空間座標で表現できる点情報、座標点の複合により表現できる面情報、角度情報と組み合わせたベクトルデータ情報など様々な場合を想定する。

ステップＳ２５：システム運用支援部２０３は、データベース部２０７のデータベース情報である画像処理結果を、空間情報と時間情報から統合的に演算処理する、各撮像装置についての最適運用演算を行う。具体例を以下に説明する。

画像処理種の具体的機能として、以下の機能が監視システムに実装されている。
（１）顔検知：撮像装置画角内から人物の顔領域を矩形情報として検出する。
（２）特定人物検知：あらかじめ装置に登録した人物と一致する人物を撮像装置画角内から検出する。（参考文献１）
（３）滞留検知：撮像画角内各点から物体の滞留度合いを検出する。
（４）人流検知：撮影画角内での物体の流量の度合い、ベクトルを検出する。
（５）放置物検知：撮影画角内に放置された物体を検出する。
（６）特定行動検知：撮影画角内から人物等が倒れる、争うなどの特定行動を検出する。

この中で、「顔検知（１）」「滞留検知（３）」「人流検知（４）」は基礎的な画像処理であり、その情報の上に「特定人物顔検知（２）」「放置物検知（５）」「特定行動検知（６）」といった応用的な画像処理が成り立つといった関係にある。運用の流れは次の通りである。

ステップＳ２６：サーバ装置２０１は、応用的な画像処理からの処理結果を、システム運用支援部２０３にフィードバックする。最適な画角情報等のフィードバック情報は、要求（２０９）として要求送信部２０４を介し、撮像装置１０１に送られる。

ステップＳ１２：撮像装置１０１の要求受信部１０３は、サーバ装置２０１から要求が（２０９）あるかどうかを判断する。ＹＥＳの場合、ステップＳ１３に移り、ＮＯの場合、ステップＳ１１に戻る。

ステップＳ１３：撮像装置１０１は要求受信部１０３で要求内容を解読する。

ステップＳ１４：撮像装置１０１は、さらに、撮像装置の物理的位置に関する要求をモーター制御部１０５へ、画角や映像設定などに関する要求を画角制御部１０４へ伝達し、モーター制御部１０５および画角制御部１０４の各々の処理部は撮像装置１０１を制御する。これで、撮像装置１０１の運用が最適化され、それにより基礎的な画像処理のイベント検知機会が増え、さらに応用的な画像処理のイベント検知機会が増えるといった関係にもある。

具体的状況として、例えば、図３に示すように、システムが対象とする建屋内に複数台のパンチルトズーム対応の撮像装置１０１ａや魚眼撮像装置１０１ｂを設置する。平日が、朝の時間帯は建屋入口から建屋中央部に向かっての人の流れが多く、昼の時間帯は人通りが少なく、夕方の時間帯は建屋中央部から建屋入口に向かっての人の流れが多い。休日は常に人通りが少ない、といった特徴があるとする。

システム運用開始時は上記特徴がわからないことが多い。さらに、長期間運用しないとわかりえない情報もある。

この状況でシステム運用を始めることにより、「顔検知（１）」「滞留検知（３）」「人流検知（４）」のような基礎的な画像処理から、各画像処理によるイベント発生の頻出ポイントがわかる。その解析結果に基づいて、下記（ａ）〜（ｄ）等により、検知機会を増やす運用が可能となる。
（ａ）滞留検知（３）の度数が高いエリアに、周辺の撮像装置１０１ａの画角を向ける。
（ｂ）対象のエリアにある撮像装置１０１ａに対して、４Ｋ、８Ｋといった高解像度で運用する。
（ｃ）人流検知（４）より検出された人流ベクトルの方向に撮像装置１０１ａの画角を合わせる。ことで、顔検知（１）の機会を増やす。
（ｄ）魚眼撮像装置１０１ｂの撮像映像の展開画角について、通常運用時は平面に展開して、平面画角（天井から見下ろした画角）が適している滞留検知（３）で運用し、立面での撮像が適している人流検知（４）の発生頻度の高い時間帯・場所においては、立面に展開して画像処理する。

さらに、時間的解析により、下記（ｅ）〜（ｇ）等の運用もすることができ、処理負荷の分散、運用費の低減にもつながる。
（ｅ）朝と夕方で撮像装置１０１ａの画角を人流方向に回転させる
（ｆ）人流密度の高い平日朝夕は、特に密度の高いエリアにおいて周辺の撮像装置１０１ａの解像度を高くする
（ｇ）人流密度の低い休日や昼間は撮像装置運用を最低限にする（全体は魚眼撮像装置１０１ｂでカバー）
これによって、「特定人物顔検知（２）」「放置物検知（５）」「特定行動検知（６）」といった応用的な画像処理の検出機会も増えることが期待できる。各検知イベントが頻出した地点、時間帯をシステム運用支援部２０３にフィードバックすることにより、その地点を重点的に撮像する撮像装置画角に変えることで、さらに応用的な画像処理の検出機会も増えることも期待できる。

以下、サーバ装置２０１と端末装置３０１間の実運用時の動作について図２Ａおよび図２Ｂを用いて説明する。

ステップＳ３１：端末装置３０１に実装されたアプリケーションによる実現方法の一例を下記する。ＧＵＩアプリケーション上の、エリアマップ表示部３０２には、すでにカメラ設置座標が登録されているものとする。撮像装置１０１の各々のカメラ設置座標とカメラＩＰアドレスを紐づけた情報は、サーバ装置２０１のデータベース部２０７に格納されているものとする。エリアマップ上のカメラ座標点をマウスクリック押下（カメラ映像表示要求ありと）すると、対応するカメラ映像がカメラ映像表示部３０５に表示される。その仕組みとして、カメラ座標点をクリックすると端末装置３０１の演算結果要求部３０８はサーバ装置２０１のデータベース管理部２０８に該当する座標位置のカメラＩＰアドレスを問い、データベース部２０７に格納のアドレスを端末装置３０１の演算結果受信部３０９に返送する。

ステップＳ３２：そして、画像要求部３０７は、ネットワーク１００を介して演算結果受信部３０９が受信したＩＰアドレスの撮像装置１０１に画像データを要求（画像要求（３０３）を送信）する。

ステップＳ１５：画像要求（３０３）を受信した撮像装置１０１の要求受信部１０３は、端末装置３０１から画像要求（３０３）があるかどうかを判定する。ＹＥＳの場合、撮像装置１０１の撮像部が撮影した画像データを画像送信部１０２に送り、ステップＳ１６に移る。ＮＯの場合、ステップＳ１１に戻る。

ステップＳ１６：画像送信部１０２は、ネットワーク１００を介して撮像装置１０１の撮像部が撮影した画像データ（１０７）を端末装置３０１の画像受信部３０６に送信する。

ステップＳ３３：画像受信部３０６は、撮像装置１０１の画像送信部１０２から送られる画像１０７を受け取る（撮影画像を受信する）と、カメラ映像表示部３０５に送る。

ステップＳ３４：カメラ映像表示部３０５は画像１０７を外部出力デバイス４０２のディスプレイに表示する（カメラ画像表示）。これを繰り返すことで連続的な映像（動画）となる。

ステップＳ３５：また、エリアマップ上にはサーバ装置２０１による各種画像処理演算結果を重畳表示することができる。そのためには、端末装置３０１は演算結果要求があるかどうかを判断する。ＹＥＳの場合、ステップＳ３６に移り、ＮＯの場合、ステップＳ３１またはステップＳ３５に戻る。

ステップＳ３６：演算結果要求部３０８はサーバ装置２０１のデータベース管理部２０８に特定条件（場所・時間）を指定した演算結果要求（３０４）を送信する。

ステップＳ２７：データベース管理部２０８は端末装置３０１から演算結果要求があるかどうかを判断する。ＹＥＳの場合、ステップＳ２８に移り、ＮＯの場合、ステップＳ２８に戻る。

ステップＳ２８：データベース管理部２０８はデータベース部２０７から該当演算結果を検索絞り込みしたものを読み出し、端末装置３０１の演算結果受信部３０９に返す（該演算結果送信）。

ステップＳ３７：端末装置３０１は、演算結果（１０８）を演算結果受信部３０９で受信すると、その結果を用いて、演算結果表示部３１０が、エリアマップ上に重畳表示（演算結果表示）する。

表示には、短期的表示と長期的表示の２種類を有する。短期的表示は、現在時刻よりたとえば数分前までのイベント発生情報がエリア上に表現される。イベント発生はアイコン表示し、その選択により、該当時間の映像を、録画機能を有する撮像装置１０１に要求し、再生することができる機能を有する。イベント発生ポイントに人員を発動させるなどに活用することができる。

また、長期的表示は、表示したい期間を絞り込む（連続・断続両方可能）ことにより、その期間中に発生した各イベントの頻度情報を表示し、イベント発生が多い地点を視覚的に把握する機能である。さらに、各イベントはレイヤ管理されており、オンオフ切り替えによりエリア上への重畳の組合せを自由に変えることができ、分析に役立てることができる。これは、建屋内の人物配置計画などに活用できる。

次に、カメラ画像とエリアマップ間の測定点と矩形の対応付けについて図４〜図８を用いて説明する。図４は実施例に係る端末装置の動作を説明するためのフローチャートである。図５は実施例に係る端末装置の座標対応付け画面を説明するための図である。

ステップＳ３１１：端末装置３０１は、実装されているＧＵＩのアプリケーションを起動する。

ステップＳ３１２：エリアマップ表示部３０２の機能を用いて、図５の座標対応付け画面４００１にエリアマップ２３０２を表示する。エリアマップ２３０２は、線分から構成され、各々の線分とマップ内座標には高さ情報が紐（関連）づけられている。

ステップＳ３１３：端末装置３０１は、図５において、エリアマップ２３０２のカメラ座標点にカメラアイコン４０２０を重畳し、カメラアイコン４０２０を外部入力デバイス４０１のマウスでクリックすることで撮像装置１０１のＩＰアドレス（カメラＩＰアドレス）を取得する。

端末装置３０１は、カメラＩＰアドレスを取得後、カメラ画角内測定点と矩形をエリアマップに対応付けを行うフェーズに移る。

ステップＳ３１４：端末装置３０１は、エリアマップ２３０２内の対応付けカメラを選択（測定点・矩形付与カメラ選択）する。演算結果要求部３０８がカメラ映像をカメラ映像表示部３０５に表示させるため、画面操作検知部３１２が検知したカメラ座標点に該当する撮像装置１０１のＩＰアドレスをサーバ装置２０１のデータベース管理部２０８へ要求する。データベース管理部２０８は、データベース部２０７に格納（記憶）しているＩＰアドレスを読み出して端末装置３０１の演算結果受信部３０９に返送する。

ステップＳ３１５：そして、画像要求部３０７は、ネットワーク１００を介して画像要求（３０３）を演算結果受信部３０９が受信したＩＰアドレスの撮像装置１０１に要求する。

ステップＳ３１６：画像要求（３０３）を受信した撮像装置１０１の要求受信部１０３は、端末装置３０１から画像要求（３０３）ありと判定し（Ｓ１５）、撮像装置１０１の撮像部が撮影した画像データを画像送信部１０２に送る。画像送信部１０２は、ネットワーク１００を介して撮像装置１０１の撮像部が撮影した画像データ（１０７）を端末装置３０１の画像受信部３０６に送信する。

ステップＳ３１７：端末装置３０１の画像受信部３０６は、画像データ（１０７）を受信すると、カメラ映像表示部３０５に送る。カメラ映像表示部３０５は、画像データ（１０７）（要求した時点での静止フレーム）を表示する。

次に、実施例に係る端末装置のエリアマップ調整部と３次元（３Ｄ）処理部について図４と図６を用いて動作を説明する。図６は実施例に係る端末装置のエリアマップ調整部と３Ｄ処理部を説明するための図である。

ステップＳ３１８：端末装置３０１は、図６のエリアマップ２３０２上の領域５０１１が領域選択する。

ステップＳ３１９：端末装置３０１は、操作群５０１０に対する外部入力デバイス４０１のマウス等の操作に従いエリアマップ調整部３０３がエリアマップの拡大、縮小、回転、切り出しを平面領域５１００に対して実施する（平面領域変形）。

ステップＳ３２０：次に、端末装置３０１の３Ｄ処理部（不図示）は、２次元平面で表現されたエリアマップ５１００を３次元表示するため、領域立体化を実施する。

ステップＳ３２１：端末装置３０１の３Ｄ処理部は、その調整（立体領域変形・調整）を実施する。

ステップＳ３２２：端末装置３０１の３Ｄ処理部は、例えば、パン・チルト、ヨー・ピッチ・ロールの調整ボタン（操作群）５０２０などの操作に従い、３Ｄ化したエリアマップ（５１０１）をカメラ画像に近づけるためのフィッティングを行う。

次に、実施例に係る端末装置の測定点と矩形の付与について図４と図７を用いて説明する。図７は実施例に係る端末装置の測定点と矩形の付与を説明するための座標対応付け画面の図である。

図７において、端末装置３０１は、立体の特定区画における立体エリアマップ上に、カメラ画像をフローティング６００１、半透明表示させ、フィッティング３００８を実施する。

ステップＳ３２３：端末装置３０１は、フィッティング完了後、カメラ画像上における測定点・矩形を立体エリアマップ上に描画（測定点・矩形付与）する。

ステップＳ３２４：端末装置３０１は、幾何学演算により描画結果を平面エリアマップ上へ落とす（床面投射）。

端末装置３０１は、例えば、測定点・矩形描画を実現するため、座標対応付け画面４００１上に測定点アイコン４００２や測定矩形アイコン４００３が用意され、測定点アイコン４００２が外部入力デバイス４０１のマウスでクリックされ、その後にエリアマップ上で再度クリックされると測定点６００２を確定し、測定矩形アイコン４００３がマウスクリック後にエリアマップ上で閉じた矩形が描写６００３されると測定矩形を確定する。

次に、実施例に係る端末装置の測定点と矩形の平面エリア上の描画（床面投射）について図８を用いて説明する。図８は実施例に係る端末装置の測定点と矩形の平面エリア上の描画について説明するための図であり、図８（Ａ）は立体エリアマップ、図８（Ｂ）は平面エリアマップ、図８（Ｃ）は床面投影である。

図８において、端末装置３０１は、例えば、図８（Ａ）の立体エリアマップ上で描画した点・矩形が、図８（Ｃ）のカメラ焦点距離の垂直平面７００２に描かれた場合に、撮像装置１０１のレンズ中心と各点を結んだ線７００４を床面まで伸ばしたときに床と交差した各点７００７を平面エリアマップ上に投射する。図８ではカメラ奥行方向をイメージしているが、左右方向について同様に実施する。

端末装置３０１は、座標情報が確定後、座標情報送信部３１１からサーバ装置２０１へ座標情報（３１１）を送信する。

サーバ装置２０１のデータベース部２０７は、受信した座標情報（３１１）を格納（記憶）する。

次に、実施例に係る端末装置のカメラ画像とエリアマップ間の座標対応付けの幾何学計算概念について図９を用いて説明する。図９は実施例に係る端末装置のカメラ画像とエリアマップ間の座標対応付けの幾何学計算概念を説明するための図であり、図９（Ａ）はカメラ画像、図９（Ｂ）は床面投影である。

図９において、端末装置３０１は、フィッティング時、撮像装置１０１のレンズ中心点から鉛直に伸びる垂線ベクトル角８００７から、エリアマップ基準ベクトル角８００８に対するヨー・ピッチ・ロール角、レンズの左下点・右下点に対応する各々の床面点間距離８００６から、パン・チルトの度合いも自動幾何学計算し、サーバ装置２０１のデータベース部２０７に送信する。

サーバ装置２０１のデータベース部２０７は、受信したパン・チルトの度合いを格納（記憶）する。

実施例を監視システムに適用し運用することで、システム全体の高効率制御をすることができる。

実施例に係る監視システムにおいて、撮像装置、端末装置、サーバ装置が協調動作し、撮像装置画像による画像処理演算結果を空間情報と時間情報の両面から解析し、システム内の撮像装置にフィードバックすることにより、撮像装置内での画像処理におけるイベント発生機会を向上することができ、システム運用の高効率化が可能になる。

実施例に係る監視システムにおいて、撮像装置による画像処理間での各演算結果が協調しあうことにより、それぞれの画像処理におけるイベント発生機会を相乗的に向上させることができる。

実施例に係る監視システムにおいて撮像装置画像による画像処理演算結果を監視エリアマップ上に対応させ、エリアマップ上で、短期的、または長期的な、各画像処理演算結果をグラフィカルに表示することにより、監視エリア内の人員発動や、人員配置計画などに利用することができる。

以上、本発明者によってなされた発明を実施形態および実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

１００…ネットワーク、１０１…撮像装置、１０２…画像送信部、１０３…要求受信部、１０４…画角制御部、１０５…モーター制御部、２０１…サーバ装置、２０２…画像受信部、２０３…システム運用支援部、２０４…要求送信部、２０５…システム統合管理部、２０６…画像処理演算部、２０７…データベース部、２０８…データベース管理部、３０１…端末装置、３０２…エリアマップ表示部、３０５…カメラ映像表示部、３０６…画像受信部、３０７…画像要求部、３０８…演算結果要求部、３０９…演算結果受信部、３１０…演算結果表示部、３１２…画面操作検知部、４０１…外部入力デバイス、４０２…外部出力デバイス

Claims (4)

1. 撮像した画像を送信する画像送信部と、要求を受信する要求受信部と、前記要求を撮像装置方向に適用するためのモーター制御部と、前記要求を撮像装置画角に適用するための画角制御部と、有する撮像装置と、
   前記撮像装置からの画像を用いて演算を実施する画像処理演算部と、前記画像処理演算部の演算結果を蓄積するデータベース部と、前記データベース部に蓄積される前記演算結果を空間的および時間的に解析するシステム運用支援部と、前記システム運用支援部の解析結果に基づき前記撮像装置に前記要求を送信する要求送信部と、を有するサーバ装置と、
   を備える監視システム。
2. 請求項１において、
   撮像対象空間を電子地図データとして表現したエリアマップ上で前記撮像装置からのイベント発生情報を視覚的に把握する手段と、各撮像装置およびエリアにおける発生イベントの頻度情報を視覚的に把握する手段と、を有する端末装置を備え、
   前記データベース部は、前記撮像装置の画面内座標とエリアマップ内座標の関連性を蓄積する監視システム。
3. 請求項２において、
   前記端末装置は、前記撮像装置に画像要求を行う画像要求部と、画像受信部と、カメラ映像表示部と、前記サーバ装置に所定条件を指定した演算結果を要求する演算結果要求部と、演算結果受信部と、演算結果表示部と、を有し、
   前記要求受信部は前記画像要求に基づいて前記画像受信部に撮像した画像を送信し、
   前記カメラ映像表示部は前記画像受信部が受信した画像を表示し、
   前記サーバ装置は、前記演算結果要求部からの要求に基づいて、前記データベース部から前記演算結果を読み出して、前記演算結果受信部に送信し、
   前記演算結果表示部は、前記演算結果受信部が受信した演算結果を前記エリアマップ上に重畳表示する監視システム。
4. 請求項３において、
   前記撮像装置は、パンチルトズーム対応の撮像装置と魚眼撮像装置であり、
   前記パンチルトズーム対応の撮像装置の前記モーター制御部は前記要求に基づいて人流ベクトルの方向に画角を合わせ、
   前記魚眼撮像装置の前記画角制御部は前記要求に基づいて撮像映像の展開画角を、通常運用時は平面に展開し、人流検知の発生頻度の高い時間帯および場所においては立面に展開する監視システム。

Images