JP6080568B2 - 監視システム - Google Patents

Description

本発明は、撮影機能を有した飛行ロボットを用いて監視領域を監視する監視システムに関し、特に、監視領域に到着した緊急対処員と飛行ロボットとを協働させて監視する監視システムに関する。

従来、建物とその周辺の監視領域に各種センサを設置し、センサが検出すると、異常検知した場所に移動ロボットが移動して監視領域内を撮影する監視システムが提案されている。例えば、特許文献１には、火災を検出するセンサや侵入者を検出するセンサからの信号に基づいて、地上走行型の移動ロボットが異常発生の場所に移動して異常状況を撮影する監視システムが開示されている。このような監視システムは、駐車場が設けられているような工場やショッピングモールなど広範囲な監視領域を監視することがある。特許文献１のシステムでは、移動ロボットは、センサが異常を検知した場所まで走行して、その異常発生場所の撮影や監視センタへの通報などを実行している。

特開２００９−１８１２７０号公報

ところで、監視領域内に異常が発生すると、通報を受けた監視センタの管制員から緊急対処員を監視領域へ急行させ、異常への適切な対処を行う監視サービスの形態がある。

このような監視サービスにおいて、特に、緊急対処員にとって死角の多い監視領域や広範囲な監視領域を監視する場合には、移動ロボットによる監視と緊急対処員による監視とを組み合わせることで、より効果的な対応ができる。

しかし、特許文献１に記載の監視システムにおいて、移動ロボットは、異常が発生した場所を迅速に撮影して監視センタに画像を提示するという役割に留まっており、監視領域に到着した緊急対処員の意思で動かすものではなかった。このため、監視領域に到着した緊急対処員と移動ロボットとを協働させることは容易ではなかった。

そこで、本発明は、監視領域に到着した緊急対処員と移動ロボットが協働して監視領域の監視を行えるようにする監視システムの実現を目的とする。

かかる目的を達成するために本発明は、監視領域を撮影する機能を有する飛行ロボットと、飛行ロボットが撮影した画像を表示する表示部を備えた携帯端末と、監視領域を表す監視空間マップを用いて飛行ロボットの目標位置を自動的に決定する自律飛行モードと携帯端末にて飛行ロボットの目標位置を決定する他律飛行モードとを切り替えて飛行ロボットを制御する制御装置とから構成される監視システムであって、制御装置は、携帯端末を所持した対処員が監視領域に到着したことを検知する到着検知手段と、携帯端末から他律飛行モードへの移行を指示する移行操作信号を受信したことを検出する操作信号検出手段と、対処員の到着を検知し、かつ移行操作信号を受信すると自律飛行モードから他律飛行モードに移行する制御モード切替手段とを備えた監視システムを提供する。

これにより、本発明は、監視領域に到着した緊急対処員と飛行ロボットが協働して監視領域の監視を行うことを可能にする。

また、到着検知手段は、更に監視空間マップ上の携帯端末の現在位置を対処員位置として順次算出し、制御装置は、監視空間マップ上の飛行ロボットの現在位置を飛行位置として順次算出する飛行位置算出手段と、監視空間マップにおける物理的な制約条件および、対処員位置と飛行位置間の距離に基づいて対処員から飛行ロボットが視認可能であるか否かを判定する視認可否判定手段とを更に有し、制御モード切替手段は、対処員の到着を検知し、かつ移行操作信号を受信し、かつ視認可能であると自律飛行モードから他律飛行モードに移行することが好適である。

これにより、本発明は、緊急対処員が飛行ロボットをより確実に操作できる状態になってから監視の協働を開始させることを可能にする。

また、制御装置は、少なくとも飛行位置を含むロボ情報を携帯端末に送信するロボ情報送信手段を有し、携帯端末は、ロボ情報を受信すると、当該ロボ情報を表示部に表示することが好適である。

また、制御装置は、自律飛行モードにおいて、対処員の到着を検知すると、当該対処員の対処員位置を目標位置として設定する目標位置設定手段を有することが好適である。

これにより、本発明は、緊急対処員が飛行ロボットをより確実に操作できる状態へ迅速に移行させることができる。

本発明によれば、監視領域に到着した緊急対処員と飛行ロボットが協働して監視領域の監視を行うことができる。

監視システムの全体構成図 飛行ロボットの機能ブロック図 対処員端末の機能ブロック図 対処員端末のイメージを説明する図 警備装置の機能ブロック図 ロボ制御モジュールの機能ブロック図 レーザセンサの検知エリアを示す図 制御モード切替モジュールの機能ブロック図 自律飛行モード中の飛行ロボットの飛行イメージを説明する図 対処員が到着したときの監視システムの動作イメージを説明する図 他律飛行モード中の飛行ロボットの飛行イメージを説明する図 制御モードを切り替える警備装置の処理フロー 自律飛行モード中の警備装置の処理フロー 他律飛行モード中の警備装置の処理フロー

以下、本発明にかかる監視システムの実施の形態について説明する。

図１は、監視システム１の全体構成を模式に示した図である。監視システム１は、監視領域Ｅに設置される警備装置２、飛行ロボット３、レーザセンサ４、建物内センサ５、対処員端末６と、ネットワークを介して接続される監視センタ内に設置されたセンタ装置７から構成されている。センタ装置７は、警備装置２とＩＰ網にて接続され、警備装置２から飛行ロボット３の撮影した画像や建物内センサ５の検知信号などを受信し、モニタに表示する。なお、監視員は、このモニタを視て監視領域Ｅの状況を把握し、適切な対応を行う。また、ネットワークをＩＰ網として説明しているが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。

飛行ロボット３は、警備装置２からの無線による飛行制御信号に基づいて撮影しながら飛行し、撮影した画像を警備装置２に送信する。図２は、飛行ロボット３の機能ブロックを示した図である。

飛行ロボット３は、警備装置２との無線通信を行うためのアンテナ３１、上昇／下降／方向転換／前進などの飛行するための４つのロータ３２、ロータ３２に駆動力を提供するモータ等からなるロータ駆動部３３、鉛直下方にレーザーを投受光して飛行ロボット３の現在高度を計測する高度センサ３４、水平方向かつ周囲にレーザーを投受光して飛行ロボット３の周辺状況を計測する測距センサ３５、飛行ロボット３の前方をカラー画像にて撮影するカメラ３６、周囲が暗いときに点灯しカメラ３６での撮影を補助するＬＥＤ照明である照明３７、飛行ロボット３の全体を制御するロボ制御部３８、飛行ロボット３の各部に電力を供給するリチウムポリマー電池である電源３９から構成されている。

また、ロボ制御部３８は、アンテナ３１を介して警備装置２との無線通信を制御するロボ通信制御手段３８１、カメラ３６の撮影開始／終了やカメラ３６が撮影した画像を取得してロボ通信制御手段３８１から警備装置２へ送信するなどの処理をするカメラ制御手段３８２、測距センサ３５および高度センサ３４が測定した高度情報および周辺物体と自機との距離データをスキャンデータとして通信制御手段３８１から警備装置２へ送信するなどの処理をするスキャン手段３８３、警備装置２からの飛行制御信号に基づいてロータ駆動部３３を制御して飛行ロボット３を目標位置に飛行するように制御する飛行制御手段３８４から構成されている。

次に、対処員端末６について説明する。対処員端末６は、監視センタより監視領域Ｅへの出動要請を受けた緊急対処員によって所持される携帯端末である。対処員端末６は、警備装置２から無線通信によって飛行ロボット３が撮影した画像や飛行ロボット３に関する情報を受信する。また、対処員端末６は、端末の現在の位置情報や飛行ロボット３を制御するための操作信号を警備装置２に送信する。図３は、対処員端末６の機能ブロックを示した図である。図４は、対処員端末６のイメージを示した図である。

対処員端末６は、ＧＰＳ衛星（図示しない）からＧＰＳ信号を受信するＧＰＳ受信手段６１１と、警備装置２との無線通信を行うための警備装置通信手段６１２とからなる通信部６１、対処員端末６を制御する端末制御部６２、対処員端末６の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているＲＯＭ／ＲＡＭなどの周辺部品にて構成される端末記憶部６３、液晶ディスプレイ等の情報表示デバイスである表示部６４と、キーボードやタッチパネル等の情報入力デバイスである操作部６５から構成されている。なお、図示しないが各部への電力を供給する電源部も備えている。

ここで、端末記憶部６３に記憶されている情報について説明する。監視空間マップ６３１は、監視領域Ｅを３次元にて表現した情報であって、地面から飛行ロボット３の飛行に必要な程度の高さまでの監視空間を表現したマップ情報である。監視空間マップ６３１には、予め監視領域Ｅ内の建物や当該建物の窓や扉の３次元情報、監視領域Ｅ内に設置されたレーザセンサ４の位置など監視領域Ｅ内に存在する物体の情報が３次元情報として記憶されている。なお、後述する警備装置２の記憶部２４にも監視空間マップ２４１が記憶されている。端末記憶部６３に記憶されている監視空間マップ６３１と、記憶部２４に記憶されている監視空間マップ２４１は同一の情報でもよいし、それぞれが用いられて実行される処理に必要な情報が含まれていれば情報量に違いがあるものでもよい。監視空間マップ２４１については後述する。端末記憶部６３には、監視空間マップ６３１以外に対処員端末６の機能を実現するための各種プログラムが記憶されている。

次に端末制御部６２について説明する。なお、端末制御部６２は、端末記憶部６３には図示していないソフトウェアモジュールを読み出して、ＣＰＵ等にて各処理を行うものである。

端末位置算出手段６２１は、ＧＰＳ受信手段６１１が受信するＧＰＳ信号から対処員端末６の現在位置情報（緯度・経度・高度情報）を算出し、警備装置通信手段６１２を介して警備装置２に算出した現在位置情報を端末位置として送信する。ここで、端末位置算出手段６２１は、対処員端末６の電源がＯＮになっている間、所定間隔（例えば、数十ミリ秒間隔）でＧＰＳ受信手段６１１が受信するＧＰＳ信号について端末位置を算出し、警備装置２に送信する。また、本実施の形態では、ＧＰＳ信号を用いた端末位置の算出を説明しているが、これに限るものではない。対処員端末６の現在位置情報を特定可能であれば、他の電波測位方式やＩＣタグ、画像処理技術などを用いて端末位置を算出するようにしてもよい。

表示／操作制御手段６２２は、警備装置２から送信される飛行ロボット３が撮影した画像や飛行ロボットの現在位置情報（飛行位置）を含んだ飛行ロボット３に関する情報（ロボ情報）を警備装置通信手段６１２にて受信すると、そのロボ情報を表示部６４に表示し、対処員端末６の利用者である緊急対処員がロボ情報を把握できるようにする。また、端末記憶部６３に記憶された監視空間マップ６３１等を用いて、緊急対処員が飛行ロボット３を操作するのに必要な情報を表示部６４に表示する。

ここで、図４を参照して対処員端末６の表示の一例を説明する。図４は、緊急対処員が監視領域Ｅに到着し、飛行ロボット３に目標位置を指示したときの表示部６４の表示例を示している。表示部６４には、監視空間マップ６３１を用いて生成した監視領域Ｅの全体を俯瞰できる構造図６４３と、飛行ロボット３が撮影した現在の撮影画像６４１が表示されている。また、対処員端末６の現在位置（緊急対処員の現在位置）を示す対処員アイコン６４６、飛行ロボット３の現在位置を示す飛行ロボットアイコン６４２、緊急対処員が飛行ロボット３を飛行させたい目標位置（指示目標位置）として設定した目標位置アイコン６４５が構造図６３４上に表示されている。更に、緊急対処員が指示目標位置を設定する際に使用するカーソル６４４が表示されている。また、緊急対処員が飛行ロボット３の制御モードを自律飛行モードから他律飛行モードまたは他律飛行モードから自律飛行モードへ移行させる為に操作するボタン６４７が表示されている。本表示例では、制御モードが他律飛行モード中であるので、ボタン６４７を押下すると自律飛行モードへの移行操作となるという意味で「自律飛行」と表示している。なお、自律飛行モードから他律飛行モードへの移行操作となるという意味では「他律飛行」と表示される。また、図示はしないが、指示目標位置における飛行ロボット３の撮影方向を表示するようにしてもよい。このように、対処員端末６の表示部６４を緊急対処員が見れば、監視領域Ｅにおける自己位置、飛行ロボット３の位置、飛行ロボット３の目標位置を瞬時に把握できる。なお、図４に示した表示は一例であり、表示部６４上の表示態様はこれに限るものではない。

さらに、表示／操作制御手段６２２は、操作部６５の入力信号を基に、表示部６４の構造図６４３上から指示目標位置を指定する。そして、指定された指示目標位置の監視空間マップ６３１に対応する３次元座標を警備装置通信手段６１２から警備装置２に送信する。指示目標位置を指定する操作は、まず、操作部６５を用いてカーソル６４４を移動し、構造図６４３から飛行ロボット３を飛行させたい位置にカーソル６４４を合わせて操作部６５を押下する。次に、カーソル６４４を合わせた位置（水平方向の位置）について、監視マップ６３１から構造図６４３を２次元に射影したときの視軸上の位置（垂直方向の位置と奥行き方向の位置）を決定するために、そのまま操作部６５を長押しする。すると、押下した時間に応じて目標位置アイコン６４５のサイズが順次変化する。目標位置アイコン６４５のサイズは、人間の感覚に合致するように監視領域Ｅを構造図６４３の視軸方向と同じ方向から見たときの飛行ロボット３のサイズに対応している。つまり、視点から遠いほど目標位置アイコン６４５は小さく、視点から近いほど目標位置アイコン６４５は大きくなる。緊急対処員の意図する視軸上の位置（アイコン６４５のサイズ）になったら操作部６５にて決定操作をする。これにより、指示目標位置の３次元座標が指定される。また、指示目標位置入力手段６２３は、指示目標位置の指定に加えて、前述したように飛行ロボット３の撮影方向を指定するようにしてもよい。この場合は、指定された指示目標位置と撮影方向を警備装置２に送信する。なお、撮影方向を指定しない場合は、飛行ロボットの進行方向を撮影方向とすればよい。緊急対処員は、監視空間マップ６３１に基づいた構造図６４３を参照して指示目標位置を指定することによって、監視領域Ｅにある建物の死角や窓や扉などの位置を考慮することが可能になる。なお、本実施形態の指示目標位置の指定は一例であり、指定の方法はこれに限るものではない。飛行ロボット３を飛行させたい位置を指示目標位置として警備装置２に送信できるものであればよい。

また、図示しないが、表示／操作制御手段６２２は、飛行ロボット３が自律飛行モード中に緊急対処員が操作部６５を操作し、カーソル６４４にてボタン６４７を押下すると、警備装置通信手段６１２から警備装置２に移行操作信号を送信する。また、表示／操作制御手段６２２は、飛行ロボット３が他律飛行モード中に緊急対処員が操作部６５を操作し、カーソル６４４にてボタン６４７を押下すると、警備装置通信手段６１２から警備装置２に操作終了信号を送信する。また、図示しないが、表示／操作制御手段６２２は、飛行ロボット３が他律飛行モード中に緊急対処員が操作部６５を操作し、着陸操作を行うと、警備装置通信手段６１２から警備装置２に着陸信号を送信する。着陸信号には、飛行ロボット３の着陸待機場所の位置が指示目標位置として含まれている。

次に、図５、図６、図８、図９、図１０、図１１を参照して、警備装置２について詳細に説明する。図９に示す監視領域Ｅの建屋Ｂの内部に警備装置２は設置されている。警備装置２は、建屋Ｂ内への侵入者を検知するための適宜の場所に設置された建物内センサ５、監視領域Ｅ内であって駐車場等の建屋Ｂの外を検知領域とするレーザセンサ４とそれぞれ接続されている。

図５は、警備装置２の機能ブロックを示す図である。警備装置２は、監視領域Ｅを監視センタが監視する警備セット状態と監視センタで監視しない警備解除状態との切替操作を行う警備モード切替部２１と、レーザセンサ４や建物内センサ５などの各種センサからの信号の入力を受けるセンサインタフェース２２、飛行ロボット３との通信を行う飛行ロボット通信部２５、飛行ロボット３が撮影した画像、各種センサが検知した異常信号などについて、センタ装置７とネットワークを介して通信を行う監視センタ通信部２６、警備装置２の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているＲＯＭ／ＲＡＭなどの周辺部品にて構成される記憶部２４、および警備装置２の全体を統括制御するＣＰＵ、ＭＰＵなどから成る警備制御部２３から構成されている。

ここで、記憶部２４に記憶されている情報について説明する。まず、監視空間マップ２４１は、対処員端末６の端末記憶部６３に記憶された監視空間マップ６３１の説明にて前述したように監視領域Ｅを３次元にて表現した情報であって、地面から飛行ロボット３の飛行に必要な程度の高さまでの監視空間を表現したマップ情報である。図９を参照して説明すると、本実施の形態では、監視領域Ｅと外部を仕切る塀の存在、建屋Ｂ、レーザセンサ４の設置位置、扉や窓のように人が出入り可能な開口部を含んだ建屋Ｂ内部の３次元情報が登録されている。また、本実施の形態では、監視空間マップ２４１と監視空間マップ６３１は同じ情報である。

建物内センサ配置情報２４２は、各建物内センサ５の監視場所の監視空間マップ２４１における位置情報である。これは、予め警備計画によって決められており、建物内センサ５ごとに監視空間マップ２４１上の位置が対応付けられている。建物内センサ配置情報２４２は、建物内センサ５に、センサ属性、検知対象を示す空間領域、最寄りの開口位置の３次元座標を対応付けた情報である。センサ属性は、建物内センサ５の機能を示しており、「扉」は扉の開閉をマグネットセンサにて検知するという属性、「空間センサ」は領域内の人体が発する熱を検出する熱センサや画像センサなど所定空間内に人体の存在を検出するという属性、「窓センサ」は、窓の開閉を検知または窓の破壊を検知するという属性を示している。空間領域は、建物内センサ５が対象としている監視ブロックを示している。
また、開口位置は、建物内センサ５が検知した場合に、賊が建屋Ｂから出てくる可能性が高い場所として、飛行ロボット３の目標位置の算出に用いられる。図９を参照して、建物内センサ配置情報２４２の一例を説明すると、例えば、センサ５ｆについては、窓の開閉を監視するセンサであり、監視ブロックＢ３への侵入を検知し、最寄りの開口位置の３次元座標はセンサ５ｆが設置されている窓の監視空間マップ２４１上の位置（ｘ１，ｙ１，ｚ１）であることが対応付けられている。

レーザセンサパラメータ２４３は、レーザセンサ４の監視空間マップ２４１における位置、レーザセンサ４の検知領域における位置と監視空間マップ２４１上の位置との対応関係を含む情報であり、レーザセンサ４にて物体検知した位置を監視空間マップ２４１上の位置に変換するためのパラメータである。

各種パラメータ２４４は、警備装置２が監視領域Ｅを監視するために必要なセンタ装置７のＩＰアドレスや飛行ロボット３との通信のためのデータなど種々のパラメータである。記憶部２４には、これら以外に警備装置２の機能を実現するための各種プログラムが記憶されている。

次に、警備制御部２３について詳細に説明する。なお、警備制御部２３は、記憶部２４には図示していないソフトウェアモジュールを読み出して、ＣＰＵ等にて各処理を行うものである。

レーザセンサ解析モジュール２３１は、センサインタフェース２２から入力されるレーザセンサ４の信号を解析処理するソフトウェアである。具体的には、レーザセンサ４がレーザー光にて検知エリアを走査した結果である探査信号を時系列に解析する。検知エリアに新たな進入物体等がなければ、時系列に入力されるレーザセンサ４の探査信号はあまり変化しないので、移動物体なしとの解析結果となる。他方、検知エリアに新たな進入物体等があれば、レーザセンサ４の探査信号に変化が生じ、変化が出た検知エリアでの位置を解析して求める。更に、記憶部２４のレーザセンサパラメータ２４３を用いて、監視空間マップ２４１上の位置に変換し、進入物体の位置・大きさ・移動方向を算出し、進入物体を監視空間マップ２４１上で追跡する。また、進入物体が停止すると、その後の信号の変化がなくなるので、追跡していた自動車等の物体が、駐車したと判定することができる。
また、レーザセンサ解析モジュール２３１の解析結果は、後述する異常判定モジュール２３２やロボ制御モジュール２３３に出力される。

ここで、レーザセンサ４は、屋外に設置されて、監視領域Ｅの駐車場や建屋Ｂの周囲への進入を監視している。図７は、レーザセンサ４の検知エリアを示した図である。同図に示すように、レーザセンサ４−１が監視領域Ｅの左上から建屋Ｂ方向を検知エリアとして設置され、レーザセンサ４−２が監視領域Ｅの右下から建屋Ｂ方向の裏手を検知エリアとするように設置されている。

レーザセンサ４は、予め設定された検知エリアを走査するように、放射状にレーザー光である探査信号を送信し、検知エリア内の物体に反射して戻ってきた探査信号を受信する。そして、送信と受信の時間差から物体までの距離を算出し、その探査信号を送信した方向と算出した距離を求める。

そしてレーザセンサ４は、所定周期で検知エリアを走査した走査単位の結果を警備装置２に送信する。これにより、警備装置２のレーザセンサ解析モジュール２３１にて、監視領域Ｅにおける屋外での物体配置状況や人物の有無、自動車の追跡などが可能となる。本実施の形態では、地上を走行する自動車や人間の進入監視を目的としているため、水平方向に１段での走査としているが、監視目的によっては、鉛直方向にも複数段の走査をするようにしてもよい。

図５に戻って、異常判定モジュール２３２は、警備モード切替部２１からの警備セット／解除信号、建物内センサ５、レーザセンサ４からの信号を受信し、監視領域Ｅに異常が発生したか否かを判定する。異常判定モジュール２３２は、警備モード切替部２１から警備セット信号を受信すると監視領域Ｅを警戒する警備セットモードとし、警備解除信号を受信すると監視領域Ｅを警戒していない警備解除モードに設定する。そして、警備解除モードでは、建物内センサ５やレーザセンサ４からの検知信号を受信しても、特段の処理は行わない。他方、警備セットモードでは、建物内センサ５やレーザセンサ４からの検知信号を受信すると異常発生と判定し、監視センタ通信部２６からセンタ装置６に異常通報する。異常通報とともに、ロボ制御モジュール２３３に対して飛行ロボット３の起動制御を実行する。そして、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を監視センタ通信部２６からセンタ装置６に送信する処理を異常状態の解除がされるまで継続する。なお、異常状態の解除方法は種々存在するが、本発明との関連性が低いので説明は省略する。

ロボ制御モジュール２３３は、異常判定モジュール２３２にて飛行ロボット３の起動信号を受けると、飛行ロボット通信部２５から飛行ロボット３の飛行制御を行う。

ここで、図６を参照してロボ制御モジュール２３３を説明する。図６は、ロボ制御モジュール２３３の機能ブロック図である。ロボ制御モジュール２３３は、飛行ロボット３が到達するべき目標位置を決める目標位置設定手段イと、目標位置設定手段イが設定した目標位置に到達するための飛行経路を算出する飛行経路算出手段ロと、飛行経路算出手段ロが算出した飛行経路にて飛行するように飛行ロボット３へ飛行制御信号を生成して送信するロボ制御手段ハと、飛行ロボット３の監視空間マップ２４１上における現在の位置情報である飛行位置を順次算出する飛行位置算出手段ニから構成されている。目標位置設定手段イの詳細については後述する。

飛行位置算出手段ニは、飛行ロボット３のスキャン手段３８３が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ２４１に合致する場所を算出することにより、飛行位置を算出する。なお、飛行ロボット３は、起動を開始するまでは、所定の着陸待機場所に所在しているので、その位置が飛行位置となっている。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット３にＧＰＳ信号の受信機能を設けて、ＧＰＳ信号に基づいて現在位置を算出してもよい。

図５に戻って、画像処理モジュール２３４は、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を処理する。

画像処理モジュール２３４は、飛行ロボット３が撮影した画像に人物が写っているか判定する。すなわち、飛行ロボット３が撮影した画像をキャプチャし、キャプチャした画像に対して種々の人物の画像学習した学習識別器を用いて人物の有無を判定する。例えば、開口を形成する窓枠を認識し、その窓枠内に写っている画像に対して、顔及び肩のシルエットについて学習した学習識別器を適用させる。つまり、窓枠内に顔と肩のシルエットに類似するテクスチャを呈する画像が存在すれば人物ありと判定することになる。

制御モード切替モジュール２３５は、飛行ロボット３の現在の飛行位置、緊急対処員の現在の位置（対処員位置）、および自律飛行モードから他律飛行モードに移行したい旨の移行操作信号を用いて飛行ロボット３の制御モードを切り替える処理を行う。制御モードには、飛行ロボット３の目標位置を自動的に決定する自律飛行モードと、対処員端末６から送信される指示目標位置を飛行ロボット３の目標位置として決定する他律飛行モードがある。各モードにおける目標位置の決定については、目標位置設定手段イの詳細とともに後述する。

図８を参照して、制御モード切替モジュール２３５を説明する。図８は、制御モード切替モジュール２３５の機能ブロック図である。まず、到着検知手段ホは、対処員端末６を所持した緊急対処員が監視領域Ｅ内に到着したことを検知する。具体的には、対処員端末通信部２７から順次受信する端末位置（緯度・経度・高度情報）が監視空間マップ２４１上に存在するかを判定する。そして、到着検知手段ホは、端末位置が監視空間マップ２４１上に存在する場合に緊急対処員が監視領域Ｅに到着したことを検知する。さらに、監視空間マップ２４１上の対処員端末６の位置を対処員位置として順次算出し、飛行ロボット通信部２５を介して飛行ロボット３に順次送信する。

ロボ情報送信手段ヘは、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像や飛行位置算出手段ニで算出した飛行位置をロボ情報として対処員端末通信部２７を介して対処員端末６に送信する。本実施の形態では、ロボ情報送信手段ヘは、到着検知手段ホが緊急対処員の到着を検知したときにロボ情報を対処員端末６に送信する。

視認可否判定手段トは、対処員端末６を所持した緊急対処員から飛行ロボット３が視認可能であるか否かを判定する。具体的には、まず、監視空間マップ２４１上にて、飛行位置と対処員位置を用いて、両者の監視空間における距離を算出する。そして、両者の監視空間における距離が予め設定した視認可能距離内であれば緊急対処員から飛行ロボット３が視認可能であると判定する。視認可能距離は、監視領域Ｅ内に障害物がない場合において緊急対処員は対処員位置の３次元座標を中心として３６０度を視認できると想定し、その中心から目視可能な距離（例えば、２０ｍ）を予め設定すればよい。さらに、監視空間マップ２４１に含まれる建屋Ｂの３次元情報や塀の存在などの物理的な制約条件を考慮し、両者間の距離が視認可能距離内であっても飛行位置と対処員位置の間に建物などの障害物が存在する場合には視認可能ではないと判定する。なお、視認可否判定手段トによる視認可否の判定処理は、この方法に限らない。

操作信号検出手段チは、対処員端末通信部２７を介して対処員端末６から移行操作信号を受信したか否かを判定する。移行操作信号は、対処員端末６を所持した緊急対処員が自律飛行モードから他律飛行モードへの移行を指示する旨の信号である。なお、移行操作信号の受信だけではなく対処員端末６から指示目標位置を受信したことをもって移行操作信号を受信したとしてもよい。また、操作信号検出手段チは、対処員端末６から、他律飛行モードから自律飛行モードへの移行を指示する旨の操作終了信号を受信すると、その旨を制御モード切替手段リに出力する。

制御モード切替手段リは、到着検知手段ホの検知結果、操作信号検出手段チの判定結果、視認可否判定手段トの判定結果を用いて飛行ロボット３の制御モードを自律飛行モードから他律飛行モードに移行する。具体的には、制御モード切替手段リは、飛行ロボット３が起動すると自律飛行モードの制御モード信号をロボ制御モジュール２３３および対処員端末６に送信する。そして、到着検知手段ホによって緊急対処員が到着したこと検知され、かつ操作信号検出手段チによって対処員端末６から移行操作信号を受信したことが検出され、かつ視認可否判定手段トによって視認可能であると判定されたとき他律飛行モードの制御モード信号をロボ制御モジュール２３３および対処員端末６に送信することで飛行ロボット３の制御モードを自律飛行モードから他律飛行モードに移行する。ここで、視認可否判定手段トの判定結果を用いずに、到着検知手段ホにて緊急対処員位置の到着を検知し、かつ操作信号検出手段チによって対処員端末６から移行操作信号を受信したことが検出されたとき他律飛行モードの制御モード信号をロボ制御モジュール２３３および対処員端末６に送信し、飛行ロボット３の制御モードを自律飛行モードから他律飛行モードに移行するようにしてもよい。また、他律飛行モード中において、対処員端末６から操作終了信号を受信したことが検出されたとき自律飛行モードの制御モード信号をロボ制御モジュール２３３および対処員端末６に送信し、飛行ロボット３の制御モードを他律飛行モードから自律飛行モードに移行する。

次に、図６に戻って、ロボ制御モジュール２３３の目標位置設定手段イについて詳細を説明する。目標位置設定手段イは、制御モード切替手段リから受信した制御モード信号を記憶し、制御モードに応じて目標位置の設定処理を変える。

まず、自律飛行モードの制御信号を受信した際の目標位置の設定について説明する。目標位置設定手段イは、自律飛行モードの場合、レーザセンサ４の解析結果や建物内センサ５の検知結果、対処員位置検出手段ホが検出した対処員位置を用いて、飛行ロボット３の目標位置を自動的に設定する。例えば、レーザセンサ解析モジュール２３１にて自動車を検出した場合、レーザセンサ解析モジュール２３１が算出した進入物体である自動車の監視空間マップ２４１上の位置の上方５ｍ程度の高度を目標位置とする。なお、ここで、５ｍ程度というのは、飛行ロボット３が自動車の全体を撮影可能な程度の高さである。また、目標位置設定手段イは、建物内センサ５が侵入者を検出すると、建物内センサ配置情報２４２を参照して、対応する開口位置を撮影できる位置を目標位置に設定する。例えば、建物内センサ５ｆが検知すると、開口位置（ｘ１，ｙ１，ｚ１）を監視空間マップ２４１による建屋Ｂの壁や塀などの障害物を考慮した上で、極力正面を撮影できる位置を目標位置とする。また、到着検知手段ホにて緊急対処員が監視領域Ｅに到着したことが検知され、対処員位置が算出されると、順次算出される対処員位置の３次元座標を目標位置として順次設定する。つまり、緊急対処員が監視領域Ｅに到着すると飛行ロボット３は緊急対処員の存在する位置へ移動する。

次に、他律飛行モードの制御信号を受信した際の目標位置の設定について説明する。目標位置設定手段イは、他律飛行モードの場合、対処員端末６の操作によって目標位置を決定する。具体的には、対処員端末６から受信した指示目標位置の３次元座標を目標位置に設定する。また、対処員端末６から着陸信号を受信すると、予め記憶している着陸待機場所の３次元座標を目標位置として設定する。つまり、対処員端末６を所持している緊急対処員が飛行ロボット３に撮影・監視してほしい位置を対処員端末６を用いて指示し、飛行ロボット３は、その意思に従って移動を行う。

次に、このように構成された監視システム１の動作イメージについて、図４、図９、図１０、図１１を参照して説明する。図９は、警備セットモード中に、賊が自動車９を使って、建屋Ｂに侵入したときの様子を示している。まず、図９(a)のように、自動車９が進入してくると、レーザセンサ４の信号に基づき、警備装置２にて異常を検出する。警備装置２は、異常の発生に伴ってセンタ装置７に異常通報するとともに、飛行ロボット３の制御を開始する。また、賊は自動車９から降りた後にセンサ５ｆの設置されている窓から建物Ｂ内に侵入しており、このタイミングでセンサ５ｆが検知する。ここで、飛行ロボット３は、自律飛行モードで制御されているので、着陸待機場所から自動車９の位置まで飛行し、自動車９の上空の高高度位置で自動車９を撮影する。その後、図９(b)のように、建物内センサ５ｆの検知結果に基づいて、賊が侵入した場所を撮影している。

図１０は、異常通報を受けた監視センタから監視領域Ｅへの対処指示を受けて急行した対処員端末６を所持する緊急対処員８が監視領域Ｅに現れたときの様子を示している。まず、図１０(a)のように、緊急対処員８が監視領域Ｅ内に到着すると、対処員端末６の端末位置に基づいて、警備装置２にて対処員位置を検出する。警備装置２は、緊急対処員８の到着に伴って、対処員端末６にロボ情報を順次送信する。そして、緊急対処員８は、飛行ロボット３と協働して監視を行うために、対処員端末６を操作し、移行操作信号を警備装置２に送信するとともに、対処員端末６に表示されたロボ情報を参照して飛行ロボット３の存在する位置に移動を開始する。また、警備装置２は、緊急対処員８の到着に伴って、対処員位置を飛行ロボット３の目標位置として設定することで飛行ロボット３を緊急対処員８の存在する位置へ移動させる。その後、図１０(ｂ)のように飛行ロボット３のいる方向に移動した緊急対処員８と、緊急対処員８のいる方向に移動した飛行ロボット３との位置関係が変わり、緊急対処員８から飛行ロボット３を視認できる位置になると、警備装置２は、緊急対処員８と飛行ロボット３が協働して監視を行えるように自律飛行モードから他律飛行モードに飛行ロボット３の制御モードを移行する。

図１１は、飛行ロボット３の制御モードが他律飛行モードに移行した後、緊急対処員８と飛行ロボット３が協働して監視領域Ｅを監視している様子を示している。緊急対処員８は、図４のように表示された対処員端末６の表示部６４を参照し、操作部６５を操作し、飛行ロボットに撮像・監視させたい位置を指示目標位置として指定する。その結果、飛行ロボット３は、警備装置２によって指示目標位置の３次元座標が目標位置として設定されたので、図１１のように対処員端末６にて指定された位置に移動し、監視領域Ｅの撮影を行う。一方、飛行ロボット３に移動の指示を出した緊急対処員８は、飛行ロボット３が向かった位置とは反対側の建物Ｂ付近を監視する。また、図示しないが、このとき、対処員端末６の表示部６４には、飛行ロボット３が向かった位置にて撮像された画像が表示されており、その画像を確認することで緊急対処員は建物Ｂによって死角になる位置も同時に監視することができる。また、建物Ｂ内に侵入した賊が逃走する可能性のある開口部を緊急対処員８と飛行ロボット３によって監視することができるため、賊を挟みうちにすることが可能になる。

次に、警備装置２による飛行ロボット３の制御のための処理について、図１２、図１３、図１４を参照して説明する。まず、図１２は、制御モードを切り替える処理のフローである。本フローは、レーザセンサ４または建物内センサ５の検出信号に基づき、警備装置２にて異常を検出したことで開始する。異常を検知すると、警備装置２は、飛行ロボット３を起動するとともに、制御モードを自律飛行モードに設定する。（Ｓ１００、Ｓ１０１）

その後、到着検知手段ホは、端末位置が監視空間マップ２４１上に存在するか否かを判定し、存在する場合には緊急対処員が到着したと検知する。到着を検知すると、到着検知手段ホは、順次算出した対処員位置を飛行ロボット３の目標位置として順次設定し、飛行ロボット３に対処員位置の通知を開始する。また、ロボ情報送信手段ヘは、対処員端末６に、ロボ情報として飛行ロボットが撮影した画像と飛行位置算出手段ニにて順次算出した飛行位置の通知を開始する。なお、飛行ロボット３への対処員位置の通知および対処員端末６へのロボ情報の通知は、監視領域Ｅの異常状態がクリアするまで継続される。（Ｓ１０２、Ｓ１０３、Ｓ１０４）

視認可否判定手段トは、飛行位置と対処員位置と監視空間マップ２４１を用いて、緊急対処員から飛行ロボット３が視認可能な位置になったか否かを判定し、視認可能な位置になったと判定するとＳ１０６に進む。（Ｓ１０５）

その後、操作信号検出手段チは、視認可能な位置において、対処員端末６から制御モードを他律飛行モードに移行する旨の移行操作信号を受信したか否かを判定する。受信していた場合、制御モード切替手段リは、制御モードを自律飛行モードから他律飛行モードに移行する。Ｓ１０２、Ｓ１０５、Ｓ１０６にて、緊急対処員の到着を検知したこと、視認可能な位置になったこと、移行操作信号を受信したこと、これらの条件を合わせて満たした場合に制御モード切替手段リは、制御モードを自律飛行モードから他律飛行モードに移行する。このため、Ｓ１０２、Ｓ１０５、Ｓ１０６にて、それぞれ条件を満たさない場合（ＮＯの場合）は、Ｓ１０２へ戻り、条件を満たすまで処理を繰り返す。このとき一度Ｓ１０３およびＳ１０４にて通知処理が開始されている場合、Ｓ１０３、Ｓ１０４は省略される。これにより、緊急対処員が飛行ロボット３を目視にて確認でき、緊急対処員の意思がない限り安易に他律飛行モードに移行できないようにできる。（Ｓ１０６、Ｓ１０７）

他律飛行モード中において、対処員端末６から他律飛行モードから自律飛行モードへ移行する旨の操作終了信号を受信すると、Ｓ１０１に戻り、制御モード切替手段リは、制御モードを他律飛行モードから自律飛行モードに移行する。これにより、他律飛行モードから自律飛行モードへの移行は、自律飛行モードから他律飛行モードへの移行に比べて容易に行うことができる。なお、本実施の形態では、自律飛行モードから他律飛行モードへの移行の条件として、Ｓ１０５にある緊急対処員が飛行ロボット３を視認可能な位置に所在していることとしたが、いち早く自律飛行モードから他律飛行モードに移行させたい場合は、かかる条件を削除して緩和してもよい。（Ｓ１０８）

次に図１３を参照して、自律飛行モードにおける飛行ロボット３の制御のための処理を説明する。図１３は、自律飛行モード中の飛行制御フローである。本フローは、自律飛行モードに設定されることで開始する。まず、自律飛行モードへの移行が他律飛行モードから移行されたものである（飛行ロボット３の起動時に自律飛行モードに設定されたものではない）場合には、後述するＳ２１０にてＹＥＳだった場合と同様にＳ２０２に進み、対処員位置を目標位置として設定してＳ２０３以降の処理を行う。飛行ロボット３の起動時に自律飛行モードに設定されたものであれば、Ｓ２０１に進みレーザセンサ４の検知結果を取得する。（Ｓ２００、Ｓ２０１）

Ｓ２０１からＳ２０２へ進んだ場合、例えば、目標位置設定手段イは、レーザセンサ解析モジュール２３１が解析した自動車９の重心位置である現在位置から３．５ｍ離れた高高度（例えば高度５ｍ）の位置を監視空間マップ２４１上の位置として目標位置に設定する。（Ｓ２０２）

次に、レーザセンサ解析モジュール２３１は、レーザセンサ４からの信号に基づいて自動車９の位置を追跡する。（Ｓ２０３）

そして、飛行経路算出手段ロは、ステップＳ２０２にて設定された目標位置、飛行ロボット３の飛行位置、監視空間マップ２４１を用いて、経路探索アルゴリズムにより、飛行経路を計算する。経路探索アルゴリズムは、飛行位置と目標位置を設定すれば、監視空間マップ２４１の配置状況および飛行ロボット３の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出する（Ｓ２０４）。

そして、追跡の結果、例えば、自動車９が移動しているか否かを判定し、追跡対象である自動車９が移動していれば、目標位置を自動車９の移動に合わせて変更設定し、Ｓ２０４と同様に飛行経路を再度算出する。（Ｓ２０５、Ｓ２０６）

自動車９が移動していない場合、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の飛行制御信号を算出する。具体的な飛行制御信号は、飛行ロボット３にある４つのロータ３２のそれぞれの回転数である。そして、飛行ロボット通信部２５から無線信号にて飛行制御信号を送信する。飛行ロボット３は、アンテナ３１から飛行制御信号を受信すると、受信した飛行制御信号に基づいて飛行する。具体的には、アンテナ３１から受信した飛行制御信号が飛行制御手段３８４に入力され、ロータ駆動部３３から各ロータ３２の回転数を個別に制御して飛行する。（Ｓ２０７）

飛行が開始された後は、これらのステップＳ２０５〜ステップＳ２０７を繰り返し処理して、自動車９を追跡しつつ撮影を行う。飛行ロボット３が目標位置に到着すると、ロボ制御手段ハは、飛行ロボット３が目標位置にて待機飛行を行えるよう、飛行ロボット３の飛行制御信号を算出し、飛行ロボット３に送信する。飛行ロボット３は、アンテナ３１から待機飛行に関する飛行制御信号を受信すると、受信した飛行制御信号に基づいて待機飛行する。（Ｓ２０８、Ｓ２０９）

ここで、図１３に示すフローに記載しなかったが、飛行ロボット３が最初に飛行制御信号を受信すると、カメラ制御手段３８２がカメラ３６を起動させて、警備装置２への撮影画像の送信を開始する。また、スキャン手段３８３が測距センサ３５、高度センサ３４を起動し、警備装置２にスキャンデータの送信を開始する。

その後、Ｓ２１０では、目標位置設定手段イは、到着検知手段ホにて算出された対処員位置の入力があるか否かを判定し、入力がある場合は、対処員位置をＳ２０２にて目標位置として設定し、Ｓ２０３にて対処員位置を追跡対象として追跡し、対処員位置を目標位置としてＳ２０４からＳ２０８を実行する。対処員位置の入力がない場合は、新たにセンサの検知があったかを確認し、新たなセンサの検知がない場合にはＳ２０９の待機飛行を継続する。新たにセンサの検知があった場合は、Ｓ２０１にて、その検知情報を取得し、検知情報に基づいて目標位置を設定し、その設定された目標位置についてＳ２０３からＳ２０８を実行する。例えば、新たに検知したセンサが建物内センサ５ｆであった場合を例に説明すると、建物内センサ配置情報２４２から検知した建物内センサ５ｆに対応する開口位置を目標位置として設定する。この場合の目標位置は、開口位置から３ｍ程度手前側、且つ高度が「ｚ２」となる監視空間マップ２４１上の位置を目標位置に設定する。なお、これらの値は、例示であり、カメラ３６の性能や搭載パラメータ、塀との距離など監視空間マップ２４１上の制約条件を考慮して設定される。また、開口位置は、自動車のように移動することがないのでＳ２０３、Ｓ２０５、Ｓ２０６の追跡に関する処理は実行しないようにしてもよい。（Ｓ２１０，Ｓ２１１）

また、Ｓ２１１にて画像処理モジュール２３４にて賊を撮影できたことを認識した場合に新たなセンサが検知したとしてもよい。詳細には説明しないが、この場合、自動車９を追跡する例で説明したように、Ｓ２０１およびＳ２０２にてレーザセンサ解析モジュール２３１が捉えた賊の位置を目標位置として設定し、Ｓ２０３にて賊を追跡対象として追跡するようにすればよい。この場合、Ｓ２０８にて目標位置に到着し、賊の撮影が終われば、賊を俯瞰的に撮影する位置に移動してＳ２０９にて待機飛行するようにもよい。

本実施の形態では、警備装置２の警備制御部２３にて、飛行ロボット３をコントロールするようにしたが、警備装置２機能の全部または一部を適宜に飛行ロボット３に搭載するようにしてもよい。

図１３のフローは、制御モードが他律飛行モードに移行すれば終了し、他律飛行モードに移行した後は、図１４のフローに従って処理を行う。

次に、図１４を参照して、他律飛行モードにおける飛行ロボット３の制御のための処理を説明する。図１４は、他律飛行モード中の飛行制御フローである。本フローは、他律飛行モードに設定されることで開始する。まず、ロボ制御手段ハは、飛行ロボット３が他律飛行モードに移行した位置で待機飛行が行えるよう、飛行ロボット３の飛行制御信号を算出し、飛行ロボット３に送信する。飛行ロボット３は、アンテナ３１から待機飛行に関する飛行制御信号を受信すると、受信した飛行制御信号に基づいて待機飛行する。（Ｓ３００）

その後、対処員端末６からの指示目標位置を受信するまで待機飛行を継続する。対処員端末６からの指示目標位置を受信すると、目標位置設定手段イは、その指示目標位置を目標位置として設定する。ここで、指示目標位置の座標をそのまま目標位置として設定してもよいが、指示目標位置の座標から１ｍ程度手前側となる監視空間マップ２４１上の位置を目標位置として設定してもよい。なお、これらの値は、例示であり、カメラ３６の性能や搭載パラメータ、塀との距離など監視空間マップ２４１上の制約条件を考慮して設定される。（Ｓ３０１、Ｓ３０２）

その後、飛行経路算出手段ロは、ステップＳ３０１にて設定された目標位置、飛行ロボット３の飛行位置、監視空間マップ２４１を用いて、経路探索アルゴリズムにより、飛行経路を計算する。経路探索アルゴリズムは、飛行位置と目標位置を設定すれば、監視空間マップ２４１の配置状況および飛行ロボット３の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出する（Ｓ３０３）。

そして、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の飛行制御信号を算出する。具体的な飛行制御は図１３のＳ２０６で説明したものと同様である。（Ｓ３０４）

その後、飛行ロボット３が目標位置に到着すると、対処員端末６から着陸信号を受信するまでＳ３００からＳ３０７を繰り返す。飛行ロボット３が目標位置に到着していない場合は、新たな指示目標位置を受信していないかを確認し、受信していた場合は、その指示目標位置をＳ３０２にて設定し、受信していない場合は、飛行ロボット３が目標位置に到着するまでＳ３０４の飛行制御を継続し、Ｓ３０５以下を繰り返し実行する。対処員端末６から着陸信号を受信すると、予め記憶されている着陸待機場所の座標を指示目標位置とし、その指示目標位置を目標位置として設定し、飛行経路算出手段ロによって着陸待機場所までの飛行経路を算出し、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の飛行制御信号を算出し、飛行ロボット３を着陸飛行させる。飛行ロボットが着陸待機場所に到着すると、ロボ制御手段ハは、飛行ロボット３を停止して、本フローを終了する。（Ｓ３０５、Ｓ３０６、Ｓ３０７、Ｓ３０８）

１・・・監視システム
２・・・警備装置
３・・・飛行ロボット
４・・・レーザセンサ
５・・・建物内センサ
６・・・対処員端末

Claims (4)

1. 監視領域を撮影する機能を有する飛行ロボットと、前記撮影した画像を表示する表示部を備えた携帯端末と、前記監視領域を表す監視空間マップを用いて前記飛行ロボットの目標位置を自動的に決定する自律飛行モードと前記携帯端末にて前記飛行ロボットの目標位置を決定する他律飛行モードとを切り替えて前記飛行ロボットの目標位置への飛行を制御する制御装置と、から構成される監視システムであって、
   前記制御装置は、
   前記携帯端末を所持した対処員が前記監視領域に到着したことを検知する到着検知手段と、
   前記携帯端末から前記他律飛行モードへの移行を指示する移行操作信号を受信したことを検出する操作信号検出手段と、
   前記対処員の到着を検知し、かつ前記移行操作信号を受信すると前記自律飛行モードから前記他律飛行モードに移行する制御モード切替手段と、
   を具備することを特徴とする監視システム。
2. 前記到着検知手段は、更に前記監視空間マップ上の前記携帯端末の現在位置を対処員位置として順次算出し、
   前記制御装置は、
   前記監視空間マップ上の前記飛行ロボットの現在位置を飛行位置として順次算出する飛行位置算出手段と、
   前記監視空間マップにおける物理的な制約条件および、前記対処員位置と前記飛行位置間の距離に基づいて前記対処員から前記飛行ロボットが視認可能であるか否かを判定する視認可否判定手段と、を更に有し、
   前記制御モード切替手段は、
   前記対処員の到着を検知し、かつ前記移行操作信号を受信し、かつ前記視認可能であると前記自律飛行モードから前記他律飛行モードに移行することを特徴とする請求項１に記載の監視システム。
3. 前記制御装置は、
   少なくとも前記飛行位置を含むロボ情報を前記携帯端末に送信するロボ情報送信手段を有し、
   前記携帯端末は、
   前記ロボ情報を受信すると、当該ロボ情報を前記表示部に表示することを特徴とする請求項２に記載の監視システム。
4. 前記制御装置は、
   前記自律飛行モードにおいて、前記対処員の到着を検知すると、当該対処員の対処員位置を前記目標位置として設定する目標位置設定手段を有することを特徴とする請求項２または請求項３に記載の監視システム。