JP7758035B2 - 行動検知システムおよび行動検知プログラム - Google Patents

Description

本開示は、行動検知システムおよび行動検知プログラムに関し、特に、映像監視によって検知した行動を効果的に通知する技術に関する。

近年、映像監視技術の進歩によって、映像データからさまざまな事象を検知することができるようになってきている。

例えば、介護施設において被介護者を常時撮影し、機械学習モデルを使用して得られた映像を解析することによって被介護者が特定の姿勢を取ったかどうかを検知して、介護士等に被介護者の状態を通知する介護支援システムが提案されている（例えば、特許文献１を参照）。この技術によれば、被介護者を見守る介護士等の負担を軽減することができるので、被介護者の見守りの手間を省いて質の高い介護を提供することができるようになる。

しかしながら、検知すべき行動の種類によっては、単一の画像からその行動がなされたかどうかを適切に判断することが必ずしも容易でない場合もある。このような問題に対して、例えば、二枚の画像を組み合わせて行動を検知する映像監視装置が提案されている（例えば、特許文献２を参照）。このようにすれば、単一の画像だけからは検知することが難しい複雑な行動であっても適切に検知することができるようになる。

国際公開２０１７／０２６３０８号 特開２０１６－０６２１３１号公報

Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 14 Apr 2017, https://arxiv.org/pdf/1611.08050.pdf. Sijie Yan, Yuanjun Xiong, Dahua Lin, "Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition", 25 Jan 2018, https://arxiv.org/pdf/1801.07455.pdf.

映像上では同じような行動であっても、監視者にとっての重要性は必ずしも一様でなく、映像だけからではその行動の重要性を判断することは難しい場合がある。例えば、上記の従来技術に係る映像監視装置では、施錠されている扉を解錠する行動（図２１（ａ））を検知し、更にその扉から住居に進入する行動（図２１（ｂ））を検知すると、空き巣が住居に侵入したと判定する。

しかしながら、扉を解錠して住居に進入するのは空き巣だけではなく、その住居の居住者もまた同様の行動をとる。また、居住者の帰宅は空き巣の侵入よりも遥かに頻度が高い。したがって、当該行動を検知するたびに映像監視装置のユーザーに通知すると、空き巣が侵入した場合だけでなく、居住者の帰宅時にも通知されてしまうため、高い頻度で不要な通知が為され、ユーザーの利便性が著しく低下して、実用に耐えることができない。

また、機械学習モデルを使用して映像監視を行う場合、ユーザーのニーズに合わせて行動検知を行うためには、ユーザーのニーズに合った教師データを用意するための手間が膨大になるし、上記の空き巣の侵入と居住者の帰宅のように、似たような行動を細かく区別することができるように機械学習を実施することも必ずしも容易ではないという問題もある。

本開示は、上述のような問題に鑑みて為されたものであって、映像監視による行動検知の結果をユーザーのニーズに合わせて適切に通知することができる行動検知システムおよび行動検知プログラムを提供することを目的とする。

上記目的を達成するため、本開示の一形態に係る行動検知システムは、機械学習モデルを用いて、画像に含まれている人物の行動が所定の行動クラスのいずれに該当するかを特定する特定手段と、当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、行動クラス以外の理由に基づいた第２の通知条件と、の両方が充足されているか否かを判定する判定手段と、前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知手段と、を備え、前記第２の通知条件は、当該人物周辺の混雑度、当該画像における当該人物の位置と指定範囲との位置関係、当該人物の属性、当該人物周辺の人物の行動クラスおよび当該人物周辺の人物の属性の少なくとも一つを含むことを特徴とする。

この場合において、前記特定手段は、前記画像に複数の人物が含まれている場合、当該人物ごとに、その行動がいずれの行動クラスに該当するかを特定してもよい。

また、前記機械学習モデルは、ニューラル・ネットワークであってもよい。また、当該ニューラル・ネットワークは、畳み込みニューラル・ネットワークであるのが好適である。

また、前記第１の通知条件は、当該人物の行動が複数の行動クラスの組み合わせに該当する場合に通知要とする指定を含んでもよい。

また、前記第２の通知条件が、前記行動クラス毎に指定されていてもよい。

また、前記第２の通知条件が、前記複数の行動クラスの組み合わせに対応して指定されていてもよい。

また、前記第２の通知条件は、前記行動クラス毎に複数の指定の組み合わせになっていてもよい。

また、前記第２の通知条件は、前記複数の行動クラスの組み合わせに対応する複数の指定の組み合わせになっていてもよい。

また、前記行動クラスは、殴打、足蹴、押圧、登攀、匍匐前進、転倒、横臥、投擲、走行、乗車、歩行、スマホ操作、着座、把持および会話の少なくとも一つを含んでもよい。

また、前記人物周辺は、当該画像において当該人物を含む所定の範囲内であってもよい。

また、前記人物周辺の人物は、当該画像に含まれる複数の人物のうち、当該人物を含むクラスターに属する人物であってもよい。

また、前記通知は、当該行動がいずれの行動クラスに該当するかを示す情報を含んでもよい。

また、前記通知は、前記第２の通知条件における通知の要否の指定ごとに設定された当該通知の重要度を示す情報を含んでもよい。

また、本開示の別の形態に係る行動検知システムは、機械学習モデルを用いて、画像に含まれている複数の人物ごとにその行動が所定の行動クラスのいずれに該当するかを特定する特定手段と、前記複数の人物のうちの一人についての当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、前記一人についての当該行動クラスと前記複数の人物のうちの他の人物についての行動クラスとの組み合わせに応じた第２の通知条件と、の両方が充足されているか否かを判定する判定手段と、前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知手段と、を備えることを特徴とする。
また、本開示の一形態に係る行動検知プログラムは、機械学習モデルを用いて、画像に含まれている人物の行動が所定の行動クラスのいずれに該当するかを特定する特定ステップと、当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、行動クラス以外の理由に基づいた第２の通知条件と、の両方が充足されているか否かを判定する判定ステップと、前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知ステップと、をコンピューターに実行させるための行動検知プログラムであり、前記第２の通知条件は、当該人物周辺の混雑度、当該画像における当該人物の位置と指定範囲との位置関係、当該人物の属性、当該人物周辺の人物の行動クラスおよび当該人物周辺の人物の属性の少なくとも一つを含むことを特徴とする。

このようにすれば、第１の通知条件に加えて、第２の通知条件を用いて通知の要否を判定するので、映像監視による行動検知の結果をユーザーのニーズに合わせて適切に通知することができる。

本開示の実施の形態に係る行動検知システム１の主要な構成を説明する図である。 行動検知システム１の主要な構成を説明するブロック図である。 行動検知システム１の主要な機能構成を説明するブロック図である。 行動検知システム１の行動特定部３０１を用いる機械学習モデルの主要な構成を説明する図である。 （ａ）から（ｃ）は行動検知システム１が受け付ける監視画像と、監視画像に含まれる人物の機械学習モデルによる検知結果を例示する図である。 通知条件のうち「行動クラス」を設定するために表示される「通知条件の設定」画面６の「行動クラス」タブ６００を例示する図である。 通知条件のうち「行動持続時間」を設定するために表示される「通知条件の設定」画面６の「行動持続時間タブ」７００を例示する図である。 行動持続時間が設定された場合の通知動作を説明する図である。 通知条件のうち「混雑度」を設定するために表示される「通知条件の設定」画面６の「混雑度タブ」９００を例示する図である。 通知条件のうち「時間帯」を設定するために表示される「通知条件の設定」画面６の「時間帯タブ」１０００を例示する図である。 通知条件のうち「特定領域滞在」を設定するために表示される「通知条件の設定」画面６の「特定領域滞在タブ」１１００を例示する図である。 通知条件テーブル１２００のデータ構造を説明する表である。 行動検知システム１の動作を説明するフローチャートである。 （ａ）から（ｃ）は本開示の変形例に係る「通知条件の設定」画面１４を説明する図であって、特に、「監視カメラ」を選択させるための画面表示および手順が示されている。 （ａ）から（ｃ）は本開示の変形例に係る「通知条件の設定」画面１４を説明する図であって、特に、「行動クラス」を指定させるための画面表示および手順が示されている。 （ａ）、（ｂ）は本開示の変形例に係る「通知条件の設定」画面１４を説明する図であって、特に、「行動クラス」に対応する「通知条件」を指定させるための画面表示および手順が示されている。 （ａ）、（ｂ）は本開示の変形例に係る「通知条件の設定」画面１４を説明する図であって、特に、「行動クラス」に対応する「通知条件」を指定させるための画面表示および手順が示されている。 （ａ）から（ｃ）は本開示の変形例に係る「通知条件の設定」画面１４を説明する図であって、特に、「行動クラス」の組み合わせを指定させるための画面表示および手順が示されている。 本開示に係る行動検知システム１を適用した介護施設におけるシステム構成を説明する図である。 本開示の変形例に係る関節情報の検出結果を、検出元の監視画像を撮影した時刻の順に例示する図である。 従来技術に係る映像監視装置の動作を説明する図であって、（ａ）は扉を解錠する行動を表し、（ｂ）は住居に進入する行動を表している。

以下、本開示に係る行動検知システムの実施の形態について、図面を参照しながら説明する。
［１］行動検知システムの構成
まず、本実施の形態に係る行動検知システムの構成について説明する。

図１に示すように、本実施の形態に係る行動検知システム１は、所謂クラウド・システムであって、街頭に設置された監視カメラ１０１、１０２および１０３等が撮影した映像（以下、「監視画像」という。）を逐次取得する。監視カメラ１０１等が撮影した監視画像には、例えば、人物１１１、１１２、１１３および１１４等が含まれている。行動検知システム１は、取得した監視画像から人物１１１等とその行動を検知して、後述のように検知結果を選別した後、監視センター１２１へ検知結果を通知する。なお、クラウド・システムに代えて、行動検知システム１を監視センター１２１内に設置してもよい。

図２に示すように、行動検知システム１は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３等を内部バス２０７で相互に通信することができるように接続したものである。ＣＰＵ２０１は、ＲＯＭ２０２からブート・プログラムを読み出して起動し、ＲＡＭ２０３を作業用記憶領域としてＨＤＤ２０４からＯＳ（Operating System）やアプリケーション・プログラム等を読み出して実行する。

ＮＩＣ（Network Interface Card）２０５は監視カメラ１０１等および監視センター１２１と通信するための処理を実行する。タイマー２０６は、ＣＰＵ２０１がＯＳやアプリケーション・プログラム等を実行するために必要な計時処理を実行する。

図３は行動検知システム１の機能構成を表すブロック図である。図３に示すように、行動検知システム１は、行動特定部３０１、通知条件判定部３０２、通知処理部３０３を備えている。行動特定部３０１は、監視カメラ１０１等から監視画像を取得すると、機械学習モデルを用いて、監視画像から人物を認識し、その行動が複数のクラスのいずれに該当するかを特定する。通知条件判定部３０２は、行動特定部３０１が人物を認識した場合に、監視センター１２１が指定した通知条件が充足されているかどうかを判定する。通知処理部３０３は、通知条件が充足されている場合に、監視センター１２１へ通知を行う。
［２］行動特定部３０１
本実施の形態に係る行動特定部３０１は、監視カメラ１０１等から定期的に監視画像とその撮影日時を取得して、機械学習モデルとして畳み込みニューラル・ネットワーク（CNN: Convolutional Neural Network）を用いて、監視画像から人物およびその行動を認識する。具体的には、図４に示すように、ＣＮＮ４００の畳み込み層４０１を用いて監視画像４１１の特徴量を抽出し、畳み込み層４０１の出力を全結合層（出力層）４０２に入力することによって、人物の位置およびその行動を特定する。

この畳み込み層４０１は、監視画像４１１の特徴的なパターンを検知したり、パターンの様々に特徴的な組み合わせを検知したりする。出力層４０２は、畳み込み層４０１の出力データから監視画像４１１に含まれている人物を囲むバウンディング・ボックスの位置および大きさと、当該人物の行動が該当するクラス（以下、「行動クラス」という。）を特定する。

ＣＮＮ４００は、様々な行動をとる人物を撮像した画像を教師データとして、教師データの画像に含まれている人物の範囲を表すバウンディング・ボックスの位置と大きさおよびその人物がとっている行動が該当する行動クラスを機械学習する。ＣＮＮ４００は、あらかじめ指定されている行動クラス毎に、当該人物の行動が該当する確率を出力する。

本実施の形態においては、行動クラスとして、「殴打（人を殴る）」、「転倒（倒れている）」、「歩行（歩く）」および「スマホ操作（スマホを見る）」等が設定されており、人物ごとにその行動がどの行動クラスに該当するか特定される。人物ごとに検知される行動クラスの数は２以上であってもよい。例えば、行動クラス毎にＣＮＮ４００が出力する確率が予め設定された閾値以上である場合には、当該人物の行動は当該行動クラスに該当すると判定することができる。

閾値が３０％である場合に、ＣＮＮ４００が出力した確率が７５％の行動クラスがあれば、当該人物の行動は当該確率７５％の行動クラスに該当すると判定する。また、閾値が３０％である場合に、ＣＮＮ４００が出力した確率が４０％の行動クラスが２つあれば、当該人物の行動は当該確率４０％の行動クラスの両方ともに該当すると判定する。更に、閾値が３０％である場合に、ＣＮＮ４００が出力した確率が３３％の行動クラスが３つあれば、当該人物の行動は当該確率３３％の行動クラスすべてに該当すると判定する。

例えば、図５（ａ）の例では、監視画像５００に二人の人物１１１、１１２が含まれており、人物１１１、１１２の位置を示すバウンディング・ボックス５０１、５０２が検知されている。ＣＮＮ４００は、バウンディング・ボックス５０１、５０２のそれぞれについて当該人物の行動が属するクラスとして「殴打」を特定する。また、監視画像５００の右上の隅には撮影時刻として「２３：５５」が表示されている。

図５（ａ）の例では、撮影年月日は監視画像５００にデータとして別途添付され、表示はされていないが、撮影時刻に合わせて撮影年月日を表示してもよい。また、撮影時刻もまた監視画像５００にデータとして別途添付して、表示を省いてもよい。特に、監視画像５００に含まれている人物を検出したり、検出した人物の行動を特定したりする場合には、監視画像５００から撮影年月日や撮影時刻の表示を省くのが望ましい。図５（ｂ）、図５（ｃ）についても同様である。

図５（ｂ）の例では、監視画像５１０に人物１１３が含まれており、当該人物１１３の位置を示すバウンディング・ボックス５１１が検知されている。ＣＮＮ４００は、バウンディング・ボックス５１１について当該人物の行動が属するクラスとして「転倒」を特定する。監視画像５１０の右上の隅には撮影時刻として「０９：４３」が表示されている。

図５（ｃ）の例では、監視画像５２０に人物１１４が含まれており、当該人物１１４の位置を示すバウンディング・ボックス５２１が検知されている。ＣＮＮ４００は、バウンディング・ボックス５２１について当該人物の行動が属するクラスとして「歩行」および「スマホ操作」の２つのクラスを特定する。監視画像５１０の右上の隅には撮影時刻として「１３：１８」が表示されている。

このように、行動特定部３０１は、監視画像４１１の入力を受け付けて、当該監視画像４１１に含まれている人物ごとにバウンディング・ボックスの位置および大きさと、当該人物の行動が属するクラスと、を出力する。このとき併せて、当該監視画像４１１を撮影した監視カメラの識別子と、当該監視画像４１１の撮影日時を出力する。

なお、行動特定部３０１は、監視カメラ１０１等に対して監視画像を要求することによって監視画像を取得してもよいし、監視カメラ１０１等に監視画像を行動特定部３０１へ自発的に送信させることによって取得してもよい。
［３］通知条件判定部３０２
通知条件判定部３０２について、通知条件の設定と判定との２つの処理に分けて説明する。
（３－１）通知条件の設定
通知条件判定部３０２は、行動特定部３０１が人物を検知した際に、その旨を監視センター１２１へ通知するかどうかを判定するための通知条件を、監視センター１２１から受け付ける。本実施の形態においては、監視センター１２１から行動検知システム１にＷｅｂアクセスさせることによって、監視センター１２１のブラウザーに通知条件の設定画面を表示させ、通知条件を入力させる場合を例にとって説明するが、本開示がこれに限定されないのは言うまでもなく、これに代えて他の方法で通知条件を設定させてもよい。
（３－１－１）行動クラス
図６は、通知条件の設定画面６を例示する図であって、特に、「行動クラス」タブ６００が示されている。図６に示すように、「行動クラス」タブ６００では検知した場合に通知すべき行動のクラスと、当該行動を撮影する監視カメラの指定とを受け付ける。図６の例では、チェック・ボックス６０１のうち、行動クラスのうち「歩行」と「スマホ操作」の２つのチェック・ボックスがチェックされている。

また、監視カメラを指定するリスト・ボックス６０２では、監視カメラ１０３が指定されている。このため、監視カメラ１０３で撮影した監視画像に含まれている人物それぞれについて、「歩行」と「スマホ操作」との行動クラスが両方とも検知されているのでなければ、「歩行」と「スマホ操作」とのどちらか一方だけ検知されていても、監視センター１２１への通知はなされない。他の通知条件も指定されている場合には、それらの通知条件も充足された場合にだけ、監視センター１２１への通知がなされる。

なお、以下に説明する行動クラス以外の通知条件については、すべての行動クラスに共通して指定を受け付けてもよいし、行動クラス毎に指定を受け付けてもよい。どちらで指定するかはユーザーに選択させてもよい。
（３－１－２）行動持続時間
図７に示すように、行動持続時間タブ７００は、「行動クラス」タブ６００で指定したクラスの行動が所定時間だけ持続した場合に監視センター１２１へ通知させるように、その持続時間を設定させる。このため、行動持続時間タブ７００には、持続時間を指定するためのチェック・ボックスが表示される。また、行動持続時間タブ７００の右上の領域には、どの監視カメラで検出したどの行動クラスについての行動持続時間の設定であるかを示す文字列が表示される。

図７の例では、監視カメラ１０２で「転倒」が検知された場合における、「転倒」状態の持続時間として「３分から４分」が設定されている。したがって、監視カメラ１０２が撮影した監視画像において、「転倒」している人物が３分以上、連続して検知された場合には、その旨が監視センター１２１へ通知される。

図８のように、時刻Ｔ０に撮影された監視画像８００において検知された人物１１３は「転倒」しており、監視画像８００におけるバウンディング・ボックス８０１内に位置している。

時刻Ｔ１、Ｔ２およびＴ３に撮影された監視画像８１０、８２０および８３０においても「転倒」している人物１１３が検知されており、当該人物１１３を囲むバウンディング・ボックス８１１、８２１および８３１が時刻Ｔ０に撮影された人物１１３を囲むバウンディング・ボックス８０１に一致している。したがって、人物１１３は転倒したまま動いていないと推定される。

しかしながら、時刻Ｔ０から時刻Ｔ１、Ｔ２およびＴ３までの経過時間はいずれも行動持続時間タブ７００で設定された持続時間（閾値）よりも短いので、人物１１３が転倒したものの無事なのか、負傷するなど危険な状態にあるのかを十分な確からしさで判断することができない。このため、監視センター１２１への通知はなされない。

時刻Ｔ４に撮影された監視画像８４０においても「転倒」している人物１１３が検知されており、当該人物１１３を囲むバウンディング・ボックス８４１が時刻Ｔ０、Ｔ１、Ｔ２およびＴ３に撮影された人物１１３を囲むバウンディング・ボックス８０１、８１１、８２１および８３１に一致している。更に、時刻Ｔ０から時刻Ｔ４までの経過時間は行動持続時間タブ７００で設定された持続時間（閾値）よりも長いので、人物１１３が負傷するなど危険な状態にある恐れがある。このため、監視センター１２１への通知を行う。

なお、図７においては、チェック・ボックスを用いて持続時間を指定させる行動持続時間タブ７００が例示されているが、本開示がこれに限定されないのは言うまでもなく、これに代えて、或いはこれに加えて、持続時間を数値指定させるフィールドを設けてもよい。更に、他のＧＵＩ（Graphical User Interface）部品を用いる等して、持続時間の指定を受け付けてもよいことは言うまでもない。
（３－１－３）混雑度
図９に例示するように、混雑度タブ９００は、検知した人物の周辺にいる人物の人数を指定させることによって、監視センター１２１へ通知する必要がある混雑度の指定を受け付ける。図９の例では、検知した人物の行動が歩行とスマホ操作との２つの行動クラスに該当する場合に、検知した人物から８ｍ以内に１２人以上の人物が検知されていたら、検知した人物の周辺が混雑していると判定し、歩きスマホは危険であるので、監視センター１２１へ通知が為される。

なお、検知した人物からの距離に代えて、監視画像に含まれている人物をすべて検知して、監視画像における各人物の位置を特定し、人物の位置の分布に応じたクラスタリングによって、検知した人物を含むクラスターをその人物の周囲にいる人物として、その人数から混雑度を判定してもよい。この場合には、ユーザーに人物の周辺の範囲を特定するための距離を入力させる必要が無いので、ユーザーの利便性が向上する。

また、監視画像に含まれている人数を検出する際には、人物ごとに当該人物を囲むバウンディング・ボックスを検出して、当該バウンディング・ボックスの数を当該人数としてもよい。また、人物ごとに当該人物の骨格を検出することによって人数を特定してもよい。

なお、図９においては、チェック・ボックスを用いて周辺の人数および周辺までの距離を指定させる混雑度タブ９００が例示されているが、本開示がこれに限定されないのは言うまでもなく、これに代えて、或いはこれに加えて、周辺の人数や周辺までの距離を数値指定させるフィールドを設けてもよい。更に、他のＧＵＩ部品を用いる等して、周辺の人数や周辺までの距離の指定を受け付けてもよいことは言うまでもない。
（３－１－４）時間帯
時間帯タブ１０００は、検知した人物を含む監視画像が撮影された時間帯に応じて、監視センター１２１への通知の要否を判定する場合の判定条件（通知条件）を入力させる画面である。図１０の例では、連続する４つの時間帯が指定されており、検出した人物の行動クラスが「殴打」である場合に、監視画像の撮影時刻が１８時から６までの間ならば、監視センターへ通知が為される。

また、時間そのものを指定させる代わりに、「日中」や「夜間」など季節によって変動し得る時間帯や、「ラッシュアワー」などのように曜日によって変動し得る時間帯を指定させてもよい。複数の時間帯の指定を受け付ける場合に、当該複数の時間帯が連続していなくてもよいのは言うまでもなく、断続する複数の時間帯の指定を受け付けてもよい。更に、他のＧＵＩ部品を用いる等して、時間帯の指定を受け付けてもよいことは言うまでもない。
（３－１－５）特定領域滞在
特定領域滞在タブ１１００は、検知した人物が監視画像における特定の領域に位置するかどうかに応じて、監視センター１２１への通知の要否を判定する場合の判定条件（通知条件）を入力させる画面である。図１１の例では、検知した人物１１４の行動が「歩行」と「スマホ操作」との２つの行動クラスに該当し、かつ監視画像１１０１における特定領域１１０２内に人物１１４が位置している場合には、監視センター１２１への通知が為される。

なお、図１１の例では、監視カメラ１０３を用いて撮影された監視画像１１０１について特定領域１１０２を指定する際に、ユーザーの便宜を考慮して、補助的に監視画像１１０１を表示しているが、監視画像１１０１が表示されていなくてもよい。また、図１１においては、特定領域１１０２が矩形状である場合が例示されているが、特定領域は円や楕円など、矩形以外の形状であってもよい。

特定領域１１０２が矩形状である場合には、例えば、矩形の４つの頂点のうち、座標値が最も小さいＸ座標（Ｘ１）およびＹ座標（Ｙ１）と、Ｘ方向及びＹ方向における矩形の大きさ（Ｘｓｉｚｅ、Ｙｓｉｚｅ）とで特定領域１０２を指定することができる。言うまでもなく、他の方法で特定領域１０２を指定してもよいことは言うまでもない。

また、図１１においては、特定領域１１０２が１つだけ指定されている場合が例示されているが、本開示がこれに限定されないのは言うまでもなく、２つ以上の特定領域１１０２の指定を受け付けてもよい。また、監視画像における座標値の入力を受け付ける等、上記以外の手法を用いて特定領域１１０２の指定を受け付けてもよいことは言うまでもない。
（３－１－６）その他
その他の通知条件として、例えば、人物属性を受け付けてもよい。人物属性には性別や年齢層、体格、姿勢、髪型、服装などが挙げられる。人物属性は、例えば、機械学習モデルを用いて検出してもよい。この場合において、監視画像において当該人物を囲むバウンディング・ボックスを切り出して機械学習モデルに入力してもよい。

また、上記の混雑度のように、注目人物の周辺の人物を参照する場合にも、周辺人物の行動が該当する行動クラスや、当該周辺人物の属性を参照して、混雑度の判断に参酌するかどうかを判別してもよい。また、注目人物の行動が該当する行動クラスによっては、周辺の人物の行動が該当する行動クラスを参照して、行動クラスが「着座」である場合には、監視センター１２１への通知を不要にしてもよい。

以上のように、指定を受け付けることによって、図１２に例示するような通知条件テーブル１２００を作成する。図１２に示す通知条件テーブル１２００においては、監視カメラ番号ごとに、監視センター１２１へ通知すべき行動クラスが１つずつ指定されている場合が例示されているが、２つ以上の行動クラスが指定されていてもよいのは言うまでもなく、当該２つ以上の行動クラスどうしで、行動クラス以外の通知条件が一致していてもよいし、異なっていてもよい。

また、本実施の形態においては、監視カメラ番号ごとの行動クラスに対応する通知条件がすべて満たされている場合（すべての通知条件のＡＮＤが満たされている場合）に監視センター１２１への通知を行う場合を例にとって説明するが、本開示がこれに限定されないのは言うまでもなく、ＡＮＤだけでなくＯＲやＮＯＴを含む通知条件の論理式を指定させてもよい。
（３－２）通知条件の判定
通知条件判定部３０２は、行動特定部３０１が特定した人物ごとに、通知条件が充足されているか判定する。

例えば、監視カメラ１０１から受け付けた監視画像５００（図５（ａ））について、行動特定部３０１が人物１１１の行動クラスを「殴打」と特定した場合、通知条件判定部３０２は、通知条件テーブル１２００において、監視カメラ番号が１０１で行動クラスが「殴打」である欄を参照する。通知条件テーブル１２００においては、対応する通知条件として、注目人物から「１メール以内に２人以上」の混雑度と、「１８時から６時まで」の時間帯とが指定されている。

監視画像５００においては、人物１１１から１メートルの範囲内に人物１１１、１１２の２人がおり、「１メール以内に２人以上」という混雑度に関する通知条件が充足されている。また、撮影時刻は「２３：５５」なので、「１８時から６時まで」という時間帯に関する通知条件も満たされている。したがって、通知条件判定部３０２は通知条件が充足されていると判定する。

監視カメラ１０２から受け付けた監視画像５１０（図５（ｂ））について、行動特定部３０１が人物１１３の行動クラスを「転倒」と特定した場合、通知所条件判定部３０２は、通知条件テーブル１２００において、監視カメラ番号が１０２で行動クラスが「転倒」である欄を参照する。通知条件テーブル１２００においては、対応する通知条件として、行動持続時間が「３分以上」と指定されている。

このため、通知条件判定部３０２は、監視画像５１０、監視画像５１０に添付されている撮影時刻「０９：４３」、行動特定部３０１が特定した人物１１３を囲むバウンディング・ボックス５１１の位置と大きさ、および人物１１３の行動に該当する行動クラスをＨＤＤ２０４に記録する。

その後、同じ監視カメラ１０２から受け付けた監視画像において、バウンディング・ボックス５１１と同じ位置に同じ大きさのバウンディング・ボックスで囲まれた人物が検出され、その行動クラスが「転倒」である場合には、ＨＤＤ２０４に記録されている監視画像５１０の撮影時刻「０９：４３」と新たに受け付けた監視画像の撮影時刻とを比較して、行動持続時間を算出する。

算出した行動持続時間が、通知条件テーブル１２００で指定されている行動持続時間「３分以上」に該当する場合には、通知条件判定部３０２は通知条件が充足されたと判定する。この結果、通知処理部３０３が監視センター１２１への通知を行う。算出した行動持続時間が３分未満である場合には、通知条件は充足されていないので、監視センター１２１への通知が行われないまま、ＨＤＤ２０４における監視画像５１０等の記録を維持する。

同じ監視カメラ１０２から受け付けた監視画像において、人物が検出されなかった場合、人物を検出したものの、当該人物を囲むバウンディング・ボックスの位置や大きさが先に検出したバウンディング・ボックス５１１の位置や大きさと異なっている場合、或いは当該人物の行動クラスが「転倒」でない場合には、人物１１３の「転倒」という行動は持続していないと判断されるので、ＨＤＤ２０４から監視画像５１０等の記録を削除するか、若しくは当該監視画像５１０等の記録は行動持続時間の判断の対象外にする。その結果、監視画像５１０に含まれている人物１１３の「転倒」は行動持続時間の監視対象から外される。

監視カメラ１０３から受け付けた監視画像５２０（図５（ｃ））について、行動特定部３０１が人物１１４の行動クラスを「歩行」および「スマホ操作」と特定した場合、通知所条件判定部３０２は、通知条件テーブル１２００において、監視カメラ番号が１０３で行動クラスが「歩行」および「スマホ操作」である欄を参照する。通知条件テーブル１２００においては、対応する通知条件として、行動持続時間が「３分以上」、混雑度が「８ｍ以内に１２人以上」、特定領域滞在が「（Ｘ１、Ｙ１、Ｘｓｉｚｅ、Ｙｓｉｚｅ）」と指定されている。

監視画像５２０において、人物１１４を囲むバウンディング・ボックス５２１は通知条件テーブル１２００の特定領域滞在の欄で指定されている特定領域の範囲（Ｘ１、Ｙ１、Ｘｓｉｚｅ、Ｙｓｉｚｅ）に含まれている。一方、監視画像５２０に含まれている人物は人物１１４だけであり、通知条件テーブル１２００の混雑度の欄で指定されている「８ｍ以内に１２人以上」との通知条件は充足されていない。

このため、通知条件テーブル１２００の行動持続時間の欄で「３分以上」と指定されていても、監視画像５１０の場合とは異なって、監視画像５２０や監視画像５２０に添付されている撮影時刻「１３：１８」等をＨＤＤ２０４に記録することはしない。したがって、監視画像５２０が撮影されたことを契機として、通知条件が充足されたと通知条件判定部３０２が判定することはないので、通知処理部３０３は監視センター１２１への通知を行うこともない。
［４］通知処理部３０３
通知処理部３０３は、通知条件テーブル１２００で指定されている通知条件が充足されたと通知条件判定部３０２が判定すると、監視センター１２１への通知を行う。言い換えると、通知処理部３０３は、監視画像によって特定の行動が検知されたことを通知する警報の有無を示す信号を監視センター１２１へ送信する。

通知処理部３０３から監視センター１２１への通知には、監視カメラの識別情報、監視画像データ、監視画像の撮影時刻や撮影年月日、行動特定部３０１が特定した行動クラス、当該行動クラスに該当する行動をとった人物を囲むバウンディング・ボックスの当該監視画像における位置および大きさ、通知条件テーブル１２００で指定された通知条件のうちどの通知条件をどのように充足したかについての情報などのうち１以上が含まれているのが望ましい。

また、通知処理部３０３から監視センター１２１への通知には、通知処理部３０３は、監視画像によって特定の行動が検知されたことを通知する警報の重要度を示す情報を含んでもよい。警報の重要度は、例えば、図１２に示すように、通知条件テーブル１２００に重要度を指定する欄を設けて、当該欄を通知処理部３０３が参照したり、当該欄を参照した通知条件判定部３０２が通知処理部３０３に重要度を通知したりすることによって、当該重要度を通知処理部３０３が監視センター１２１へ通知してもよい。
［５］行動検知システム１の動作
次に、行動検知システム１の動作について説明する。

図１３に示すように、行動検知システム１は、監視カメラから監視画像を取得すると（Ｓ１３０１：ＹＥＳ）、行動特定部３０１にて監視画像に人物が含まれているか確認する。監視画像に含まれている人物を検知した場合には（１３０２：ＹＥＳ）、監視画像から検知した人物ごとにステップＳ１３０３からステップＳ１３０９までの処理を実行する。

すなわち、行動特定部３０１によって当該人物の行動が該当する行動クラスを特定する（Ｓ１３０４）。どの行動クラスに該当するかは、上述のように、ＣＮＮ４００を用いて特定する。次に、通知条件判定部３０２によって、通知条件テーブル１２００を参照して、監視カメラの番号と行動クラスとの組み合わせに対応する通知条件を特定して（Ｓ１３０５）、特定した通知条件がすべて充足されているか確認する（Ｓ１３０６）。

通知条件がすべて充足されている場合には（Ｓ１３０７：ＹＥＳ）、当該行動を検知した旨を監視センター１２１へ通知する（Ｓ１３０８）。通知条件が充足されていない場合には（Ｓ１３０７：ＮＯ）、監視センター１２１への通知をすることなく、監視画像から検知した別の人物についてステップＳ１３０３からステップＳ１３０９までの処理を実行する。

監視画像から検知した人物のすべてについてステップＳ１３０３からステップＳ１３０９までの処理を完了したら、ステップＳ１３０１へ戻って、上述のような処理を繰り返す。

このようにすれば、監視画像を用いた映像監視による行動検知の結果を、通知条件テーブルを参照することによって、ユーザーのニーズに合わせて適切に通知することができる。
［６］変形例
以上、本開示を実施の形態に基づいて説明してきたが、本開示が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（６－１）上記実施の形態においては、機械学習モデルとしてＣＮＮ４００を用いる場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、ＣＮＮ以外のニューラル・ネットワークを用いてもよいし、ニューラル・ネットワーク以外の機械学習モデルを用いてもよい。
（６－２）上記実施の形態においては、行動特定部３０１が検知する行動クラスとして、「殴打」、「転倒」、「歩行」および「スマホ操作」を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これらに代えて、あるいはこれらに加えて、例えば、「足蹴（蹴る）」や「押圧（押す）」、「登攀（登る）」、「匍匐前進」、「横臥（横になっている）」、「投擲（ものを投げている）」、「走行（走っている）」、「乗車（乗り物に乗っている）」、「着座（座っている）」、「把持（ものを持っている）」および「会話（人と話している）」等の行動クラスを設けて、監視画像に含まれている人物の行動を検知してもよい。
（６－３）上記実施の形態においては、通知条件テーブル１２００において行動クラス毎に重要度を指定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。「行動持続時間」や「混雑度」といった通知条件ごとに重要度を指定してもよい。また、この重要度は、当該通知条件の設定内容に応じて指定してもよい。

例えば、「行動持続時間」ならば、持続時間が３０秒から６０秒までの場合には重要度を中程度とし、６０秒を超える場合には重要度を高としてもよい。また、高中低の３段階に代えて、０から１までの数値のように、重要度に細かく段階を設定してもよい。このような場合には、監視センター１２１への通知の際に、併せて通知条件ごとの重要度を監視センター１２１へ通知してもよい。通知条件どうしで重要度が異なる場合には、重要度が最も高い通知条件を監視センター１２１へ通知してもよい。

また、通知条件ごとの重要度に、それぞれ通知条件に対応する重みを乗算した上で、重みを乗算した重要度を足し合わせ、得られた合計値を当該通知の重要度として監視センター１２１へ通知してもよい。
（６－４）上記実施の形態においては、監視画像に含まれている人物ごとに通知条件を判定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、監視画像に複数の人物が含まれている場合には、当該複数の人物がとっている行動に該当する行動クラスの組み合わせに応じて、監視センター１２１への通知の要否を判定してもよい。例えば、鞄を持っていて、かつ走っている人物と、当該人物の周辺で走っている人物とが監視画像に場合、窃盗である可能性があるので、監視センター１２１へ通知して、現場の状況を確認したり、犯行の状況を記録した監視画像を解析して、犯人を特定したり等するのが望ましい。

また、監視画像に複数の人物が含まれており、これらの人物の行動が該当する行動クラスがいずれも「走行」である場合には、何か緊急を要する事態が発生している可能性があるので、監視センター１２１へ通知して、現場の状況を確認したり、当該事態に対応する処置をとったり等するのが望ましい。

更に、夜間に撮影された監視画像に含まれている人物の属性が「子ども」であり、当該人物の行動が該当する行動クラスが「歩行」である場合に、監視画像における当該人物の周辺に人物が検知されなかったり、属性が「大人」でない人物しか検知されなかったりすると、当該「子ども」が迷子になっていたり、或いは犯罪に巻き込まれる可能性があるので、監視センター１２１へ通知するのが望ましい。

このように、ひとつの監視画像に含まれている複数の人物の行動を関連付けて通知の要否を判断してもよい。また、監視画像を用いて検知した人物の行動を他の監視画像を用いて検知した人物の行動と関連付けて通知の要否を判断してもよい。この他の監視画像とは、元の監視画像を撮影した監視カメラを使用して、元の監視画像が撮影された日時とは別の日時に撮影された監視画像であってもよい。

また、元の監視画像を撮影した監視カメラとは別の監視カメラで撮影した監視画像を、元の監視画像と組み合わせて通知の要否を判断してもよい。このようにすれば、ひとつの監視画像に含まれているひとりの人物の行動が該当する行動クラスと、当該行動クラスに対応する通知条件とだけから通知の要否を判定する場合よりも、複雑な状況を精度よく識別して通知の要否を判定することができる。
（６－５）上記実施の形態においては、図６～１１に例示するように、タブを選択して、チェック・ボックスをクリックすることによって通知条件を設定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、図１４（ａ）に示すように、「通知条件の設定」画面１４には「監視カメラの選択」プルダウン・メニュー１４０１が表示されている。「監視カメラの選択」プルダウン・メニュー１４０１は行動検知システム１が監視画像を参照して、監視センター１２０へ通知を行うことができる監視カメラを選択させるプルダウン・メニューである。

「監視カメラの選択」プルダウン・メニュー１４０１にカーソル１４１１を重ね合わせてクリックすると、図１４（ｂ）に示すように、監視カメラの一覧１４０２が展開される。監視カメラの一覧１４０２にカーソル１４１１を重ね合わせると、カーソルが重なった監視カメラ名が反転表示され、クリックによって選択することが可能な状態になったことが表示される。図１４（ｂ）の例では監視カメラ名のうち「監視カメラ１０２」が反転表示されており、この状態でクリックすると当該監視カメラ名の監視カメラを選択することができる。

なお、選択することができる監視カメラ名が多数に上る場合には一度にすべての監視カメラ名を一覧表示することができないので、図１４（ｂ）に示すように、一部の監視カメラ名だけを一覧表示する。また、スクロール・バー１４０３を操作すれば、監視カメラ名を上下に移動させることによって、他の監視カメラ名を一覧表示させることができる。

監視カメラを選択すると、図１４（ｃ）に示すように、「監視カメラの選択」プルダウン・メニュー１４０１に表示される文字列が「監視カメラの選択」から選択した監視カメラ名に切り替わる。図１４（ｃ）の例では、監視カメラ名である「監視カメラ１０２」に表示が切り替わっている。

監視カメラ（図１５（ａ）では「監視カメラ１０２」）が選択されている状態で、「通知条件の設定」画面１４内をクリックすると、図１５（ｂ）に示すように、クリック・メニュー１５０１が表示される。クリック・メニュー１５０１には、選択された監視カメラで撮影した監視画像に含まれる人物の行動として検知することができる行動クラスが一覧表示される。

図１５（ｂ）の例では、行動クラスとして「殴打」、「転倒」、「歩行」および「スマホ操作」が表示されている。また、カーソル１４１１が重なっている行動クラスである「転倒」が反転表示されている。反転表示されている行動クラスをクリックすると、当該行動クラスが選択される。すると、クリック・メニュー１５０１が消去され、選択した行動クラスの名称が表示される。

図１５（ｃ）の例では、行動クラスの名称として「転倒」との文字列が表示されている。また、この文字列は角丸長方形１５０２で囲まれており、これによって行動クラスの名称であることが示されている。言うまでもなく、角丸長方形１５０２で囲む以外の表示方法で行動クラスの名称であることを表示してもよい。

次に、行動クラスの名称にカーソル１４１１を重ねてクリックすると、図１６（ａ）に示すように、当該監視カメラで撮影した監視画像に含まれている人物の行動が当該行動クラスに該当する場合の通知条件を指定させるためのクリック・メニュー１６０１が表示される。図１６（ａ）の例では、通知条件として「行動持続時間」、「混雑度」、「時間帯」、「特定領域滞在」および「人物属性」がクリック・メニュー１６０１に一覧表示されており、これらの通知条件のうち、カーソル１４１１が重なっている「混雑度」が反転表示されている。

この状態でクリックすると、通知条件のうち「混雑度」が選択され、図１６（ｂ）に示すように、「転倒」と表示された角丸長方形１５０２から引き出し線１５１１が引かれるとともに、この引き出し線１５１１の先に「混雑度」との文字列１５１２が表示される。同様の操作を繰り返すことによって、別の通知条件を選択して表示させることができる。

図１７（ａ）の例では、引き出し線１５１１に加えて引き出し線１７０１が引かれ、この引き出し線１７０１の先に「行動持続時間」との文字列１７０２が表示されている。このようにすれば、行動クラスと通知条件との関係をグラフ構造でインタラクティブに指定させることができる。

「通知条件の設定」画面１４において、通知条件を表示する文字列をクリックすると、当該通知条件を設定するための画面が表示される。例えば、図１７（ｂ）に示すように、「行動持続時間」という文字列１７０２をクリックすると、図７に示すような行動持続時間タブ７００が表示される。この場合において、「行動持続時間」という文字列１７０２に向かう引き出し線１７０１の引き出し元である角丸長方形１５０２に囲まれた「転倒」との文字列に合わせて、行動持続時間タブ７００の行動クラスの欄に「転倒」との文字列が表示される。

また、「監視カメラの選択」プルダウン・メニュー１４０１に「監視カメラ１０２」と表示されているのに合わせて、行動持続時間タブ７００の監視カメラの欄に「監視カメラ１０２」との文字列が表示される。このため、ユーザーは、監視カメラ１０２で撮影された監視画像に含まれている人物の行動が該当する行動クラスが「転倒」である場合の通知条件として、行動持続時間の詳細な条件を設定することができる。

以上のように、上記実施の形態および本変形例によれば、チェック・ボックスやプルダウン・メニュー、値指定、画面領域指定、グラフ構造などを用いてインタラクティブに通知条件を指定させることができる。

なお、複数の行動クラスを組み合わせる場合には、次のようにしてもよい。すなわち、上記に述べた図１５（ｂ）と同様にして行動クラス名を選択することによって、組み合わせたい行動クラスの名称を「通知条件の設定」画面に表示させてから、これらの行動クラスを組み合わせてもよい。図１８（ａ）の例では、組み合わせたい行動クラスである「歩行」と「スマホ操作」とが「通知条件の設定」画面１８にそれぞれ表示されている。

次に、図１８（ｂ）に示すように、「通知条件の設定」画面１８上で、行動クラス「歩行」の左上（カーソル１８１２の位置）から右下（カーソル１８１３の位置）までドラッグ操作を行うことによって、行動クラス「歩行」、「スマホ操作」を囲む矩形１８０３を表示させる。ドラッグ操作中は、組み合わせたい行動クラスの範囲が未定であるため、矩形１８０３は破線で表示され、ドラッグ操作の始点（カーソル１８１２の位置）は固定されるが、終点は未定である。

その後、ドラッグ操作が完了すると、その時点で矩形１８０３に囲まれていた行動クラスである「歩行」と「スマホ操作」とをそれぞれ囲む角丸長方形１８０１、１８０２に応じた位置と大きさの矩形１８０４が実線で表示される（図１８（ｃ））。破線の矩形１８０３は消去される。その後、通知条件を設定する場合には、矩形１８０４をクリックすることによって、図１６（ａ）の例と同様に、「歩行」と「スマホ操作」との組み合わせに関する通知条件の候補が表示される。

このように、本変形例によれば、行動クラスの組み合わせについても、直観的な操作によって、通知条件を設定することができるので、ユーザーの利便性を向上させることができる。
（６－６）上記実施の形態においては、街頭に設置される監視カメラ１０１等を用いて撮影された監視画像を用いる場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて街頭以外の場所に設置した監視カメラによって撮影された監視画像を用いてもよい。

例えば、介護施設に設置された監視カメラで撮影した監視画像を用いて被介護者の行動を見守ってもよい。図１９に示すように、見守り支援システムＭＳは、介護施設において介護士が被介護者を見守るのを支援するためのシステムであって、各見守り対象者Ｏｂの居室ＲＭ、ナース・ステーションＳＴおよび各介護士ＮＳに配備された携帯端末ＴＡを通信ネットワークＮＷにて相互通信可能に接続した構成になっている。

見守り対象者Ｏｂ（Ob-1: Aさん～SB-4: Dさん）の居室ＲＭ（RM-1～RM-4）には、それぞれセンサー・ボックスＳＢ（SB-1～SB-4）が配設されている。センサー・ボックスＳＢは、カメラを備えており、居室ＲＭ内を撮像する。見守り対象者Ｏｂが在室中である場合には、センサー・ボックスＳＢが撮影した監視画像に見守り対象者Ｏｂの姿も含まれることになる。

センサー・ボックスＳＢは、撮影した監視画像をＣＮＮ等の機械学習モデルに入力し、当該監視画像において見守り対象者Ｏｂを囲むバウンディング・ボックスと、当該見守り対象者Ｏｂの行動が該当する行動クラスを出力する。

センサー・ボックスＳＢには、行動クラス毎に通知の要否が設定されており、通知が必要な行動クラスに該当する行動を検知した場合には、当該監視画像や、当該監視画像に含まれている見守り対象者Ｏｂに関するバウンディング・ボックスの位置と大きさ、当該見守り対象者Ｏｂの行動が該当する行動クラス、当該監視画像の撮影日時といった情報を管理サーバーＳＶへ送信する。

センサー・ボックスＳＢは、例えば、見守り対象者Ｏｂの就寝、起床、ベッドからの転落、徘徊、ベッド外での転倒などの行動を検知してもよい。

管理サーバーＳＶは、センサー・ボックスＳＢから監視画像などの情報を受け付けると、センサー・ボックスＳＢ毎に、かつ行動クラス毎に設定されている通知条件が充足されているか確認する。この通知条件には、当該通知条件が充足された場合の通知先が登録されていてもよい。

固定端末装置ＳＰは、センサー・ボックスＳＢや管理サーバーＳＶに通知条件を設定するために用いられる。センサー・ボックスＳＢに設定される通知条件は、例えば、上述のように、通知を要する行動クラスである。また、管理サーバーＳＶに設定される通知条件は、時間帯や生体計測装置で計測された体温や血圧、脈拍数などの計測値の範囲などである。

生体計測装置は、見守り対象者Ｏｂに装着された状態で生体計測を実行し、得られた計測値をセンサー・ボックスＳＢや管理サーバーＳＶへ通知することができる。生体計測装置は、見守り対象者Ｏｂに常時装着され、予め設定されたタイミングで生体計測を実行してもよいし、随時着脱され、装着時にのみ生体計測を実行してもよい。生体計測装置は、見守り対象者Ｏｂから取り外された状態では、その旨をセンサー・ボックスＳＢ等に通知してもよい。

本変形例では、管理サーバーＳＶは、通知条件が充足された場合、通知条件に併せて設定された通知先として、介護士ＮＳが携帯する携帯端末ＴＡへ通知を行う。通知を行う携帯端末ＴＡは単数でも複数でもよい。緊急を要する場合には、すべての携帯端末ＴＡに通知してもよい。また、通知条件に併せてその重要度が設定されていてもよく、重要度に応じて、通知先の携帯端末ＴＡが出力する着信音の種類や音量などを変更してもよい。

介護施設に収容されている被介護者は体調その他の要因の影響を受けて様々な行動をとり得るが、このような場合にも、本開示を適用すれば、被介護者の状態に応じて適切な通知を行うことができるので、介護者の負担を軽減しながら、質の高い介護を提供することができる。
（６－７）上記実施の形態においては、監視カメラ１０１等と行動検知システム１とが別体である場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。例えば、監視カメラ毎に行動検知システムを内蔵してもよい。また、監視カメラに内蔵された行動検知システムは複数の通知先に通知を行ってもよく、この場合において、通知先ごとに通知条件が異なっていてもよい。
（６－８）上記実施の形態においては、行動検知システム１による通知先が監視センター１２１である場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、監視センター１２１に代えて、或いは監視センター１２１に加えて、他の通知先へ通知を行ってもよい。この場合において、通知先は検体端末のような移動体通信装置であってもよい。
（６－９）上記実施の形態においては、監視画像において人物を囲むバウンディング・ボックスの位置と大きさ、および当該人物の行動が該当する行動クラスを特定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに加えて次のようにしてもよい。例えば、同じ監視カメラで互いに異なる日時に撮影された監視画像どうしで人物の同一性を検知してもよい。このようにすれば、バウンディング・ボックスの位置と大きさが互いに一致していても、当該バウンディング・ボックスに囲まれている人物が監視画像どうしで異なっている場合に、当該行動の継続時間の誤検知を防止することができる。
（６－１０）上記変形例においては、畳み込みニューラル・ネットワークであるＣＮＮ４００を用いて監視画像に含まれている人物とその行動が該当する行動クラスを特定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、監視画像から人物の関節情報を抽出し、得られた関節情報を用いて当該人物の行動を認識してもよい。

関節情報を抽出する方法には、トップダウン方式とボトムアップ方式との２つがあり、トップダウン方式では、まず、監視画像に含まれている個々の人物を特定した後、特定した人物ごとに関節を抽出する。一方、ボトムアップ方式では、監視画像に含まれている人物を特定することなく、監視画像から直接、関節を抽出した後、抽出した間接どうしを関連付けることによって、人物ごとの関節を特定する。

関節情報を抽出する方法としては、例えば、ボトムアップ方式を採用したＯｐｅｎＰｏｓｅ（非特許文献１を参照。）を用いることができる。ＯｐｅｎＰｏｓｅはニューラル・ネットワークを用いて画像から関節情報を抽出する。ＯｐｅｎＰｏｓｅは、カーネギーメロン大学が公開しているＣａｆｆｅ（Convolutional Architecture for Fast Feature Embedding）モデルを利用することができる。

また、関節情報から人物の行動を認識する方法としては、例えば、ＳＴ－ＧＣＮ（Spatial Temporal Graph Convolutional Networks）を用いることができる（非特許文献２を参照）。この場合において、監視画像としては動画像を用い、当該動画像からＯｐｅｎＰｏｓｅを用いて関節情報を抽出する。ＳＴ－ＧＣＮは動画像の関節情報から人物ごとにその行動が該当する行動クラスを推定する。

すると、図２０に例示するように、動画を構成する一連の監視画像から関節情報２０００、２０１０および２０２０として、関節２００３、２００５などが抽出され、その位置関係から関節２００３、２００５の接続関係２００４などが順次、特定される。例えば、関節情報２０００には２人の人物２００１、２００２が含まれている。

同様に、関節情報２０１０は人物２０１１、２０１２を含み、関節情報２０２０は人物２０２１、２０２２を含んでおり、それぞれ関節とその接続関係が特定されている。このような関節情報から、２人の人物の行動に該当する行動クラス（例えば、「殴打」など）が推定される。

なお、関節情報２０００、２０１０および２０２０は、監視画像における各関節の位置とその接続関係を画像として表したものであり、コンピューターによって処理する際には、関節情報として、関節ごとの座標値や接続関係を表すＩＤなどがＲＡＭ２０３やＨＤＤ２０４等の記録媒体に記憶される。

このようにして推定した人物ごとの行動クラスを用いることによっても、上記実施の形態と同様にして、通知の要否を判定することができる。したがって、映像監視による行動検知の結果をユーザーのニーズに合わせて適切に通知することができる。

なお、監視画像から関節情報を抽出する方法がＯｐｅｎＰｏｓｅに限定されないのは言うまでもなく、ＯｐｅｎＰｏｓｅ以外の方法を用いてもよく、更にボトムアップ方式以外の方法を用いてもよい。関節情報から行動クラスを推定する方法についても、ＳＴ－ＧＣＮに限定されないのは言うまでもなく、ＳＴ－ＧＣＮ以外の方法を用いてもよい。

また、監視画像から関節情報を抽出するために用いる機械学習モデルや関節情報から人物の行動を認識するために用いる機械学習モデルが畳み込みニューラル・ネットワークに限定されないのは言うまでもなく、畳み込みニューラル・ネットワーク以外のニューラル・ネットワークを用いてもよいし、ニューラル・ネットワーク以外の機械学習モデルを用いてもよい。
（６－１１）上記実施の形態においては、人物の行動を検知する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、人物の行動に代えて次のようにしての良い。

例えば、監視カメラを用いてクマやイノシシ、サル等の害獣の行動を映像検知する場合に、時期（農作物の生育時期など）に応じて、当該害獣に向かって警告音を鳴動させたりして追い払ってもよい。また、自動車などの機械の動作を映像検知する場合に、例えば、交差点で停車している自動車を検知して、交通信号機の青の灯器が点灯してから所定の時間を経過しても発車しなければ、運転手や車両に異常が生じている恐れがあるので、交通管制センターに通知してもよい。
（６－１２）本開示に係る行動検知システム１は、上述のように、マイクロ・プロセッサーとメモリとを備えたコンピューター・システムである。メモリは、コンピューター・プログラムを記憶しており、マイクロ・プロセッサーは、コンピューター・プログラムに従って動作するとしてもよい。

ここで、コンピューター・プログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピューター・プログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピューター・プログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、行動検知システム１が、当該コンピューター・プログラムを実行することによって、使用する方法であるとしてもよい。
（６－１３）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

本開示に係る行動検知システムおよび行動検知プログラムは、映像監視によって検知した行動を効果的に通知する技術として有用である。

１………………………………………行動検知システム
１０１、１０２、１０３……………監視カメラ
１２１…………………………………監視センター
３０１…………………………………行動特定部
３０２…………………………………通知条件判定部
３０３…………………………………通知処理部
４００…………………………………畳み込みニューラル・ネットワーク
４０１…………………………………畳み込み層
４０２…………………………………出力層
４１１、５００、５１０、５２０…監視画像
５０１、５０２、５１１、５２１…バウンディング・ボックス
６、１４、１８………………………「通知条件の設定」画面
６００…………………………………「行動クラス」タブ
７００…………………………………「行動持続時間」タブ
９００…………………………………「混雑度」タブ
１０００………………………………「時間帯」タブ
１１００………………………………「特定領域滞在」タブ
１２００………………………………通知条件テーブル

Claims (16)

1. 機械学習モデルを用いて、画像に含まれている人物の行動が所定の行動クラスのいずれに該当するかを特定する特定手段と、
   当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、行動クラス以外の理由に基づいた第２の通知条件と、の両方が充足されているか否かを判定する判定手段と、
   前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知手段と、を備え、
   前記第２の通知条件は、当該人物周辺の混雑度、当該画像における当該人物の位置と指定範囲との位置関係、当該人物の属性、当該人物周辺の人物の行動クラスおよび当該人物周辺の人物の属性の少なくとも一つを含む
   ことを特徴とする行動検知システム。
2. 前記特定手段は、前記画像に複数の人物が含まれている場合、当該人物ごとに、その行動がいずれの行動クラスに該当するかを特定することを特徴とする請求項１に記載の行動検知システム。
3. 前記機械学習モデルは、ニューラル・ネットワークである
   ことを特徴とする請求項１または２に記載の行動検知システム。
4. 前記ニューラル・ネットワークは、畳み込みニューラル・ネットワークである
   ことを特徴とする請求項３に記載の行動検知システム。
5. 前記第１の通知条件が、当該人物の行動が複数の行動クラスの組み合わせに該当する場合に通知要とする指定を含む
   ことを特徴とする請求項１から４のいずれかに記載の行動検知システム。
6. 前記第２の通知条件が、前記行動クラス毎に指定されている
   ことを特徴とする請求項１から４のいずれかに記載の行動検知システム。
7. 前記第２の通知条件が、前記複数の行動クラスの組み合わせに対応して指定されていることを特徴とする請求項５に記載の行動検知システム。
8. 前記第２の通知条件は、前記行動クラス毎に複数の指定の組み合わせになっている
   ことを特徴とする請求項６に記載の行動検知システム。
9. 前記第２の通知条件は、前記複数の行動クラスの組み合わせに対応する複数の指定の組み合わせになっている
   ことを特徴とする請求項８に記載の行動検知システム。
10. 前記行動クラスは、殴打、足蹴、押圧、登攀、匍匐前進、転倒、横臥、投擲、走行、乗車、歩行、スマホ操作、着座、把持および会話の少なくとも一つを含む
    ことを特徴とする請求項１から９のいずれかに記載の行動検知システム。
11. 前記人物周辺は、当該画像において当該人物を含む所定の範囲内である
    ことを特徴とする請求項１に記載の行動検知システム。
12. 前記人物周辺の人物は、当該画像に含まれる複数の人物のうち、当該人物を含むクラスターに属する人物である
    ことを特徴とする請求項１または１１に記載の行動検知システム。
13. 前記通知は、当該行動がいずれの行動クラスに該当するかを示す情報を含む
    ことを特徴とする請求項１から１２のいずれかに記載の行動検知システム。
14. 前記通知は、前記第２の通知条件における通知の要否の指定ごとに設定された当該通知の重要度を示す情報を含む
    ことを特徴とする請求項１から１３のいずれかに記載の行動検知システム。
15. 機械学習モデルを用いて、画像に含まれている複数の人物ごとにその行動が所定の行動クラスのいずれに該当するかを特定する特定手段と、
    前記複数の人物のうちの一人についての当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、前記一人についての当該行動クラスと前記複数の人物のうちの他の人物についての行動クラスとの組み合わせに応じた第２の通知条件と、の両方が充足されているか否かを判定する判定手段と、
    前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知手段と、を備える
    ことを特徴とする行動検知システム。
16. 機械学習モデルを用いて、画像に含まれている人物の行動が所定の行動クラスのいずれに該当するかを特定する特定ステップと、
    当該行動クラスに該当する行動の検知の通知の要否を行動クラスごとに指定する第１の通知条件と、行動クラス以外の理由に基づいた第２の通知条件と、の両方が充足されているか否かを判定する判定ステップと、
    前記判定結果が肯定的である場合に、当該行動の検知を所定の通知先へ通知する通知ステップと、をコンピューターに実行させるための行動検知プログラムであり、
    前記第２の通知条件は、当該人物周辺の混雑度、当該画像における当該人物の位置と指定範囲との位置関係、当該人物の属性、当該人物周辺の人物の行動クラスおよび当該人物周辺の人物の属性の少なくとも一つを含む
    ことを特徴とする行動検知プログラム。