[go: up one dir, main page]

JP3812985B2 - 自動監視装置 - Google Patents

自動監視装置 Download PDF

Info

Publication number
JP3812985B2
JP3812985B2 JP08617497A JP8617497A JP3812985B2 JP 3812985 B2 JP3812985 B2 JP 3812985B2 JP 08617497 A JP08617497 A JP 08617497A JP 8617497 A JP8617497 A JP 8617497A JP 3812985 B2 JP3812985 B2 JP 3812985B2
Authority
JP
Japan
Prior art keywords
moving object
feature
feature amount
detection
feature quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08617497A
Other languages
English (en)
Other versions
JPH10285581A (ja
Inventor
充世 長谷川
隆文 枝並
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP08617497A priority Critical patent/JP3812985B2/ja
Priority to US08/925,406 priority patent/US6128396A/en
Publication of JPH10285581A publication Critical patent/JPH10285581A/ja
Application granted granted Critical
Publication of JP3812985B2 publication Critical patent/JP3812985B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19652Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自動監視装置に関し、特に、撮像装置から取り込んだ画像を基にして不審者等の検出対象物を自動的に検出する自動監視装置に関する。
【0002】
近年、テレビカメラからの入力画像を監視し、不審者の侵入を自動的に検出して、警報を発したり、録画する自動監視装置が開発されている。
【0003】
【従来の技術】
従来、例えば特開平4−273689号公報に開示される自動監視装置が知られる。この自動監視装置によれば、テレビカメラから得られる画像信号と、背景画像信号とを基にして、移動物体の移動経路と特徴量(形状特徴、形状変化率)とが抽出される。そして、移動物体の移動経路が、正常領域から外れ、予め設定された不審領域へ及んだような場合や、特徴量の1つが予め決められた閾値を超えた場合に、その移動物体を不審者であると判断して、警報を発したり、画像を管理者に自動通報する。
【0004】
図10は、銀行のキャッシュディスペンサの設置された部屋を示す平面図である。キャッシュディスペンサの利用者が通常移動し得る正常領域101と、利用者が通常移動する筈がない不審領域102とを、予め設定しておく。そして、検出された移動経路103が不審領域102に及ぶ場合には不審者として判断する。
【0005】
【発明が解決しようとする課題】
しかし、従来の自動監視装置では、不審者を正確に検出することが難しく、正常な人物を不審者として検出したり、逆に不審者を検出し損なったりという誤検出の頻度が高いという問題がある。
【0006】
例えば、図11に示すように、刑務所の塀104の上部にテレビカメラ(図示せず)を向け、テレビカメラから得られた画像の中に不審領域105を設定したとする。この場合、不審領域105に移動物体106が存在すれば、この移動物体106を不審者と判断することになる。ところが、図12に示すように、不審領域105に鳥107が飛来することがあり得、こうしたときにも、従来装置では、鳥107を不審者と判断してしまうという問題がある。
【0007】
あるいはまた、塀104の外側に道路があり、夜間に自動車のヘッドライトが塀104に当たる場合、不審領域105に移動物体が存在しなくとも、ヘッドライトが当たった背景が移動物体として検出されるという問題もある。
【0008】
誤検出は、自動監視装置に対する信頼感を失わせるので、誤検出の頻度をできるだけ低下させることが求められる。
なおまた、不審領域の設定や、比較対象となる閾値の設定では、それらの値を獲得することにも、またそれらの設定入力にも、人手を非常に必要とするという問題もある。
【0009】
本発明はこのような点に鑑みてなされたものであり、検出すべき対象物のより正確な検出を図った自動監視装置を提供することを目的とする。
また、不審領域の設定や閾値の設定の省力化を図った自動監視装置を提供することを他の目的とする。
【0010】
【課題を解決するための手段】
本発明では上記目的を達成するために、図1に示すように、撮像装置1から入力された画像信号を基に、画像中の移動物体に関する情報を検出する移動物体検出手段2と、移動物体検出手段2が検出した情報を基に、移動物体の特徴量を算出する特徴量算出手段3と、少なくとも、検出すべきでない非検出対象物に関する特徴量を格納する特徴量格納手段4と、特徴量算出手段3で算出された特徴量を、特徴量格納手段4に格納された特徴量と比較して、移動物体が検出対象であるか否かの判定を行う判定手段5とを有することを特徴とする自動監視装置が提供される。
【0011】
また、自動監視装置は、特徴量算出手段3が算出した特徴量を、特徴量格納手段4に格納させる格納指令手段6をさらに有する。
以上のような構成において、テレビカメラ等の撮像装置1が、監視すべき場所の撮影を常時行い、その画像信号を移動物体検出手段2に送る。移動物体検出手段2は、撮像装置1から入力された画像信号を基に、画像中の移動物体に関する情報を検出する。移動物体検出手段2が検出した情報を基に、特徴量算出手段3が、移動物体の特徴量を算出する。特徴量としては、例えば、移動物体に関する位置、大きさ、色パターン情報、移動量等である。
【0012】
一方、特徴量格納手段4は、少なくとも、検出すべきでない非検出対象物に関する特徴量を格納している。特徴量格納手段4は、好ましくは、検出すべきでない非検出対象物に関する特徴量を格納する第1の特徴量格納手段と、検出すべきである検出対象物に関する特徴量を格納する第2の特徴量格納手段とから構成される。判定手段5は、特徴量算出手段3で算出された移動物体に関する特徴量を、特徴量格納手段4に格納された特徴量と比較して、移動物体が検出対象であるか否かの判定を行う。
【0013】
かくして、特徴量の種類が適切に選定され、かつ、特徴量格納手段4に格納された比較対象となる特徴量の値が適切に設定されていれば、検出すべき対象物のより正確な検出が可能となる。
【0014】
また、初期段階において、オペレータが、撮像装置1から送られた実画像を見て、そこに写された移動物体が検出対象の移動物体か、検出対象でない移動物体かの判断を行う。格納指令手段6は、当該移動物体に関する特徴量算出手段3が算出した特徴量を、この判断に従い、特徴量格納手段4に選択的に格納させる。すなわち、特徴量格納手段4は、少なくとも、検出すべきでない非検出対象物に関する特徴量を学習することができる。特徴量格納手段4が第1の特徴量格納手段と第2の特徴量格納手段とを備えていれば、特徴量格納手段4は、非検出対象物に関する特徴量と検出対象物に関する特徴量とを学習することになり、判定手段5はより精度の高い判定が可能となる。
【0015】
また、特徴量格納手段4は、実際の移動物体を基にして得られた特徴量を使用して、非検出対象物に関する特徴量と、検出対象物に関する特徴量とを学習することが可能である。したがって、比較対象としての精度の高い特徴量が人手を煩わせず自動的に入手できるとともに、そうした特徴量の設定が容易にできることになる。
【0016】
【発明の実施の形態】
以下、本発明に係る自動監視装置についての実施の形態を、図面を参照して説明する。
【0017】
まず、本発明の実施の形態の原理構成を、図1を参照して説明する。実施の形態は、撮像装置1から入力された画像信号を基に、画像中の移動物体に関する情報を検出する移動物体検出手段2と、移動物体検出手段2が検出した情報を基に、移動物体の特徴量を算出する特徴量算出手段3と、少なくとも、検出すべきでない非検出対象物に関する特徴量を格納する特徴量格納手段4と、特徴量算出手段3で算出された特徴量を、特徴量格納手段4に格納された特徴量と比較して、移動物体が検出対象であるか否かの判定を行う判定手段5とから構成される。
【0018】
また、実施の形態はさらに、特徴量算出手段3が算出した特徴量を、特徴量格納手段4に格納させる格納指令手段6から構成される。
以上のような構成において、テレビカメラ等の撮像装置1が、監視すべき場所の撮影を常時行い、その画像信号を移動物体検出手段2に送る。移動物体検出手段2は、撮像装置1から入力された画像信号を基に、画像中の移動物体に関する情報を検出する。移動物体検出手段2が検出した情報を基に、特徴量算出手段3が、移動物体の特徴量を算出する。特徴量としては、例えば、移動物体に関する位置、大きさ、色パターン情報、移動量等である。
【0019】
一方、特徴量格納手段4は、少なくとも、検出すべきでない非検出対象物に関する特徴量を格納している。特徴量格納手段4は、好ましくは、検出すべきでない非検出対象物に関する特徴量を格納する第1の特徴量格納手段と、検出すべきである検出対象物に関する特徴量を格納する第2の特徴量格納手段とから構成される。判定手段5は、特徴量算出手段3で算出された移動物体に関する特徴量を、特徴量格納手段4に格納された特徴量と比較して、移動物体が検出対象であるか否かの判定を行う。
【0020】
かくして、特徴量の種類が適切に選定され、かつ、特徴量格納手段4に格納された比較対象となる特徴量の値が適切に設定されていれば、検出すべき対象物のより正確な検出が可能となる。
【0021】
また、初期段階において、オペレータが、撮像装置1から送られた実画像を見て、そこに写された移動物体が検出対象の移動物体か、検出対象でない移動物体かの判断を行う。格納指令手段6は、当該移動物体に関する特徴量算出手段3が算出した特徴量を、この判断に従い、特徴量格納手段4に選択的に格納させる。すなわち、特徴量格納手段4は、少なくとも、検出すべきでない非検出対象物に関する特徴量を学習することができる。特徴量格納手段4が第1の特徴量格納手段と第2の特徴量格納手段とを備えていれば、特徴量格納手段4は、非検出対象物に関する特徴量と検出対象物に関する特徴量とを学習することになり、判定手段5はより精度の高い判定が可能となる。
【0022】
また、特徴量格納手段4は、実際の移動物体を基にして得られた特徴量を使用して、非検出対象物に関する特徴量と、検出対象物に関する特徴量とを学習することが可能である。したがって、比較対象としての精度の高い特徴量が人手を煩わせず自動的に入手できるとともに、そうした特徴量の設定が容易にできることになる。
【0023】
次に、実施の形態について具体的に詳しく説明する。
図2及び図3は、実施の形態の詳しい構成を示すブロック図であり、図2はその半分を、図3は残りの半分を示す。
【0024】
図中、テレビカメラ11が監視対象場所を撮影し、カラー映像をフレーム信号の形態で出力する。テレビカメラ11から出力されたフレーム信号は、フレームメモリ12に入力される。フレームメモリ12は、テレビカメラ11から今回、フレーム信号を受信すると、それまで格納していた前回のフレーム信号をフレームメモリ13へ送り、今回のフレーム信号を格納する。フレームメモリ13は、それまで格納していた前々回のフレーム信号の上に前回のフレーム信号を上書きする。
【0025】
フレーム間差分算出部14は、フレームメモリ12及びフレームメモリ13に格納された各フレーム信号を読み出し、両者のフレーム間差分を算出する。このフレーム間差分は移動物体の画像だけを示すことになる。一方、フレーム内差分算出部15は、フレームメモリ12に格納された今回のフレーム信号を読み出し、フレーム内差分を算出する。このフレーム内差分はエッジ(輪郭)部分を示すことになる。重畳算出部16は、フレーム間差分算出部14から送られたフレーム間差分と、フレーム内差分算出部15から送られたフレーム内差分とが重なり合っている重畳部分を検出する。この重畳部分は、移動物体の画像の中でエッジ部分だけを示すことになる。
【0026】
すなわち、移動物体を検出する場合において、従来のように、移動物体の写っている画像と背景画像との差分を利用する方法では、照明の点灯などによって、移動物体が存在しないにも拘わらず、移動物体を検出してしまう虞がある。また、フレーム間差分だけを利用する方法では、移動物体が急激に大きく移動した場合に、1つの移動物体を2つの移動物体として誤認してしまう虞がある。これに対して、移動物体画像のエッジ部分だけを検出する方法は、こうした両者の問題を解決している。なお、従来のような上記の検出方法を、本実施の形態に適応しても、ある程度の効果を得ることはできる。
【0027】
特徴抽出部17は、重畳算出部16から出力された移動物体画像のエッジ部分を基にして、移動物体画像のエッジ部分のうちで、監視エリア指定部18から指定された領域に入っている部分だけを取り出す。そして、その取り出された部分における特徴量を算出する。監視エリア指定部18は外部からの指示により、監視すべき領域を特定する。この特徴抽出部17で算出される特徴量を、図4を参照して説明する。
【0028】
図4は、取り出された移動物体の形状の一例を示す図である。すなわち、特徴抽出部17は、移動物体画像のエッジ部分31によって囲まれた領域32において、重心の座標(x,y)、領域32のx方向のサイズlx、y方向のサイズly、色パターン情報Cを算出する。色パターン情報Cは、領域32を所定の大きさの升目に分割した場合の各升目における色の平均値をマトリックスで表したものであり、フレームメモリ12から直接送られた色情報に従い算出される。
【0029】
こうした特徴量が移動量抽出部19へ送られる。移動量抽出部19は、今回フレームの発生時刻tにおける特徴量と、前回フレームの発生時刻(tー1)における特徴量とから、重心のx方向の移動量Δxおよびy方向の移動量Δyを算出する。そして、時刻tにおける特徴量F(t)を行列作成部20へ出力する。特徴量F(t)は、下記式(1)で表されるように、領域32における重心の座標(x,y)、x方向のサイズlx、y方向のサイズly、色パターン情報C、重心のx方向の移動量Δx、y方向の移動量Δyからなる。
【0030】
【数1】
Figure 0003812985
【0031】
行列作成部20は、移動物体が監視領域に現れてから消失するまでの過程の特徴量F(t),F(t+1),F(t+2),F(t+3)・・・を蓄積して、下記式(2)で表される移動パターン行列MF(t)を作成する。
【0032】
【数2】
Figure 0003812985
【0033】
次に図3に移って、類似度算出部21は、行列作成部20から出力された移動パターン行列MF(t)と、行動パターン辞書保存部22に保存されている検出パターンデータTD(n)及び非検出パターンデータFD(n)とを基にして距離Dtd,Dfdを算出する。
【0034】
行動パターン辞書保存部22は、検出パターン辞書22aと非検出パターン辞書22bとを備えており、検出パターン辞書22aには、下記式(3)で表される検出パターンデータTD(n)が保存され、非検出パターン辞書22bには、下記式(4)で表される非検出パターンデータFD(n)が保存される。
【0035】
【数3】
Figure 0003812985
【0036】
【数4】
Figure 0003812985
【0037】
検出パターンデータTD(n)及び非検出パターンデータFD(n)の作成方法については後述するが、検出パターンデータTD(n)のTd0(t),Td1(t),Td2(t)・・は各々、各種不審者に対応し、各不審者の移動パターン行列MF(t)をそれぞれ表している。非検出パターンデータFD(n)のFd0(t),Fd1(t),Fd2(t)・・は各々、正常な人物、鳥等に対応し、それらの移動パターン行列MF(t)をそれぞれ表している。
【0038】
距離Dtdは下記式(5)に基づき算出され、距離Dfdは下記式(6)に基づき算出される。
【0039】
【数5】
Figure 0003812985
【0040】
【数6】
Figure 0003812985
【0041】
上記式(5)では、検出された移動物体の特徴量と、各不審者の特徴量との距離(類似度合いの逆数に相当)を全時刻にわたって集計し、その集計値のうちで最小値となっている不審者を特定する。距離Dtdは、その特定された不審者の特徴量と、検出対象の移動物体の特徴量との距離を示している。上記式(6)の場合でも、不審者が正常な人物、鳥等に変わるだけ、他は式(5)の場合と同じである。なお、ここでの距離の計算は、ユークリッド距離、市街地距離、重み付きユークリッド距離(マハラノビス距離)等の中のいずれかの距離を求めることによって行われる。また、DP(Dynamic Program)マッチングを行うようにしてもよい。
【0042】
判定部23は、類似度算出部21から距離Dtd,Dfdを受け取り、下記式(7)が満たされるか否かを判定する。
【0043】
【数7】
Figure 0003812985
【0044】
ここで、Thfは、距離Dfdの関数として決定される閾値である。
上記式(7)が満たされるときは、検出対象の移動物体が不審者である可能性が非常に高いと判断される。そこで、このとき判定部23は操作部24へ「不審者の侵入」を通知する。この通知を受けると、操作部24は画像表示部25に対してテレビカメラ11の出力画像を表示させ、監視者の注視に供する。勿論、画像表示部25は常時、テレビカメラ11の出力画像を表示するようにしておいてもよい。また、操作部24は録画部26にテレビカメラ11の出力画像を録画させ、後刻の犯人捜査等に備えるようにする。さらに、操作部24は警報部27に警報の発生を促す。
【0045】
なお操作部24は、判定部23から「正常者、鳥等の侵入」の通知も受けるようにしておく。そうした通知を受ける度に、操作部24は学習指示部29に対して学習指示を出力する。
【0046】
一方、行動パターン保存部28は、行列作成部20から出力された移動パターン行列MF(t)を一時的に保存しておく。学習指示部29は、操作部24から「正常者、鳥等の侵入」の通知を受けると、行動パターン保存部28に保存されている、この通知に対応する移動物体の移動パターン行列MF(t)を、非検出パターン辞書22bに格納する。これによって、行動パターン辞書保存部22の非検出パターン辞書22bに、いろいろな非検出パターンデータFD(n)を学習させることができる。
【0047】
また、学習指示部29には、外部のオペレータから学習指示が入力されるようになっている。オペレータは、初期段階において、学習指示部29を介して行動パターン辞書保存部22に、検出すべき移動物体および検出すべきでない移動物体に関する移動パターン行列MF(t)を学習させる。すなわち、オペレータは、初期段階において、画像表示部25に表示される画像を参照しながら、移動物体が検出される度に、その移動物体が検出対象物体であるか、非検出対象物体であるかを識別し、その識別情報を添えて学習指示部29に学習を指令する。学習指示部29は、行動パターン保存部28に保存された移動パターン行列MF(t)を、その識別情報に従い、行動パターン辞書保存部22の検出パターン辞書22aに、または非検出パターン辞書22bに格納させる。つまり、移動物体が検出対象物体であると識別されていたときには、その移動物体に係る移動パターン行列MF(t)を検出パターン辞書22aへ保存し、移動物体が非検出対象物体であると識別されていたときには、その移動物体に係る移動パターン行列MF(t)を非検出パターン辞書22bへ保存する。
【0048】
こうした学習を行うことにより、不審者のより正確な検出が可能となるとともに、正常者や不審者に関する特徴の獲得や入力の省力化も図られる。
また、監視領域における照明の変化や、自動車のヘッドライト等により、移動物体が存在しないにも拘わらず、移動物体が検出されるようなケースに対しても、上記のように、オペレータが、画像表示部25に表示される画像を参照しながら学習指示部29に指令することにより、それらのケースを非検出パターン辞書22bに学習させることができる。
【0049】
入替部30は、内部に時計を備え、予め設定された所定時刻において、非検出パターン辞書22bに格納されている非検出対象物体に係る移動パターン行列MF(t)を、検出パターン辞書22aへ移すことを行う。すなわち、例えば通用門を監視領域とする場合に、通常の時間帯において通用門を通過する人物に関する移動パターン行列MF(t)を非検出パターン辞書22bに格納しておく。そして、所定時刻になると非検出パターン辞書22bに格納されている移動パターン行列MF(t)を検出パターン辞書22aへ移す。所定時刻は、その時刻以降に通用門を通る人物は不審者として認められるような時刻に設定される。このようにすることにより、不審者に関する特徴の獲得や入力の省力化が図られる。
【0050】
なお、行動パターン辞書保存部22はハードディスクで構成される。フレーム間差分算出部14、フレーム内差分算出部15、重畳算出部16、特徴抽出部17、移動量抽出部19、行列作成部20、類似度算出部21、判定部23、操作部24、行動パターン保存部28、学習指示部29、及び入替部30はプロセッサによって構成される。
【0051】
本実施の形態では、数式(2)で示したように、特徴量F(t)に時間的な要素を加味した移動パターン行列MF(t)を使用している。そのため、図11,図12で示したような従来の問題を解決することができる。これを、図5,図6を参照して説明する。
【0052】
図5及び図6は、テレビカメラで撮影された画像の一例を示す図であり、図5は不審者の行動を示し、図6は同一場所を鳥が通過する様子を示す。すなわち、刑務所の塀34の上部にテレビカメラ(図示せず)を向け、テレビカメラから得られた画像の中に監視領域35を設定したとする。図5では不審者36が左から右へ塀34を乗り越しており、当然不審者として検出されるべきものである。一方、図6では鳥37が右から左へ飛んでおり、これは不審者として検出してはならないものである。
【0053】
この場合、不審者36と鳥37とでは、それらの画像の重心の座標(x,y)、x方向のサイズlx、y方向のサイズly、色パターン情報Cのうちのいずれもが、あるいはいずれかにおいて、十分異なっている筈であるので、両者の区別は明確にできる筈である。しかし、特殊な事情により、両者がよく似通っていたとした場合、誤検出の可能性がある。ところが、本実施の形態では、不審者36が左から右へ移動し、鳥37が右から左へ移動しているという移動方向の違いが、移動パターン行列MF(t)の違いとして大きく現れる。移動パターン行列MF(t)は、時間的な要素が加味されているので、よく似た移動物体であっても、その行動の違いから両者の間に大きな差がある。したがって、不審者を正確に検出することができる。
【0054】
なお、本実施の形態では、数式()で示したように、特徴量F(t)に、x方向のサイズlx及びy方向のサイズlyが設定されている。そこで、これらの比lx/lyを算出し、この値を利用して、不審者の検出精度を上げるようにしてもよい。これを、図7、図8を参照して説明する。
【0055】
図7及び図8は、テレビカメラで撮影された画像の一例を示す図であり、図7は不審者の行動を示し、図8は塀際を通過する正常な人物の行動を示す。すなわち、刑務所の塀38の上部にテレビカメラ(図示せず)を向け、テレビカメラから得られた画像の中に監視領域39を設定したとする。図7では不審者40が塀38の上を乗り越えて脱走しており、当然不審者として検出されるべきものである。一方、塀38の外側には塀38に沿って道路があり、図8ではその道路を正常な人物41が通行しており、この人物41が監視領域39内に入ってしまうが、これを不審者として検出してはならない。この場合、不審者40と人物41とは、監視領域39内においては比lx/lyが明らかに異なる。つまり、一方は立っており、他方は横になっている。したがって、比lx/lyを比較することにより、不審者40と人物41とは正確に区別できることになる。
【0056】
また、本実施の形態では、監視エリア指定部18が外部からの指示により、監視すべき領域を特定するようになっているが、監視すべき領域を人手を労せず自動的に設定するようにしてもよい。これを、図9を参照して説明する。
【0057】
図9は、テレビカメラで撮影された画像の一例を示す図である。図中、斜線で示す領域43は、通常、人が頻繁に通行する領域であり、領域44は、領域43以外の、人が入ってはならない領域であるとする。
【0058】
この場合に、移動物体画像の重心の座標(x,y)を長い時間にわたって蓄積し、そのヒストグラムを求める。このヒストグラムから領域43を得ることができる。したがって、この得られた領域を監視エリア指定部18へ送れば、人手をほとんど煩わせることなく容易に、監視すべき領域を設定することができる。また、領域の形状が複雑な場合でも容易に領域を設定することができる。
【0059】
なおまた、上記の実施の形態では、行動パターン辞書保存部22に検出パターン辞書22aと非検出パターン辞書22bとを備えているが、これに代わって、行動パターン辞書保存部22に非検出パターン辞書22bだけを備えるようにしてもよい。この場合には、不審者の検出の正確さが低下するが、行動パターン辞書保存部22を簡略化できる。
【0060】
【発明の効果】
以上説明したように、特徴量格納手段が少なくとも、非検出対象物に関する特徴量を格納している。判定手段は、特徴量算出手段で算出された移動物体に関する特徴量を、特徴量格納手段に格納された特徴量と比較して、移動物体が検出対象物体であるか否かの判定を行う。特徴量の種類を適切に選定し、かつ、特徴量格納手段に格納された特徴量の値を適切に設定する。
【0061】
これにより、検出すべき対象物のより正確な検出が可能となる。
また、初期段階において、オペレータが、撮像装置から送られた実画像を見て、そこに写された移動物体が検出対象の移動物体か、検出対象でない移動物体かの判断を行う。格納指令手段は、当該移動物体に関する特徴量算出手段が算出した特徴量を、この判断に従い、特徴量格納手段に選択的に格納させる。
【0062】
これにより、特徴量格納手段は、少なくとも、検出すべきでない非検出対象物に関する特徴量を学習することができ、判定手段はより精度の高い判定が可能となる。
【0063】
また、特徴量格納手段は、実際の移動物体を基にして得られた特徴量を使用して、非検出対象物に関する特徴量と、検出対象物に関する特徴量とを学習することが可能である。したがって、比較対象としての精度の高い特徴量が人手を煩わせず自動的に入手できるとともに、そうした特徴量の設定が容易にできることになる。
【図面の簡単な説明】
【図1】理説明図である。
【図2】施の形態の詳しい構成の半分を示すブロック図である。
【図3】施の形態の詳しい構成の残りの半分を示すブロック図である。
【図4】 移動物体の形状の一例を示す図である。
【図5】 テレビカメラで撮影された不審者の行動に係る画像の一例を示す図である。
【図6】 テレビカメラで撮影された鳥の行動に係る画像の一例を示す図である。
【図7】 テレビカメラで撮影された不審者の行動に係る画像の一例を示す図である。
【図8】 テレビカメラで撮影された、塀際を通過する正常な人物の行動に係る画像の一例を示す図である。
【図9】 テレビカメラで撮影された画像の一例を示す図である。
【図10】 銀行のキャッシュディスペンサの設置された部屋を示す平面図である。
【図11】 テレビカメラで撮影された不審者の行動に係る画像の一例を示す図である。
【図12】 テレビカメラで撮影された鳥の行動に係る画像の一例を示す図である。
【符号の説明】
1 撮像装置
2 移動物体検出手段
3 特徴量算出手段
4 特徴量格納手段
5 判定手段
6 格納指令手段

Claims (3)

  1. 撮像装置から取り込んだ画像を基にして検出対象物を自動的に検出する自動監視装置において、
    撮像装置から入力された画像信号を基に、画像中の移動物体に関する情報を検出する移動物体検出手段と、
    前記移動物体検出手段が検出した情報を基に、前記移動物体の特徴量を算出する特徴量算出手段と、
    検出すべきでない非検出対象物に関する特徴量を格納する第1の特徴量格納手段と、
    検出すべきである検出対象物に関する特徴量を格納する第2の特徴量格納手段と、
    前記特徴量算出手段算出した特徴量を、前記第1の特徴量格納手段及び前記第2の特徴量格納手段に格納された特徴量と比較して、前記移動物体が検出対象であるか否かの判定を行う判定手段と、
    所定時刻に、前記第1の特徴量格納手段に格納されていた特徴量を、前記第2の特徴量格納手段に移動させる特徴量移動手段と、
    を有することを特徴とする自動監視装置。
  2. 撮像装置から取り込んだ画像を基にして検出対象物を自動的に検出する自動監視装置において、
    撮像装置から入力された画像信号を基に、画像中の移動物体に関する情報を検出する移動物体検出手段と、
    前記移動物体検出手段が検出した情報を基に、前記移動物体の特徴量を算出する特徴量算出手段と、
    検出すべきでない非検出対象物に関する特徴量を格納する第1の特徴量格納手段と、
    検出すべきである検出対象物に関する特徴量を格納する第2の特徴量格納手段と、
    前記特徴量算出手段で算出された特徴量と、前記第1の特徴量格納手段に格納された特徴量との第1の距離を算出する第1の距離算出手段と、
    前記特徴量算出手段で算出された特徴量と、前記第2の特徴量格納手段に格納された特徴量との第2の距離を算出する第2の距離算出手段と、
    前記第2の距離を前記第1の距離に応じて決定される閾値と比較し、前記第2の距離が所定の閾値よりも小さいときに、前記移動物体が検出対象であると判定する検出対象判定手段と、
    を有することを特徴とする自動監視装置。
  3. 撮像装置から取り込んだ画像を基にして検出対象物を自動的に検出する自動監視装置において、
    撮像装置から入力された画像信号を基に、画像中の移動物体に関する情報を検出する移動物体検出手段と、
    前記移動物体検出手段が検出した情報を基に、前記移動物体の特徴量を算出する特徴量算出手段と、
    少なくとも、検出すべきでない非検出対象物に関する特徴量を格納する特徴量格納手段と、
    前記特徴量算出手段で算出された特徴量を、前記特徴量格納手段に格納された特徴量と比較して、前記移動物体が検出対象であるか否かの判定を行う判定手段と、
    前記特徴量算出手段で算出された特徴量を所定時間にわたって蓄積する蓄積手段と、
    前記蓄積手段で蓄積された特徴量を利用して、前記移動物体検出手段によって移動物体に関する情報の検出が行われるべき画像領域を設定する領域設定手段と、
    を有することを特徴とする自動監視装置。
JP08617497A 1997-04-04 1997-04-04 自動監視装置 Expired - Fee Related JP3812985B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP08617497A JP3812985B2 (ja) 1997-04-04 1997-04-04 自動監視装置
US08/925,406 US6128396A (en) 1997-04-04 1997-09-08 Automatic monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08617497A JP3812985B2 (ja) 1997-04-04 1997-04-04 自動監視装置

Publications (2)

Publication Number Publication Date
JPH10285581A JPH10285581A (ja) 1998-10-23
JP3812985B2 true JP3812985B2 (ja) 2006-08-23

Family

ID=13879403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08617497A Expired - Fee Related JP3812985B2 (ja) 1997-04-04 1997-04-04 自動監視装置

Country Status (2)

Country Link
US (1) US6128396A (ja)
JP (1) JP3812985B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
EP0973044B1 (de) * 1998-07-13 2006-08-09 Oerlikon Contraves Ag Verfahren zur Verfolgung bewegter Objekte anhand spezifischer Merkmale
US6720990B1 (en) 1998-12-28 2004-04-13 Walker Digital, Llc Internet surveillance system and method
EP1049046A1 (de) * 1999-04-23 2000-11-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung der Position eines Objektes innerhalb einer Szene
JP4151158B2 (ja) * 1999-06-14 2008-09-17 ソニー株式会社 シーン記述生成装置及び方法
JP2000357234A (ja) * 1999-06-16 2000-12-26 Canon Inc 画像処理装置およびその方法
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
US6665423B1 (en) * 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
RU2231123C2 (ru) * 2000-11-09 2004-06-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт промышленного телевидения "Растр" Охранная телевизионная система
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
WO2007126525A2 (en) 2006-04-17 2007-11-08 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP2002300363A (ja) * 2001-03-29 2002-10-11 Fuji Photo Film Co Ltd 背景画像設定方法および装置並びに記録媒体
AU2002316146B2 (en) 2001-05-15 2007-09-06 Psychogenics Inc. Systems and methods for monitoring behaviour informatics
GB0118020D0 (en) * 2001-07-24 2001-09-19 Memco Ltd Door or access control system
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US20030107650A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7292723B2 (en) 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
US20040186813A1 (en) * 2003-02-26 2004-09-23 Tedesco Daniel E. Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons
US8614741B2 (en) * 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
JP4175180B2 (ja) * 2003-05-29 2008-11-05 松下電工株式会社 監視通報システム
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7148912B2 (en) * 2003-11-17 2006-12-12 Vidient Systems, Inc. Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
GB2409029A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP4471362B2 (ja) * 2004-08-25 2010-06-02 パナソニック株式会社 監視カメラ装置
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
ITMN20050003A1 (it) * 2005-01-14 2006-07-15 Renato Grassi Telecamera antirapina
WO2006105054A2 (en) * 2005-03-25 2006-10-05 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
JP4793249B2 (ja) 2006-04-20 2011-10-12 株式会社豊田自動織機 永久磁石埋設型回転電機及びカーエアコン用モータ並びに密閉型電動圧縮機
JP4786516B2 (ja) * 2006-12-13 2011-10-05 三菱重工業株式会社 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
JP5044207B2 (ja) * 2006-12-22 2012-10-10 パナソニック株式会社 撮像装置
JP4929460B2 (ja) * 2006-12-28 2012-05-09 国立大学法人九州工業大学 動体の動作認識方法
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
JP5321070B2 (ja) * 2009-01-08 2013-10-23 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
RU2501090C1 (ru) * 2012-08-16 2013-12-10 Вячеслав Михайлович Смелков Охранная телевизионная система
EP2731087B1 (en) * 2012-11-12 2015-01-14 Axis AB Monitoring method and camera
JP6201399B2 (ja) * 2013-04-23 2017-09-27 富士通株式会社 検出プログラム、検出装置、検出システムおよび検出方法
JP6650659B2 (ja) * 2014-01-20 2020-02-19 株式会社竹中工務店 不審者検出装置およびプログラム
WO2015186341A1 (ja) 2014-06-03 2015-12-10 日本電気株式会社 画像処理システム、画像処理方法及びプログラム記憶媒体
CN106408833A (zh) * 2016-11-02 2017-02-15 北京弘恒科技有限公司 周界入侵检测方法及系统
KR102402883B1 (ko) * 2017-06-20 2022-05-27 한화테크윈 주식회사 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
JP7025073B1 (ja) * 2021-06-28 2022-02-24 株式会社SEtech 動き情報撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JPH04273689A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd 監視装置
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system

Also Published As

Publication number Publication date
US6128396A (en) 2000-10-03
JPH10285581A (ja) 1998-10-23

Similar Documents

Publication Publication Date Title
JP3812985B2 (ja) 自動監視装置
KR101808587B1 (ko) 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
CN110969118B (zh) 轨迹监控系统和方法
TWI382762B (zh) 移動物體的追蹤方法
KR101425505B1 (ko) 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
JP2007334623A (ja) 顔認証装置、顔認証方法、および入退場管理装置
KR20080054331A (ko) 화염 검출 방법 및 장치
GB2337146A (en) Detecting motion across a surveillance area
JP6385419B2 (ja) 物体検出装置
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR101880100B1 (ko) 감시영역에서 이동객체의 이상행동을 검출하기 위한 cctv 시스템
KR20060051247A (ko) 화상 처리 장치 및 화상 처리 방법
JP4832894B2 (ja) 画像センサ
JP5758165B2 (ja) 物品検出装置および静止人物検出装置
JP2012099940A (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
Gil-Jiménez et al. Automatic control of video surveillance camera sabotage
JP5752977B2 (ja) 画像監視装置
JP7748526B2 (ja) 誤検出判定装置、方法、およびプログラム
JP3088880B2 (ja) 人物認識装置
KR101311728B1 (ko) 침입자의 얼굴감지 시스템 및 그 방법
US7738009B2 (en) Method for following at least one object in a scene
TWI813297B (zh) 移動物體偵測方法與電路系統
CN118887615A (zh) 一种人工智能身份认证的火电厂安防装置
JPH05300516A (ja) 動画処理装置
JPH11328365A (ja) 画像監視装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140609

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees