SE534706C2 - Metod för videoövervakning av ett område med beteendeanalys och datorsystem för genomförande av metoden - Google Patents

Description

20 25 30 35 534 TÜE 2 sig länge i närheten av folksamlingar utan att göra det som normalt görs i omrâdet, t.ex. handla i ett köpcentrum eller resa iväg fràn en flygplats. Ficktjuvar opererar ofta i par eller tre och tre och metoden kan upptäcka att tre personer konsekvent uppe- håller sig i närheten av varandra utan att vara så nära att de verkar vara i samma sällskap. Metoden kan också upptäcka intressanta händelser indirekt t.ex. genom att ingen vill gå i närheten av en viss person i situationer där människor normalt inte undviker andra. uppfinningen löser det aktuella problemet att videoövervaka ett område och analy- sera händelser i detta och ge olika former av larm och beslutsstöd till en operatör genom att vara utförd på det sätt som framgår av de efterföljande självständiga patentkraven.

Uppfinningen kommer i det följande att beskrivas med hänvisning till bifogade ritning, där fig. 1 fig. 2 visar ett principschema över ett beteendeanalysfilter i figur 1. visar ett principschema över metoden och Systemet vid uppfinningen använder en eller flera videokameror som levererar en bildsekvens till ett datorsystem. Datorsystemet analyserar videosekvenserna auto- matiskt bild för bild, företrädesvis tidssynkroniserat om flera kameror används.

Utöver videokameror kan olika individer lokaliseras med andra kända sensorer och systemet kan även använda denna information i sin analys. Analysen förbättras om _ det flnns information om individers grupptillhörighet och definitioner av beteende- klasser som har matats in till systemet av en operatör.

Resultatet av analysen är en lägesbild över ett område. Den utgör en kontinuerligt uppdaterad, formaliserad beskrivning av de individer som ses av en eller flera videokameror och deras rörelsebeteenden. Resultatet kan presenteras som en beskrivande text med karakteristik av individer, grupper och hela omrâdet och dessutom inbegripa eventuell klasstillhörighet och eventuell anomali. Resultatet kan presenteras för operatören eller skickas vidare till ett annat system för vidare användning. 10 15, 20 25 30 35 534 706 3 En huvudpunkt vid uppfinningen är att analysen sker i tre block. Först analyseras enskilda individer var för sig. Ett viktigt särdrag är att denna individanalys sker i två delar. Först försöker man associera varje observation av en individ med en individ som är känd i en tidigare bild eller, om detta inte gär, anges individen vara en ny individ. För detta ändamål extraherar man och använder värden på de egenskaper som används för att bestämma de tillståndsvariabler som behövs för att kunna utföra associationen. l beroende av vilka tillståndsvariabler man är intresserad av för att kunna analysera eventuell grupptillhörighet och utvecklingen av situationen i hela området extraheras därpå ytterligare egenskaper för de olika individema. När en ny observation har associerats till en tidigare känd individ kan de tillståndsvariabler som karakteriserar individen uppdateras, vilket innefattar olika former av i föregående bild lagrad information om individens tidigare historia. Resultatet av analysen blir en beskrivning av de individer som rör sig i området.

När individanalysen är klar, analyseras grupper av individer utifrån resultatet av individanalysen. Analysen av grupper sker pà samma sätt som för individer med skillnaden att grupper kan detekteras antingen automatiskt genom någon gemen- sam egenskap i form av ett visst värde på en eller flera tillståndsvariabler eller specificeras genom uppräkning av de individer som ingâri gruppen. Uppräkningen görs av en operatör eller en annan del av systemet. Indelningen av individer i grupper behöver inte vara ömsesidigt uteslutande, en individ kan ingå i flera grupper. Resultatet av analysen blir en beskrivning av de grupper som rör sig i omrâdet.

Sist analyseras hela området och ger en lägesbild som bygger på resultatet av individ- och gruppanalys och på egenskaper som extraheras för att karakterisera läget i hela området.

De nämnda tíllstàndsvariablerna är vanligen numeriska, men kan vid presentation tolkas till en beskrivning l ord. Detsamma gäller händelser som kan beskrivas som numeriska förändringar i en eller flera tillståndsvariabler, men kan beskrivas i ord i presentationen. 10 15 20 25 30 534 7GB 4 Varje tillståndsvariabels värde beskrivs av en sannolikhetsfördelning över värde- rummet. På så sätt kan man uttrycka olika grad av säkerhet i bedömningen av vilket värde som gäller. Man kan också ge ett bestämt värde all sannolikhet, vilket är ett sätt att uttrycka att ett specifikt värde gäller.

Fackmannen förstår att välja tillståndsvariabler utifrân situationen, för att beskriva relevanta egenskaper hos de rörliga objekten. Den som vill studera frågan hänvisas till A. Yilmaz, O. Javed and M. Shah, “Object tracking: a survey,” ACM Computing Surveys, Vol. 38, No. 4, Article 13, Dec. 2006.

För en individ år några vanliga exempel på tillståndsvanabler: Position, utseende, kroppsstållning, kroppsligt rörelsemönster och rumslig rörelse, hastighet och rikt- ning. För en grupp år några vanliga exempel på tillståndsvariabler: Individeri gruppen, egenskap och värden som definierar gruppen, position och rumslig rörelse, hastighet och riktning. För hela området är några vanliga exempel på tillstånds- variabler: Antal individer, antal grupper, rumsligt rörelsemönster och lndividanalys. lndividanalys, se lndividanalys i figur 1. består i att hitta, följa och karakterisera individema. l denna analys tas ingen hänsyn till individemas eventuella del i någon grupp. Detektion, extraktion och följning av rörliga objekt är väl bekant för fack- mannen. Den som vill kan studera frågan i t.ex. A. Yilmaz et al. enligt ovan och W.

Hu, T.Tan, L. Wang and S. Maybank, “A survey on visual surveillance of object motion and behaviours”, IEEE Trans. on systems, man and cybemetics, vol. 34, no. 3, August 2004.

De olika delarna i blocket lndividanalys i figur 1 presenteras i det följande. Analysen görs bild för bild och i två huvuddelar. Den första delen består i detektion, extraktion och följning och ger som resultat att ytterligare observationer associerats med befintliga spår. Spår kan dessutom ha tillkommit och försvunnit. Den andra delen i analysen bestàri att extrahera ytterligare egenskaper och karakterisera tillståndet och händelser för att uppdatera karakterisenngen av individerna. lndata, 1 ifigur 1, är en sekvens av bilder som behandlas en och en. Utdata 2 i figur 1, är spår och karakteriseríng av individema som rör sig i scenen. 10 15 20 25 30 35 534 7GB Detektion skeri blocket D, Detektion av rörliga objekt kan göras Lex. genom att de skiljer sig fràn bakgrunden.

Fackmannen är väl bekant med sådan bakgrundsdetektering. Den intresserade kan studera frågan i K. Kim, T. H. Chalidabhongse, D. Harwood and L. Davis, “Real-time foreground-background segmentation using codebook model”. Real-time imaging, vol. 11, no. 3, pp. 172-185, 2005 och i C. Stauffer and W. E. L. Grimson, “Learning patterns of activity using real-time tracking”. IEEE Trans. on pattern analysis and machine intelligence, voi. 22, no. 8, August 2000.

Varje observation av ett objekt (eller en dei av ett objekt eller flera objekt) är ett sammanhängande område i bilden som pekas ut med en siluett eller på annat sätt.

Detektionen görs för varje sensor för sig och flera olika algoritmer kan användas för varje sensor. Detektionsmodulen tar fram ett antal hypoteser för var rörliga objekt kan finnas i aktuell bild.

Extraktion av egenskaper sker i blocket X., Extraktion av egenskaper som behövs för föijningen som tex. position, utseende och form. Extraktionen kan se olika ut beroende pá vilken detektionsalgoritm som använts. Resultatet måste vara jämförbart med resultat frán övriga extraktíons- moduler i följningsmodulen.

Följning (tracking) sker i blocket T., Varje observation av ett rörligt objekt associeras med en individ (objektspår). i många fall är det en en till en korrespondens mellan observationer och kända individer men det kan hända både att en individ beskrivs av flera observationer och att flera individer beskrivs av en observation. individer kan skapas och försvinna. En individ som inte observerats pà en längre tid eller som man vet inte kommer att äter- komma tas bort. En observation som inte kan associeras till en existerande individ leder till födelse av en ny individ. individen är i någon mening preliminär tills flera observationer har gjorts. i Extraktion av ytterligare egenskaper sker i blocket X, Extraktion av ytterligare egenskaper kan göras när detektionen är associerad med en känd individ. Förändringar över tiden extraheras om individen innehåller data om tidigare observationer. Om individen är kiassificerad kan egenskaper relaterade till 10 15 20 25 30 35 534 706 6 klassen extraheras, tex. antal hjul om det är ett fordon eller längd på personer. För personer extraheras t.ex. egenskaper som beskriver kroppslig rörelse.

Individuell beteendeanalys sker i blocket IBF I lBF, Individuellt beteendefilter (individual behavioural filter), uppdateras individens egenskaper med ytterligare en observation. Klassificering och anomalidetektion görs för att detektera oönskade och ovanliga händelser.

Resultatet från individanalysen år att objekten som rör sig i området detekteras och följs så det går att se hur objekten rör sig i scenen. Objektens beteende karakteriseras kontinuerligt så att larrn kan ges vid på förhand definierade händelser och vid anomalier.

Gruppanalys består i att hitta, följa och karakterisera grupper av individer. En grupp definieras genom uppräkning av individer eller genom någon gemensam värde på någon egenskap. Vilka egenskaper som utgör grund för gruppindelning kan dels bestämmas av operatören dels genom analys av individerna.

De olika delama i blocket Gruppanalys lfigur 1 presenteras i det följande. Analysen sker på liknande sätt som analysen av individer. lndata till blocket är data från individanalysen och resultatet är att ytterligare observationer kan associeras med spàr av grupperna. Spår av grupper kan tillkomma och försvinna. lndata kan också vara användardefinierade grupper som isåfall måste matas in till systemet vid sidan av analysen av bilder.

Detektion av grupper sker i blocket D, Grupper kan specificeras genom att en operatör eller nàgot annat system räknar upp individema som ingår i varje grupp. l detta fall är detektion av individer som ingår i gruppen trivial. Grupper kan också specificeras genom någon gemensam egenskap som ges av en operatör eller något annat system eller så kan detektions- modulen automatiskt hitta grupper av individer med liknande egenskaper. Grupper behöver inte vara ömsesidigt uteslutande utan en individ kan ingå i flera grupper.

Extraktion av gruppens egenskaper sker i blocket X9 När en grupp identifierats så extraheras de egenskaper för gruppen, som behövs för att associera gruppen till en av de kända gruppema. 10 15 20 25 30 35 534 7GB Följning (tracking) sker i blocket T, Varje observation av en grupp associeras tili en känd grupp alternativt skapas en ny QFUPP- Extraktion av ytterligare egenskaper sker i blocket Xh När det nu finns ytterligare en observation avseende gruppen så kan de gruppegen- skaper extraheras som år intressanta och som behövs för karakterisering av gruppen och dess beteende.

Gruppbeteendeanalys sker i blocket GBF I GBF, Gruppbeteendefilter (group behavioural filter), uppdateras gruppens egen- skaper med ytterligare en observation. Oönskade och ovanliga beteenden hos gruppen detekteras.

Resultatet från gruppanalysen är att grupper i omrâdet följs och deras beteende karakteriseras kontinuerligt så att larm kan ges vid fördefinierade händelser och anomalier. Metoden analyserar även de individer som rör sig i scenen för att hitta eventuella grupper som kan vara individer som har ett gemensamt màl, individer som har liknande beteende eller individer som ser lika ut m.m.

Utifrån individ- och gruppanalys och övrig information om hela området sker en analys av hela området. De olika delama i blocket Scenanalys, se figur 1, presen- teras i det följande. lndata är utdata från individ- och gruppanalysen. Detta block är analogt med andra delen i individ- och gruppanalys blocken, första extraheras egen- skaper som beskriver hela området - scenen - och sedan uppdateras tillstånds- variablerna som beskriver scenen.

Extraktion av egenskaper för hela området X, När tillståndsvariabler för individer och grupper har uppdaterats kan egenskaper för hela området som är intressanta och som behövs för att karakterisera läget i omrâdet extraheras.

Beteendeanalys över hela området sker i blocket SBF I SBF, Beteendefilter för scen (scene behavioural filter), uppdateras egenskaper för hela området. 10 15 20 25 30 35 534 706 Resultatet av analysen av hela området år en lägesbild som år skapad utifrån de individer som rört sig i området och karakterlserlngen av deras beteende och analysen av eventuella grupper och deras beteende. Lägesbilden skulle tex. kunna säga om det finns flera grupper som beter sig hotfullt mot andra eller varandra eller om det bara år enstaka individer som beter sig misstänkt.

De tre filtren (för individ, grupp och hela området) som används vid beteendeanalys har samma uppbyggnad med fyra komponenter vardera, se figur 2. Innehållet i de tre filtren skiljer sig. Varje filter har en metod som beräknar aktuellt tillstånd utifrån nya observationer och aktuell tid och en metod som predikterar aktuellt tillstånd vid en tidpunkt efter senaste observationen. Det finns en metod som klassificerar aktuellt tillstånd i antingen på förhand givna klasser eller i klasser som ges av aktuella och tidigare data och en metod som detekterar anomalíeri aktuellt tillstànd genom att föra statistik över hur ofta olika tillstànd förekommer. Den forsta delen kan tex. göras med ett Kalman-filter som måste innehålla prediktion av nästa mät- vårde, uppdatering av tillståndet och avståndsberäkning mellan två tillstånd.

De olika delama i ett beteendefilter presenteras i det följande. Filtret innehåller två databaser, en med beskrivning av egenskapsklasser, 5 i figur 2. vilka kan vara estimerade från data eller givna utifrån av användaren. Den andra databasen, 6 i figur 2, innehåller en beskrivning av normalvården för att kunna detektera awikelser från sådana normalvärden. Beskrivningen av normalvärden estimeras kontinuerligt från aktuella data.

Prediktion sker i blocket P Aktuellt tillstånd år en funktion av tiden och av alla eller en del av inkomna sensor- data. l många fall ändrar sig tillståndet med tiden och om man vill ha aktuellt värde en tid efter senaste observationen så bör aktuellt värde predikteras utifrån tidigare data och aktuell tid.

Uppdatering av tillstånd sker i blocket T Den andra delen i filtret består i att karakterisera aktuellt tillstånd i termer av dyna- miskt eller deterministiskt på förhand givna klasser. Klassema kan göras i termer av direkt mätbara egenskaper men kan också ges en förklarande beskrivning vid definition av klassen. 10 15 20 25 30 35 534 7GB Klassificering sker i blocket C Aktuellt tillstànd klassificeras i blocket C i figur 2, dvs. för varje tillståndsvektor beräknas till vilken klass tillstándsvektom hör. Definitionen av klassema lagrasi databasen 5 i figur 2. Definitionen av klassema är antingen given av annan del av systemet och matas in i databasen utifrån (användardefinierade klasser) eller så skapas klasserna i blocket K i figur 2. Klassdefinitionen kan uppdateras för varje ny tillstàndsvektor som kommer och matas sedan in i databasen. Klasserna kan vara namngivna för att underlätta tolkning av aktuellt läge. Om klassindelningen uppdateras dynamiskt sà mäste eventuellt namngivning ses över när klasserna ändras.

Klassíficering av data görs för att underlätta tolkningen av aktuellt läge och stödja operatörens arbete med att hitta samband mellan olika individer och händelser.

Metoden kan se samband som är svåra för en operatör att upptäcka. Tillstånde- variablemas värde ger mer detaljerad information men kan bli för omfattande för att en operatör skall kunna tolka dem. Klassificering görs med någon för fackmannen känd metod såsom t.ex. K-means. En översikt över denna metod presenteras i R. O.

Duda, P. E. Hart and D. G. Stork, “Pattern Classification", 2nd Edition, Wiley, 2000.

Anomalidetektion sker i blocket AD Metoden detekterar tillstånd som är på förhand definierade som ononnala eller till- stånd som awiker frän det normala i aktuella sensordata. Norrnala beteenden kan t.ex. fastslås genom statistik avseende sensordata. Man kan t.ex. ansätta att en parameter är norrnalfördelad och estimera fördelningens parametrar fràn data.

Fackmannen är bekant med sådan anomalidetekticn. I O. Boiman and M. lrani, “Detecting irregularities in images and in video” ges exempel på hur anomalier i rörelser kan detekteras.

Resultatet i form av uppfinningens analys är en lägesbild över området och kan presenteras i en kombination av kartor, sensordata och textbeskrivningar. En karta eller ritning kan visa området som övervakas med symboler för grundförutsättningar och aktuellt tillstànd. Lämpligen låter man operatören välja en delmängd av all information som finns tillgänglig. Kartan kan t.ex. visa geografiska begränsningar och sensorers position och synfält. Videosekvenser kan visas i realtid liksom data 534 706 10 fràn andra sensorer. l strömmarna kan symboler för aktuellt läge och analysresultat läggas in.

En händelselogg kan itidsordning eller med annan sortering visa en lista med händelser. Händelser kan t.ex. fâ olika utformning i händelseloggen pà grund av dess prioritering för att underlätta operatörens arbete. Det kan också möjligt att låta operatören frysa bilden vid en viss tidpunkt och möjlighet att gå bakåt i tiden för att se hur läget var vid en tidigare tidpunkt.

Claims (2)

10 15 20 25 30 35 534 706 11 Patentkrav:

1. Metod för videoövervakning av ett område med beteendeanalys av enskilda individer och grupper av individer och som genererar en lägesbild över hela området, innefattande att man, för nämnda individer, grupper och omrâde, fastställer de tillstånds- variabler man är intresserad av för att beskriva nämnda individer, grupper och område och deras beteenden och också hur nämnda tillståndsvariabler beror av egenskaper som kan extraheras ur en bild, att man tilldelar var och en av nämnda individer, grupper och område en sådan uppsättning tillståndsvariabler, att man för varje bild i en bildsekvens detekterar de individer som förekommer i bilden och genom extraktion av värden på berörda egenskaper bestämmer och lagrar de tillståndsvariabler som behövs för att kunna associera en individ med motsvarande individ i någon tidigare bild i bildsekvensen, att man, vid analys av en bild i bildsekvensen, försöker genomföra associationen för varje individ i bilden, vilken antingen lyckas, varvid man fastslår att en individ är densamma som en individ i en tidigare bild, eller misslyckas, varvid man anger individen som en ny individ, kännetecknat av att man extraherar värden pà de egenskaper som behövs för att bestämma ytter- ligare tillståndsvariabler som man är intresserad av för nämnda varje individ, att man baserat på dessa egenskaper, och - om nämnda varje individ är associe- rad med en individ i en tidigare bild -tidigare värden på tillståndsvariabler för denna individ, bestämmer och lagrar nämnda ytterligare tillståndsvariabler, att man genomför en individuell beteendeanalys av nämnda varje individ och där- vid klassificerar den och utför anomalidetektion, att man använder resultaten av beteendeanalysen för nämnda varje individ som ingångsvärden för en gruppanalys, att man för varje bild i en bildsekvens detekterar de grupper som förekommer i bilden och genom extraktion av värden på berörda egenskaper bestämmer och lagrar de tillståndsvariabler som behövs för att kunna associera en grupp med motsvarande grupp i någon tidigare bild i bildsekvensen, att man, vid analys av en bild i bildsekvensen, försöker genomföra associationen för varje grupp i bilden, vilken antingen lyckas, varvid man fastslår att en grupp 10 15 20 25 30 35 534 706 12 är densamma som en grupp i en tidigare bild, eller misslyckas, varvid man anger gruppen som en ny grupp, att man extraherar värden pà de egenskaper som behövs för att bestämma ytter- ligare tillstàndsvariabler som man är intresserad av för nämnda grupper, att man baserat pá dessa egenskaper, och -för de grupper som är associerade med grupper i en tidigare bild -tidigare värden på tillstàndsvariabler för dessa grupper, bestämmer och lagrar nämnda ytterligare tillstàndsvariabler för nämnda grupper, att man genomför en gruppbeteendeanalys av nämnda varje grupp och därvid klassificerar den och utför anomalidetektion, att man använder resultaten av beteendeanalysen för nämnda varje individ och resultaten av beteendeanalysen för nämnda varje grupp som ingàngsvärden för en beteendeanalys över hela området, att man extraherar värden på de egenskaper som behövs för att bestämma till- stàndsvariabler som, utöver individers och gruppers tillstàndsvariabler, behövs för att uppdatera lägesbilden över området, att man, baserat på individers och gruppers tillstàndsvariabler och de tillstånds- variabler som bestäms speciellt för uppdateringen av lägesbilden, uppdaterar tillstàndsvariablema som beskriver lägesbilden och presenterar denna läges- bild.

2. Datorsystem för videoövervakning av ett område med beteendeanalys av enskilda individer och grupper av individer och som genererar en lägesbild över hela omrâdet, innefattande att datorsystemet, för nämnda individer, grupper och område, fastställer de till- stàndsvariabler som angetts vara intressanta för att beskriva nämnda individer, grupper och område och deras beteenden och också hur nämnda tillstàndsvariabler beror av egenskaper som kan extraheras ur en bild, att datorsystemet tilldelar var och en av nämnda individer, grupper och område en sådan uppsättning tillstàndsvariabler, att datorsystemet för varje bild i en bildsekvens detekterar de individer som före- kommer i bilden och genom extraktion av värden pä berörda egenskaper bestämmer och lagrar de tillstàndsvariabler som behövs för att kunna associ- era en individ med motsvarande individ i någon tidigare bild i bildsekvensen, att datorsystemet, vid analys av en bild i bildsekvensen, försöker genomföra associationen för varje individ i bilden, vilken antingen lyckas, varvid man 10 15 20 25 30 534 706 13 fastslår att en individ är densamma som en individ i en tidigare bild, eller misslyckas, varvid man anger individen som en ny individ, kännetecknat av att datorsystemet extraherar värden pà de egenskaper som behövs för att bestämma ytterligare tillstàndsvariabler som angetts vara intressanta för nämnda varje individ, att datorsystemet baserat på dessa egenskaper, och - om nämnda varje individ är associerad med en individ i en tidigare bild -tidigare värden på tillstånds- variabler för denna individ, bestämmer och lagrar nämnda ytterligare till- stándsvariabler, att datorsystemet genomför en individuell beteendeanalys av nämnda varje individ och därvid klassificerar den och utför anomalidetektion, att datorsystemet använder resultaten av beteendeanalysen för nämnda varje individ som ingángsvärden för en gruppanalys, att datorsystemet för varje bild i en bildsekvens detekterar de grupper som före- kommer i bilden och genom extraktion av värden pà berörda egenskaper bestämmer och lagrar de tillståndsvariabler som behövs för att kunna associ- era en grupp med motsvarande grupp i någon tidigare bild i bildsekvensen, att datorsystemet, vid analys av en bild i bildsekvensen, försöker genomföra associationen för varje grupp i bilden, vilken antingen lyckas, varvid man fast- slår att en grupp är densamma som en grupp i en tidigare bild, eller miss- lyckas, varvid man anger gruppen som en ny grupp, att datorsystemet extraherar värden pà de egenskaper som behövs för att bestämma ytterligare tillstàndsvariabler som angetts vara intressanta för nämnda grupper, att datorsystemet baserat pà dessa egenskaper, och -för de grupper som är associerade med grupper i en tidigare bild -tidigare värden pà tillstånds- variabler för dessa grupper, bestämmer och lagrar nämnda ytterligare till- stándsvariabler för nämnda grupper, att datorsystemet genomför en gruppbeteendeanalys av nämnda vane grupp och därvid klassificerar den och utför anomalidetektion, att datorsystemet använder resultaten av beteendeanalysen för nämnda varje individ och resultaten av beteendeanalysen för nämnda varje grupp som ingàngsvärden för en beteendeanalys över hela området, 534 706 14 att datorsystemet extraherar värden på de egenskaper som behövs för att bestämma tillståndsvariabler som, utöver individers och gruppers tillstånds- variabler, behövs för att uppdatera lägesbilden över området, att datorsystemet, baserat pà individers och gruppers tillstàndsvariabler och de tillstànds-variabler som bestäms speciellt för uppdateringen av lägesbilden, uppdaterar tillstàndsvariablerna som beskriver lägesbilden och presenterar dennalägesbüd.