[go: up one dir, main page]

WO2011063936A1 - Method and device for optical activity recognition - Google Patents

Method and device for optical activity recognition Download PDF

Info

Publication number
WO2011063936A1
WO2011063936A1 PCT/EP2010/007103 EP2010007103W WO2011063936A1 WO 2011063936 A1 WO2011063936 A1 WO 2011063936A1 EP 2010007103 W EP2010007103 W EP 2010007103W WO 2011063936 A1 WO2011063936 A1 WO 2011063936A1
Authority
WO
WIPO (PCT)
Prior art keywords
activity
virtual light
monitoring
area
light barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2010/007103
Other languages
German (de)
French (fr)
Inventor
Jens Spehr
Friedrich M. Wahl
Simon Winkelbach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technische Universitaet Braunschweig
Original Assignee
Technische Universitaet Braunschweig
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technische Universitaet Braunschweig filed Critical Technische Universitaet Braunschweig
Publication of WO2011063936A1 publication Critical patent/WO2011063936A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings

Definitions

  • the invention relates to a method for optical activity detection with a plurality of virtual light barriers according to claim 1.
  • the invention also relates to an advantageous device for optical activity detection according to claim 11.
  • an activity in this context is meant any movement of a three-dimensional object in a region to be monitored, e.g. a room, understood.
  • the invention is therefore suitable for computer-aided recognition of activities e.g. a person, an animal or a machine
  • Optic activity recognition is understood to mean any type of optical detection that can be done visually using a camera.
  • the updating mechanisms must be developed to allow the updating of the background model in the field of motionless persons, e.g. sleeping persons, prevent. Again, this is difficult to implement in practice.
  • the invention is therefore based on the object to enable a robust activity detection with significantly reduced computational effort.
  • the invention has the advantage of enabling safe and reliable detection of the activities of an object in a region to be monitored.
  • the invention makes it possible to process the extensive image information captured by means of a camera by quickly executing steps and thereby to detect activities of an object with high reliability. This is made possible by the use of virtual light barriers according to claim 1. It eliminates in particular the need to use the required in the prior art complex tracking algorithms.
  • the invention makes it possible, by means of relatively simple calculation steps, to reduce the complex image information to simple variables which can be processed further quickly, such as individual (scalar) number information or pure binary information.
  • the invention is particularly suitable for parallel processing in modern architecture computers having multiple processors operating in parallel.
  • the invention makes it possible to distribute the virtual light barriers to different processors and to have each processor calculate a certain number of virtual light barriers.
  • the invention can be used with inexpensive hardware in all areas in which spaces are monitored and activities of objects, e.g. Persons to be recognized.
  • a virtual light barrier is determined to associate a zero, one, or two dimensional surveillance area in the captured pixel information, monitor the surveillance area, and generate a virtual light barrier activity signal.
  • the use of such virtual light barriers has the advantage over the use of real light barriers that eliminates the installation of separate light barriers. It is only an installation of a camera or possibly several cameras necessary. It also eliminates the extensive cable installation that is required for real light barriers with a light transmitter and a light receiver.
  • any number of virtual light barriers can be defined, without additional real installation costs incurred. Also possible is a dynamic variation of the number of virtual light barriers, eg depending on the utilization of the hardware used and the monitoring situation.
  • the virtual light barriers can be defined in principle in any zero, one or two-dimensional form, for example as a straight or curved line, circle or ellipse, rectangle or in any other form.
  • the surveillance area is punctiform; this corresponds to the classic real light barrier with only one light beam.
  • the surveillance area is linear, eg as a straight line section or as a perimeter of a two-dimensional area that is a regular one Grams, Lins & Partners
  • the surveillance area is planar, e.g. as a surface of a two-dimensional surface which may have a regular shape (e.g., circle, ellipse, rectangle) or irregular shape.
  • the concept of virtual light barriers therefore allows great flexibility in the monitoring of objects.
  • the invention has the advantage that the data processing requires little effort.
  • no complex models need to be stored and processed.
  • the complex image information can be compressed to a binary information that indicates the state of the respective virtual light barriers. This has the further advantage over conventional image processing that the data protection is improved because only a binary on / off information of the light barrier has to be output as the output variable and not the entire recorded image. In particular, it avoids access to sensitive image information and improves the privacy of individuals.
  • the invention is advantageously suitable for commercial use and for use in private homes or dormitories.
  • the activity detection can be used in many areas, such as security control, surveillance, access control or to control consumer electronics.
  • One Grams, Lins & Partners One Grams, Lins & Partners
  • Patent and Attorney's Office GbR particularly advantageous scope of the invention is in the field of home emergency call systems, which can be improved by means of the invention in that an automatic emergency call is triggered upon detection of activities that do not correspond to the normal activity pattern.
  • the activity recognition according to the invention can be used to detect dangerous situations or anomalies, such as e.g. a fall of a person.
  • the image information captured by the camera is compressed in two steps, namely first by means of the virtual light barriers on the one or two-dimensional monitoring areas associated with the light barriers.
  • the image information of the monitoring areas is compressed to a respective activity signal of the virtual light barrier.
  • the activity signal may be a binary on / off signal or a numerical value, e.g. an integer.
  • the temporal sequence of the plurality of activity signals is evaluated according to the invention.
  • the response signal can indicate the statuses "Photocell interrupted” or "Photocell not interrupted”.
  • the monitoring of the pixels of the monitoring area of at least one virtual light barrier is done pixel by pixel by time derivative or subtraction of successive images.
  • the successive images used for the time derivation or difference formation can be directly successive images or images with a certain time interval from one another. This advantageously allows adaptation to the respective monitoring situation. Especially with slow processes or rarely occurring changes, larger distances between the evaluated images are advantageous. It is also advantageous to perform the monitoring pixel by pixel, since this also allows simple calculation steps. In the simplest case, a difference between a pixel of a captured image and the same pixel of a previous image can be performed.
  • a monitoring value is determined from all pixels of the monitoring area of at least one virtual light barrier or data determined therefrom, such as the aforementioned time derivative or pixel-by-pixel difference.
  • the monitoring value can be determined as a spatial integral or sum of all pixels of the monitoring area of at least one virtual light barrier or the data determined therefrom. This, in turn, allows simple, quickly executed computation steps. In the simplest case, the sum of the pixel-by-pixel difference values of successive images can be determined as the monitoring value.
  • the activity signal of at least one virtual light barrier may be the mentioned monitoring value or determined from the monitoring value, eg by further conversion.
  • the pixels of the monitoring area are monitored for changes in the gray value, hue, saturation and / or brightness.
  • a suitable adaptation to the monitoring situation such as e.g. changing light conditions or color ratios can be achieved.
  • the monitoring area of a virtual light barrier can basically have any one- or two-dimensional shape in the acquired pixel information.
  • a one-dimensional form e.g. a line shape or a point understood.
  • a two-dimensional shape e.g. understood a flat shape. It is conceivable, e.g. a determination as a rectangular or circular surveillance area.
  • the monitoring area is designed as a straight line section. As a result, so-called light curtains can be virtually simulated virtually.
  • the formation as a straight line section has the advantage that the number of pixels to be evaluated is limited, and thus the processing speed for the activity recognition is improved.
  • the monitoring area can be drawn into a captured image of the camera with the aid of a graphics program.
  • an image can thus be recorded under neutral conditions, eg without the presence of persons in a room to be monitored.
  • This image is loaded into the graphics program of a computer, eg Paint Shop.
  • an input element for example a computer mouse or a graphics tablet
  • one or more monitoring areas are drawn into the image.
  • the image is then saved and processed via a conversion software.
  • the conversion software generates image mask information from the edited image that contains the information about the defined monitoring areas. For the optical activity recognition this is Grams, Lins & Partners
  • Image mask information is then used to extract and process the pixel information of the virtual light barriers. This approach allows a little time consuming simple realization of virtual light barriers in a monitored area. A later extension or reduction of the number of defined virtual light barriers is also possible in a simple manner.
  • an at least two-phase stochastic model is used to detect an activity of an object located in the detected area, wherein as the first phase a learning phase is provided in which the model is trained on the basis of defined activities, wherein automatically model parameters are determined, and as the second phase a classification phase is provided in which, based on the trained model parameters and current images of the camera, activities of an object located in the detected area are detected and distinguished.
  • a learning phase is provided in which the model is trained on the basis of defined activities, wherein automatically model parameters are determined
  • a classification phase is provided in which, based on the trained model parameters and current images of the camera, activities of an object located in the detected area are detected and distinguished.
  • Figure 2 detected pixel information
  • FIG. 3 shows a time diagram of the activity signals of virtual light barriers.
  • the activity detection according to the invention is based on virtual light barriers. These have a similar function as real photocells, e.g. in the form of light curtains or light curtains. Real photoelectric sensors detect whether a certain area is being interrupted by an object or not.
  • the virtual light barriers according to the invention work in a comparable manner.
  • FIG. 1 shows, as the area to be monitored, a room 20 in which an object 5, for example a person, is located.
  • a camera 10 is arranged at the ceiling of the room 20, a camera 10 is arranged.
  • the camera 10 may be formed, for example, as a conventional digital camera with a CCD sensor.
  • the camera 10 is connected via a line to a processing unit 6, for example a computer.
  • the camera 10 may also be wirelessly connected to the processing unit 6.
  • a Mobilfunksendeein- device 7 and a warning lamp 8 are connected to the processing unit 6.
  • the signal units 7, 8 serve to output information about the activity detected by the device according to the invention, for example in the form of a warning signal.
  • FIG. 1 also shows, by way of example, two virtual light barriers 30, 40, which are designed analogously to a respective real light curtain.
  • the virtual Grams, Lins & Partners are designed analogously to a respective real light curtain.
  • Photocells 30, 40 correspond in three-dimensional space to a respective plane which is spanned between two beams emanating from the camera 10.
  • the light curtains of the virtual light barriers 30, 40 correspond to a respective straight line section which corresponds to a monitoring area of the respective virtual light barrier 30, 40 and, due to the training as a line, subsequently as a monitoring line 3 or 4 is to be designated, which will be explained in more detail below with reference to FIG 2.
  • FIG. 1 shows by way of example that the virtual light barrier 30 is interrupted by the person 5 at least at certain points. The virtual light barrier 40 detects no such interruption, neither by the person 5 nor by the shadow thrown by the person 5 in the direction of the surveillance line 4.
  • FIG. 2 shows an image 9 of the camera 10.
  • the person 5 is recognizable in plan view.
  • two additional virtual light barriers are defined in comparison to FIG. In total, four virtual light barriers are defined.
  • the virtual light barriers have monitoring areas 1, 2, 3, 4 in the form of monitoring lines, which are marked by straight lines in the image 9.
  • the virtual light barrier belonging to the monitoring line 3 has detected an interruption.
  • FIG. 3 shows, as a time diagram, an exemplary time sequence of the response of the four virtual light barriers shown in FIG.
  • a first virtual light barrier is assigned the monitoring line 1 according to FIG. 2 and an activity signal A1 according to FIG.
  • Analogous is Grams, Lins & Partners
  • Patent andpatianwaltssoziet21 GbR a second virtual photoelectric sensor associated with the monitoring line 2 and the activity signal A2.
  • a third virtual light barrier is assigned the monitoring line 3 and the activity signal A3.
  • a fourth virtual light barrier associated with the monitoring line 4 and the activity signal A4.
  • the activity signals A1, A2, A3, A4 can assume the binary states 0 and 1.
  • the state 0 corresponds to an uninterrupted light barrier, i. there is no object in the corresponding monitoring line.
  • State 1 corresponds to an interrupted light barrier, corresponding to an object located in the monitoring line.
  • a series of computing steps is carried out in the processing unit 6 in which the pixels of the respective monitoring line are evaluated and from this a respective activity signal of the virtual light barrier is determined.
  • the steps may be as follows:
  • a first and a second image are evaluated.
  • the evaluated images do not necessarily have to be directly successive images sent by the camera, but can also be evaluated at a lower frequency.
  • the image information size used as a function f, (x) may also be another information provided by the camera, such as e.g. the saturation or the brightness.
  • a combination of these image information quantities can also be used to advantage.
  • an activity level a of the surveillance area is formed by spatial integration over the surveillance area.
  • the spatial integration can be advantageously determined by summing the previously formed differences, e.g. according to the equation
  • the determined activity level a can be used as the activity signal of the respective virtual light barrier. It is also advantageous to further compress the information determined by the degree of activity a. For this purpose, a further step may be provided in which the determined activity level a is compared with a predetermined monitoring threshold ⁇ . If the degree of activity a exceeds the threshold value ⁇ , the virtual light barrier is detected and the binary activity signal A1, A2, A3, A4 is set to the value 1. Otherwise, the activity signal A1, A2, A3, A4 is at the value 0.
  • the monitoring threshold ⁇ may be e.g. fixed by a user. Alternatively, the monitoring threshold can be determined automatically dynamically with a statistical analysis.
  • the virtual light barriers indicate interruptions in a specific sequence one after the other.
  • the virtual light barriers indicate interruptions in the sequence A1 -A3-A4. From this, the processing unit recognizes an activity of a person 5, namely entering the monitored space 20 Grams, Lins & Partners
  • phase T1 is followed by a phase T2 without activity.
  • the activity signals A2 and A4 indicate corresponding activity in the monitoring areas 2 and 4.
  • phase T4 without activity.
  • another activity is detected based on the sequence of interrupts in the sequence A2-A3-A1, namely the exiting of the room 20 by the person 5.
  • the virtual light barrier activity signals represent discrete sensor information that is used to determine the activity of an object and to further determine whether the sensor information is normal or abnormal.
  • the optical activity detection device is advantageously operated in at least two phases.
  • a learning phase a model is trained.
  • an automatic determination of model parameters describing the behavior and the activities during the learning phase takes place.
  • the learning phase it is assumed that the object performs typical, normal movements.
  • the learning phase can last from several hours to a few weeks.
  • the classification phase the trained model is used to compare the sensor information with the model. This comparison allows conclusions to be drawn on activities that were already observable in the learning phase. In addition, conclusions can be drawn as to how far the observed sensor information corresponds to or deviates from the normal behavior underlying the learning phase.
  • a statistical model can advantageously be used with which the activity recognition can be carried out.
  • HMM Hiddle Markov Model
  • An HMM is a stochastic model consisting of a Markov chain. This is characterized by states and transition probabilities, where the states of the chain are not directly visible from the outside.
  • a second random process generates observable output symbols distributed according to a state-dependent probability distribution.
  • the observable output symbols correspond to the sensor information of the virtual light barriers, which are fed to the HMM as input variables.
  • the hidden states correspond to the activities to be recognized, which are obtained as the starting point.
  • the Baum-Welch algorithm can be used.
  • the probability that the observed sensor information is generated by the learned model can be determined using the forward-backward algorithm.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The invention relates to an optical activity recognition unit having a plurality of virtual light barriers with the following steps: a) images (9) of an area (20) to be monitored are captured by means of a camera (10), wherein the images (9) each represent the captured area (20) as a two-dimensional pixel information item, b) a plurality of virtual light barriers are defined in the captured pixel information item, wherein, for each virtual light barrier, the pixels from a one-dimensional or two-dimensional monitoring area (1, 2, 3, 4) associated with the light barrier are monitored in the captured pixel information item and this is used to produce an activity signal (A1, A2, A3, A4) for the virtual light barrier, c) the plurality of activity signals (A1, A2, A3, A4) are monitored, d) activity by an object (5) situated in the captured area (20) is recognized from the chronology of the plurality of activity signals (A1, A2, A3, A4), and e) a piece of information about the recognized activity is output. The invention allows solid activity recognition with significantly reduced computation involvement.

Description

Gramm, Lins & Partner  Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Technische Universität Carolo-Wilhelmina Unser Zeichen: zu Braunschweig 3022-073 PCT-1Technische Universität Carolo-Wilhelmina Our sign: to Brunswick 3022-073 PCT-1

Pockelstraße 14 Datum: Pockelstraße 14 Date:

38106 Braunschweig 23.1 1 .2010 38106 Braunschweig 23.1 1 .2010

Deutschland Germany

VERFAHREN UND EINRICHTUNG ZUR OPTISCHEN AKTIVITÄTENERKENNUNG METHOD AND DEVICE FOR OPTICAL ACTIVITY DETECTION

Die Erfindung betrifft ein Verfahren zur optischen Aktivitätenerkennung mit einer Mehrzahl virtueller Lichtschranken gemäß dem Patentanspruch 1 . Die Erfindung betrifft außerdem eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung gemäß dem Anspruch 1 1. The invention relates to a method for optical activity detection with a plurality of virtual light barriers according to claim 1. The invention also relates to an advantageous device for optical activity detection according to claim 11.

Als Aktivität wird in diesem Zusammenhang jede Bewegung eines dreidimensionalen Objekts in einem zu überwachenden Bereich, z.B. einem Raum, verstanden. Die Erfindung eignet sich daher zum computergestützten Erkennen von Aktivitäten z.B. einer Person, eines Tiers oder einer Maschine Als opti- sehe Aktivitätenerkennung wird jegliche Art von optischer Erfassung verstanden, die sichtbasiert mittels einer Kamera erfolgen kann. As an activity in this context is meant any movement of a three-dimensional object in a region to be monitored, e.g. a room, understood. The invention is therefore suitable for computer-aided recognition of activities e.g. a person, an animal or a machine Optic activity recognition is understood to mean any type of optical detection that can be done visually using a camera.

Bisherige Vorschläge zur optischen Aktivitätenerkennung erfordern beispielsweise, dass ein Hintergrundbild erfasst wird, das als unveränderlich angenom- men wird. Zur Erkennung der Aktivitäten werden Veränderungen im Vordergrund registriert. Solche Verfahren sind bereits dann problematisch, wenn sich der Hintergrund beispielsweise durch Lichteinfall verändert. Dies bringt die Problematik mit sich, dass das Hintergrundmodell regelmäßig aktualisiert werden muss, was im Einzelfall äußerst aufwendig sein kann. Änderungen am Hin- tergrundmodell, wie z.B. das öffnen oder Schließen von Türen oder Beleuchtungsänderungen, müssen erkannt und zur Aktualisierung verwendet werden. Previous proposals for optical activity recognition require, for example, that a background image is captured which is assumed to be immutable. To detect the activities, changes in the foreground are registered. Such methods are already problematic when the background changes, for example due to incidence of light. This brings with it the problem that the background model has to be updated regularly, which can be extremely costly in individual cases. Changes to the background model, such as the opening or closing of doors or lighting changes must be detected and used for updating.

BESTÄTIGUNGSKOPIE Gramm, Lins & Partner CONFIRMATION COPY Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Dabei müssen die Aktualisierungsmechanismen so entwickelt werden, dass sie das Aktualisieren des Hintergrundmodells im Bereich von bewegungslosen Personen, z.B. schlafenden Personen, verhindern. Auch dies ist in der Praxis schwer umzusetzen. In doing so, the updating mechanisms must be developed to allow the updating of the background model in the field of motionless persons, e.g. sleeping persons, prevent. Again, this is difficult to implement in practice.

Zur Erkennung von Aktivitäten war es bei bekannten Lösungen zudem erforderlich, dass relativ komplexe Personenerkennungs- und Tracking-Algorithmen angewandt werden. Durch das Tracking wird die Bewegung einer Person durch einen Raum verfolgt; hieraus wird auf bestimmte Aktivitäten geschlossen. Sol- che Verfahren sind sehr rechenaufwendig und erfordern im Echtzeitbetrieb eine sehr leistungsfähige und entsprechend teure Hardware. To detect activities, known solutions also required relatively complex person recognition and tracking algorithms to be used. Tracking tracks the movement of a person through a room; From this it is concluded that certain activities. Such methods are very computationally intensive and require in real-time operation a very powerful and correspondingly expensive hardware.

Der Erfindung liegt daher die Aufgabe zugrunde, eine robuste Aktivitätenerkennung mit deutlich reduziertem Rechenaufwand zu ermöglichen. The invention is therefore based on the object to enable a robust activity detection with significantly reduced computational effort.

Diese Aufgabe wird durch die Erfindung gemäß den Ansprüchen 1 und 11 gelöst. Die Unteransprüche geben vorteilhafte Weiterbildungen der Erfindung an. This object is achieved by the invention according to claims 1 and 11. The dependent claims indicate advantageous developments of the invention.

Die Erfindung hat den Vorteil, eine sichere und zuverlässige Erkennung der Aktivitäten eines Objekts in einem zu überwachenden Bereich zu ermöglichen. Die Erfindung erlaubt es, die mittels einer Kamera erfassten umfangreichen Bildinformationen durch schnell auszuführende Schritte zu verarbeiten und hierbei Aktivitäten eines Objekts mit hoher Zuverlässigkeit zu erkennen. Dies wird ermöglicht durch die Verwendung von virtuellen Lichtschranken gemäß dem Patentanspruch 1. Es entfällt insbesondere die Notwendigkeit, die im Stand der Technik erforderlichen aufwendigen Tracking-Algorithmen zu verwenden. Die Erfindung erlaubt es, mittels relativ einfacher Rechenschritte die komplexen Bildinformationen auf einfache und schnell weiter zu verarbeitende Größen zu reduzieren, wie z.B. einzelne (skalare) Zahleninformationen oder reine Binärinformationen. Gramm, Lins & Partner The invention has the advantage of enabling safe and reliable detection of the activities of an object in a region to be monitored. The invention makes it possible to process the extensive image information captured by means of a camera by quickly executing steps and thereby to detect activities of an object with high reliability. This is made possible by the use of virtual light barriers according to claim 1. It eliminates in particular the need to use the required in the prior art complex tracking algorithms. The invention makes it possible, by means of relatively simple calculation steps, to reduce the complex image information to simple variables which can be processed further quickly, such as individual (scalar) number information or pure binary information. Grams, Lins & Partners

Patent- und Rechtsanwaltssozictät GbR  Patent and law firm GbR

Die Erfindung eignet sich besonders für die Parallelverarbeitung in Computern moderner Architektur, die mehrere parallel arbeitende Prozessoren aufweisen. Die Erfindung erlaubt es, die virtuellen Lichtschranken auf verschiedene Prozessoren zu verteilen und jeden Prozessor eine bestimmte Anzahl virtueller Lichtschranken berechnen zu lassen. Hierdurch kann die Erfindung mit kostengünstiger Hardware in allen Bereichen eingesetzt werden, in denen Räume ü- berwacht und Aktivitäten von Objekten, z.B. Personen, erkannt werden sollen. The invention is particularly suitable for parallel processing in modern architecture computers having multiple processors operating in parallel. The invention makes it possible to distribute the virtual light barriers to different processors and to have each processor calculate a certain number of virtual light barriers. As a result, the invention can be used with inexpensive hardware in all areas in which spaces are monitored and activities of objects, e.g. Persons to be recognized.

Eine virtuelle Lichtschranke wird bestimmt die Zuordnung eines null-, ein- oder zweidimensionalen Überwachungsbereichs in der erfassten Bildpunkt- Information, Überwachen des Überwachungsbereichs und Erzeugen eines Aktivitätssignals der virtuellen Lichtschranke. Die Verwendung solcher virtuellen Lichtschranken hat gegenüber einer Verwendung von realen Lichtschranken den Vorteil, dass eine Installation separater Lichtschranken entfällt. Es ist lediglich eine Installation einer Kamera bzw. ggf. mehrerer Kameras notwendig. Es entfällt zudem die umfangreiche Kabelinstallation, die für reale Lichtschranken mit einem Lichtsender und einem Lichtempfänger erforderlich ist. Vorteilhaft können zudem im Prinzip beliebig viele virtuelle Lichtschranken definiert werden, ohne dass zusätzlicher realer Installationsaufwand anfällt. Möglich ist auch eine dynamische Variation der Anzahl der virtuellen Lichtschranken, z.B. je nach Auslastung der verwendeten Hardware und der Überwachungssituation. Ein weiterer Vorteil gegenüber realen Lichtschranken besteht bei virtuellen Lichtschranken darin, dass diese in beliebiger Weise reale Lichtvorhänge oder Lichtbereiche ersetzen können. Die virtuellen Lichtschranken können im Prinzip in jeder null, ein- oder zweidimensionalen Form definiert werden, beispielsweise als gerade oder gekrümmte Linie, Kreis oder Ellipse, Rechteck oder in jeder sonstigen Form. In einer Ausführung in der nulldimensionalen Form ist der Ü- berwachungsbereich punktförmig; dies entspricht der klassischen realen Lichtschranke mit nur einem Lichtstrahl. In einer Ausführung in der eindimensionalen Form ist der Überwachungsbereich linienförmig, z.B. als Geradenabschnitt oder als Umfangslinie eines zweidimensionalen Fläche, die eine regelmäßige Gramm, Lins & Partner A virtual light barrier is determined to associate a zero, one, or two dimensional surveillance area in the captured pixel information, monitor the surveillance area, and generate a virtual light barrier activity signal. The use of such virtual light barriers has the advantage over the use of real light barriers that eliminates the installation of separate light barriers. It is only an installation of a camera or possibly several cameras necessary. It also eliminates the extensive cable installation that is required for real light barriers with a light transmitter and a light receiver. Advantageously, in principle any number of virtual light barriers can be defined, without additional real installation costs incurred. Also possible is a dynamic variation of the number of virtual light barriers, eg depending on the utilization of the hardware used and the monitoring situation. Another advantage over real photoelectric barriers in the case of virtual light barriers is that they can replace real light curtains or light areas in any way. The virtual light barriers can be defined in principle in any zero, one or two-dimensional form, for example as a straight or curved line, circle or ellipse, rectangle or in any other form. In an embodiment in the zero-dimensional form, the surveillance area is punctiform; this corresponds to the classic real light barrier with only one light beam. In one embodiment in the one-dimensional shape, the surveillance area is linear, eg as a straight line section or as a perimeter of a two-dimensional area that is a regular one Grams, Lins & Partners

Patent- und Rechtsanwaltssozietat GbR  Patent and law firm GbR

Form (z.B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann; in der Ausführung als Geradenabschnitt entspricht dies der einem realen Lichtvorhang mit einer Mehrzahl von Lichtstrahlen. In einer Ausführung in der zweidimensionalen Form ist der Überwachungsbereich flächig, z.B. als Fläche einer zweidimensionalen Fläche, die eine regelmäßige Form (z.B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann. Das Konzept der virtuellen Lichtschranken erlaubt daher eine große Flexibilität bei der Überwachung von Objekten. Gegenüber vorbekannten Bildverarbeitungsverfahren, die für die Aktivitätenerkennung verwendet werden, hat die Erfindung den Vorteil, dass die Datenverarbeitung nur wenig Aufwand erfordert. Insbesondere müssen keine komplexen Modelle gespeichert und verarbeitet werden. Die komplexe Bildinformation kann auf eine binäre Information komprimiert werden, die den Zustand der je- weiligen virtuellen Lichtschranken angibt. Dies hat gegenüber der konventionellen Bildverarbeitung den weiteren Vorteil, dass der Datenschutz verbessert wird, da als Ausgangsgröße nur eine binäre Ein-/Aus-lnformation der Lichtschranke ausgegeben werden muss und nicht das gesamte aufgenommene Bild. Insbesondere wird der Zugriff auf empfindliche Bildinformationen vermie- den und der Schutz der Privatsphäre von Personen verbessert. May have shape (e.g., circle, ellipse, rectangle) or irregular shape; in the embodiment as a straight line section this corresponds to a real light curtain with a plurality of light beams. In one embodiment in the two-dimensional form, the surveillance area is planar, e.g. as a surface of a two-dimensional surface which may have a regular shape (e.g., circle, ellipse, rectangle) or irregular shape. The concept of virtual light barriers therefore allows great flexibility in the monitoring of objects. Compared to previously known image processing methods that are used for activity detection, the invention has the advantage that the data processing requires little effort. In particular, no complex models need to be stored and processed. The complex image information can be compressed to a binary information that indicates the state of the respective virtual light barriers. This has the further advantage over conventional image processing that the data protection is improved because only a binary on / off information of the light barrier has to be output as the output variable and not the entire recorded image. In particular, it avoids access to sensitive image information and improves the privacy of individuals.

Da keine Modellinformationen gemäß der konventionellen Bildverarbeitung erforderlich sind, müssen solche Informationen auch nicht an Veränderungen, wie z.B. veränderte Beleuchtungsbedingungen, angepasst werden. Dadurch ist die Erfindung sehr robust gegenüber Beleuchtungsänderungen und sonstigen Änderungen des überwachten Bereichs. Since no model information is required according to conventional image processing, such information need not be subject to changes such as e.g. changed lighting conditions, to be adjusted. As a result, the invention is very robust against changes in illumination and other changes in the monitored area.

Die Erfindung eignet sich vorteilhaft für den kommerziellen Einsatz und die Verwendung in Privatwohnungen oder Wohnheimen. Die Aktivitätenerkennung kann in vielen Bereichen eingesetzt werden, wie Sicherheitskontrolle, Überwachung, Zugangskontrollen oder zur Steuerung von Unterhaltungselektronik. Ein Gramm, Lins & Partner The invention is advantageously suitable for commercial use and for use in private homes or dormitories. The activity detection can be used in many areas, such as security control, surveillance, access control or to control consumer electronics. One Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR besonders vorteilhafter Anwendungsbereich der Erfindung liegt auf dem Gebiet von Hausnotrufsystemen, die mittels der Erfindung dahingehend verbessert werden können, dass ein automatischer Notruf bei Erkennung von Aktivitäten ausgelöst wird, die nicht dem normalen Aktivitätsmuster entsprechen. Bei- spielsweise kann die erfindungsgemäße Aktivitätenerkennung verwendet werden, um Gefahrensituationen oder Anomalien zu erkennen, wie z.B. einen Sturz einer Person.  Patent and Attorney's Office GbR particularly advantageous scope of the invention is in the field of home emergency call systems, which can be improved by means of the invention in that an automatic emergency call is triggered upon detection of activities that do not correspond to the normal activity pattern. For example, the activity recognition according to the invention can be used to detect dangerous situations or anomalies, such as e.g. a fall of a person.

Gemäß der Erfindung wird die von der Kamera erfasste Bildinformation in zwei Schritten verdichtet, nämlich zunächst mittels der virtuellen Lichtschranken auf die den Lichtschranken zugeordneten ein- oder zweidimensionalen Überwachungsbereiche. Hierdurch muss nicht die gesamte Bildinformation jedes Bildes ausgewertet werden, sondern nur die definierten Überwachungsbereiche. In einem zweiten Schritt erfolgt eine Verdichtung der Bildinformation der Über- wachungsbereiche auf ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke. Das Aktivitätssignal kann ein binäres Ein-/Aus-Signal sein oder ein Zahlenwert, z.B. eine ganze Zahl. Für die Erkennung einer Aktivität wird erfindungsgemäß die zeitliche Abfolge der Mehrzahl der Aktivitätssignale ausgewertet. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist eine virtuelle Lichtschranke folgende Merkmale auf: According to the invention, the image information captured by the camera is compressed in two steps, namely first by means of the virtual light barriers on the one or two-dimensional monitoring areas associated with the light barriers. As a result, not all the image information of each image needs to be evaluated, but only the defined monitoring areas. In a second step, the image information of the monitoring areas is compressed to a respective activity signal of the virtual light barrier. The activity signal may be a binary on / off signal or a numerical value, e.g. an integer. For the detection of an activity, the temporal sequence of the plurality of activity signals is evaluated according to the invention. According to an advantageous development of the invention, a virtual light barrier has the following features:

a) Überwachen der Bildpunkte des Überwachungsbereichs auf Veränderungen, die eine vorbestimmte Überwachungsschwelle überschreiten, b) Erzeugen eines Ansprechsignals als Aktivitätssignal, wenn die vorge- gebene Überwachungsschwelle überschritten ist.  a) monitoring the pixels of the monitoring area to changes that exceed a predetermined monitoring threshold, b) generating a response signal as an activity signal when the predetermined monitoring threshold is exceeded.

Dies erlaubt vorteilhaft eine Erzeugung eines binären Aktivitätssignals mit wenig Rechenaufwand. So kann das Ansprechsignal beispielsweise die Zustände „Lichtschranke unterbrochen" oder„Lichtschranke nicht unterbrochen" anzeigen. Gramm, Lins & Partner This advantageously allows a generation of a binary activity signal with little computational effort. For example, the response signal can indicate the statuses "Photocell interrupted" or "Photocell not interrupted". Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Gemäß einer vorteilhaften Weiterbildung der Erfindung erfolgt die Überwachung der Bildpunkte des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke bildpunktweise durch zeitliche Ableitung oder Differenzbildung aufeinanderfolgender Bilder. Die für die zeitliche Ableitung oder Differenzbil- dung herangezogenen aufeinanderfolgenden Bilder können direkt aufeinanderfolgende Bilder oder Bilder mit einem gewissen zeitlichen Abstand voneinander sein. Dies erlaubt vorteilhaft eine Anpassung an die jeweilige Überwachungssituation. Insbesondere bei langsamen Vorgängen oder selten auftretenden Änderungen sind größere Abstände zwischen den ausgewerteten Bildern vorteil- haft. Es ist ebenfalls vorteilhaft, die Überwachung bildpunktweise vorzunehmen, da dies ebenfalls einfache Rechenschritte erlaubt. Im einfachsten Fall kann eine Differenzbildung zwischen einem Bildpunkt eines aufgenommenen Bildes und demselben Bildpunkt eines vorangegangenen Bildes durchgeführt werden. According to an advantageous embodiment of the invention, the monitoring of the pixels of the monitoring area of at least one virtual light barrier is done pixel by pixel by time derivative or subtraction of successive images. The successive images used for the time derivation or difference formation can be directly successive images or images with a certain time interval from one another. This advantageously allows adaptation to the respective monitoring situation. Especially with slow processes or rarely occurring changes, larger distances between the evaluated images are advantageous. It is also advantageous to perform the monitoring pixel by pixel, since this also allows simple calculation steps. In the simplest case, a difference between a pixel of a captured image and the same pixel of a previous image can be performed.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird ein Überwachungswert aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder daraus ermittelten Daten, wie z.B. der zuvor erwähnten zeitlichen Ableitung oder bildpunktweisen Differenz, bestimmt. Gemäß einer vorteilhaften Weiterbildung kann der Überwachungswert als räumliches Integral oder Summe aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder den daraus ermittelten Daten bestimmt werden. Dies erlaubt wiederum einfache, schnell auszuführende Rechenschritte. Im einfachsten Fall kann als Überwachungswert die Summe der bildpunktweise gebildeten Differenzwerte aufeinanderfolgender Bilder bestimmt werden. Gemäß einer vorteilhaften Weiterbildung der Erfindung kann das Aktivitätssignal wenigstens einer virtuellen Lichtschranke der erwähnte Überwachungswert sein oder aus dem Überwachungswert bestimmt werden, z.B. durch weitere Umrechnung. Gramm, Lins & Partner According to an advantageous development of the invention, a monitoring value is determined from all pixels of the monitoring area of at least one virtual light barrier or data determined therefrom, such as the aforementioned time derivative or pixel-by-pixel difference. According to an advantageous development, the monitoring value can be determined as a spatial integral or sum of all pixels of the monitoring area of at least one virtual light barrier or the data determined therefrom. This, in turn, allows simple, quickly executed computation steps. In the simplest case, the sum of the pixel-by-pixel difference values of successive images can be determined as the monitoring value. According to an advantageous development of the invention, the activity signal of at least one virtual light barrier may be the mentioned monitoring value or determined from the monitoring value, eg by further conversion. Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Gemäß einer vorteilhaften Weiterbildung der Erfindung werden die Bildpunkte des Überwachungsbereichs auf Veränderungen des Grauwerts, des Farbtons, der Sättigung und/oder der Helligkeit überwacht. Durch geeignete Kombinationen der Überwachungskriterien kann vorteilhaft eine geeignete Anpassung an die Überwachungssituation, wie z.B. sich ändernde Lichtverhältnisse oder Farbverhältnisse, erreicht werden. According to an advantageous embodiment of the invention, the pixels of the monitoring area are monitored for changes in the gray value, hue, saturation and / or brightness. By suitable combinations of the monitoring criteria, advantageously a suitable adaptation to the monitoring situation, such as e.g. changing light conditions or color ratios can be achieved.

Der Überwachungsbereich einer virtuellen Lichtschranke kann grundsätzlich jede ein- oder zweidimensionale Form in der erfassten Bildpunktinformation haben. Als eindimensionale Form wird z.B. eine Linieform oder ein Punkt verstanden. Als zweidimensionale Form wird z.B. eine flächige Form verstanden. Denkbar ist z.B. eine Festlegung als rechteckiger oder kreisrunder Überwachungsbereich. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist der Überwachungsbereich als Geradenabschnitt ausgebildet. Hierdurch können vorteilhaft sogenannte Lichtvorhänge virtuell nachgebildet werden. Die Ausbildung als Geradenabschnitt hat den Vorteil, dass die Anzahl der auszuwertenden Bildpunkte begrenzt wird, und damit die Verarbeitungsgeschwindigkeit für die Aktivitätenerkennung verbessert wird. The monitoring area of a virtual light barrier can basically have any one- or two-dimensional shape in the acquired pixel information. As a one-dimensional form, e.g. a line shape or a point understood. As a two-dimensional shape, e.g. understood a flat shape. It is conceivable, e.g. a determination as a rectangular or circular surveillance area. According to an advantageous embodiment of the invention, the monitoring area is designed as a straight line section. As a result, so-called light curtains can be virtually simulated virtually. The formation as a straight line section has the advantage that the number of pixels to be evaluated is limited, and thus the processing speed for the activity recognition is improved.

Gemäß einer vorteilhaften Weiterbildung der Erfindung kann der Überwachungsbereich mit Hilfe eines Grafikprogramms in ein erfasstes Bild der Kamera eingezeichnet werden. Zur Definition eines Überwachungsbereichs kann somit ein Bild unter neutralen Bedingungen, z.B. ohne Vorhandensein von Personen in einem zu überwachenden Raum, aufgezeichnet werden. Dieses Bild wird in das Grafikprogramm eines Computers geladen, z.B. Paint Shop. Mittels eines Eingabeelements, z.B. einer Computermaus oder eines Grafiktabletts, werden in das Bild ein oder mehrere Überwachungsbereiche eingezeichnet. Das Bild wird sodann gespeichert und über eine Konvertierungssoftware verarbeitet. Die Konvertierungssoftware generiert aus dem bearbeiteten Bild eine Bildmaskeninformation, die den Informationen über die definierten Überwachungsbereiche beinhaltet. Für die optische Aktivitätenerkennung wird diese Gramm, Lins & Partner According to an advantageous development of the invention, the monitoring area can be drawn into a captured image of the camera with the aid of a graphics program. In order to define a monitoring area, an image can thus be recorded under neutral conditions, eg without the presence of persons in a room to be monitored. This image is loaded into the graphics program of a computer, eg Paint Shop. By means of an input element, for example a computer mouse or a graphics tablet, one or more monitoring areas are drawn into the image. The image is then saved and processed via a conversion software. The conversion software generates image mask information from the edited image that contains the information about the defined monitoring areas. For the optical activity recognition this is Grams, Lins & Partners

Patent- und Rechtsanwaltssozietat GbR  Patent and law firm GbR

Bildmaskeninformation dann verwendet, um die Bildpunktinformationen der virtuellen Lichtschranken zu extrahieren und zu verarbeiten. Diese Vorgehensweise erlaubt eine wenig Zeitaufwand ige einfache Realisierung virtueller Lichtschranken in einem zu überwachenden Bereich. Auch ist eine spätere Erweite- rung oder Reduzierung der Anzahl definierter virtueller Lichtschranken auf einfache Weise möglich. Image mask information is then used to extract and process the pixel information of the virtual light barriers. This approach allows a little time consuming simple realization of virtual light barriers in a monitored area. A later extension or reduction of the number of defined virtual light barriers is also possible in a simple manner.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass zur Erkennung einer Aktivität eines in dem erfassten Bereich befindlichen Ob- jekts ein wenigstens zweiphasiges stochastisches Modell verwendet wird, wobei als erste Phase eine Lernphase vorgesehen ist, in der das Modell anhand definierter Aktivitäten trainiert wird, wobei automatisch Modellparameter bestimmt werden, und als zweite Phase eine Klassifikationsphase vorgesehen ist, in der aufgrund der trainierten Modellparameter und aktueller Bilder der Kame- ra Aktivitäten eines in dem erfassten Bereich befindlichen Objekts erkannt und unterschieden werden. Diese Vorgehensweise erlaubt eine einfache und auf den jeweiligen Einsatzfall zugeschnittene Adaption eines Überwachungssystems für eine bestimmte Umgebung. Gemäß Anspruch 11 ist ferner eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung beschrieben. Die Einrichtung zur optischen Aktivitätenerkennung weist eine Verarbeitungseinheit auf, die sich vorteilhaft zur Ausführung der zuvor genannten vorteilhaften Ausgestaltungen der Erfindung eignet. Die Verarbeitungseinheit kann beispielsweise als Computer, vorzugsweise als Mehrprozessor-Computer, ausgebildet sein. According to an advantageous development of the invention, it is provided that an at least two-phase stochastic model is used to detect an activity of an object located in the detected area, wherein as the first phase a learning phase is provided in which the model is trained on the basis of defined activities, wherein automatically model parameters are determined, and as the second phase a classification phase is provided in which, based on the trained model parameters and current images of the camera, activities of an object located in the detected area are detected and distinguished. This approach allows a simple and tailored to the particular application adaptation of a monitoring system for a particular environment. According to claim 11, an advantageous device for optical activity detection is also described. The device for optical activity recognition has a processing unit which is advantageously suitable for carrying out the aforementioned advantageous embodiments of the invention. The processing unit can be designed, for example, as a computer, preferably as a multiprocessor computer.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert. e The invention will be explained in more detail by means of embodiments using drawings. e

Gramm, Lins & Partner  Grams, Lins & Partners

Patent- und Rechtsanwaltssozietat GbR  Patent and law firm GbR

Es zeigen Show it

Figur 1 eine Einrichtung zur optischen Aktivitätenerkennung und 1 shows a device for optical activity detection and

Figur 2 erfasste Bildpunktinformation und Figure 2 detected pixel information and

Figur 3 ein Zeitdiagramm der Aktivitätssignale virtueller Lichtschranken. FIG. 3 shows a time diagram of the activity signals of virtual light barriers.

In den Figuren werden gleiche Bezugszeichen für einander entsprechende E- lemente verwendet. In the figures, like reference numerals are used for corresponding elements.

Die Aktivitätenerkennung gemäß der Erfindung basiert auf virtuellen Lichtschranken. Diese haben eine vergleichbare Funktion wie reale Lichtschranken, z.B. in Form von Lichtgittern oder Lichtvorhängen. Reale Lichtschranken er- kennen, ob ein bestimmter Bereich von einem Objekt unterbrochen wird oder nicht. In vergleichbarer Weise arbeiten die erfindungsgemäßen virtuellen Lichtschranken. The activity detection according to the invention is based on virtual light barriers. These have a similar function as real photocells, e.g. in the form of light curtains or light curtains. Real photoelectric sensors detect whether a certain area is being interrupted by an object or not. The virtual light barriers according to the invention work in a comparable manner.

Die Figur 1 zeigt als zu überwachenden Bereich einen Raum 20, in dem sich ein Objekt 5, z.B. eine Person, befindet. An der Decke des Raumes 20 ist eine Kamera 10 angeordnet. Die Kamera 10 kann beispielsweise als übliche digitale Kamera mit einem CCD-Sensor ausgebildet sein. Die Kamera 10 ist über eine Leitung mit einer Verarbeitungseinheit 6, z.B. einem Computer, verbunden. Die Kamera 10 kann auch drahtlos mit der Verarbeitungseinheit 6 verbunden sein. An die Verarbeitungseinheit 6 sind als Signaleinheiten eine Mobilfunksendeein- richtung 7 und eine Warnlampe 8 angeschlossen. Die Signaleinheiten 7, 8 dienen zur Ausgabe einer Information über die von der erfindungsgemäßen Einrichtung erkannte Aktivität, z.B. in Form eines Warnsignals. Die Figur 1 zeigt ferner beispielhaft zwei virtuelle Lichtschranken 30, 40, die analog zu jeweils einem realen Lichtvorhang ausgebildet sind. Die virtuellen Gramm, Lins & Partner FIG. 1 shows, as the area to be monitored, a room 20 in which an object 5, for example a person, is located. At the ceiling of the room 20, a camera 10 is arranged. The camera 10 may be formed, for example, as a conventional digital camera with a CCD sensor. The camera 10 is connected via a line to a processing unit 6, for example a computer. The camera 10 may also be wirelessly connected to the processing unit 6. To the processing unit 6 as signal units a Mobilfunksendeein- device 7 and a warning lamp 8 are connected. The signal units 7, 8 serve to output information about the activity detected by the device according to the invention, for example in the form of a warning signal. FIG. 1 also shows, by way of example, two virtual light barriers 30, 40, which are designed analogously to a respective real light curtain. The virtual Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Lichtschranken 30, 40 entsprechen im dreidimensionalen Raum einer jeweiligen Ebene, die zwischen zwei von der Kamera 10 ausgehenden Strahlen aufgespannt wird. In der von der Kamera 10 erzeugten zweidimensionalen Bildinformation des Raumes 20 entsprechen die Lichtvorhänge der virtuellen Licht- schranken 30, 40 einem jeweiligen Geradenabschnitt, der einem Überwachungsbereich der jeweiligen virtuellen Lichtschranke 30, 40 entspricht und aufgrund der Ausbildung als Linie nachfolgend als Überwachungslinie 3 bzw. 4 bezeichnet werden soll, was nachfolgend anhand der Figur 2 noch näher erläutert wird. In der Figur 1 ist beispielhaft dargestellt, dass die virtuelle Licht- schranke 30 von der Person 5 zumindest an bestimmten Stellen unterbrochen ist. Die virtuelle Lichtschranke 40 erkennt keine solche Unterbrechung, weder durch die Person 5 noch durch den von der Person 5 in Richtung der Überwachungslinie 4 geworfenen Schatten. Zur Unterscheidung, ob eine virtuelle Lichtschranke als unterbrochen anzusehen ist oder nicht, kann z.B. der Farb- wertverlauf oder die Farbwertveränderungen entlang der Überwachungslinie 3 bzw. 4 ausgewertet werden. Die Auswertekriterien werden derart eingestellt, dass die Person 5 eine Unterbrechung auslösen kann, nicht jedoch der von der Person 5 geworfene Schatten. Die Figur 2 zeigt ein Bild 9 der Kamera 10. Erkennbar ist die Person 5 in Draufsicht. Weiterhin sind gemäß Figur 2 im Vergleich zur Figur 1 zwei zusätzliche virtuelle Lichtschranken definiert, d.h. insgesamt sind vier virtuelle Lichtschranken definiert. Die virtuellen Lichtschranken weisen Überwachungsbereiche 1 , 2, 3, 4 in Form von Überwachungslinien auf, die durch Geradenstücke in dem Bild 9 markiert sind. Im Beispiel gemäß Figur 2 hat die zur Überwachungslinie 3 gehörende virtuelle Lichtschranke eine Unterbrechung erkannt. Photocells 30, 40 correspond in three-dimensional space to a respective plane which is spanned between two beams emanating from the camera 10. In the two-dimensional image information of the room 20 generated by the camera 10, the light curtains of the virtual light barriers 30, 40 correspond to a respective straight line section which corresponds to a monitoring area of the respective virtual light barrier 30, 40 and, due to the training as a line, subsequently as a monitoring line 3 or 4 is to be designated, which will be explained in more detail below with reference to FIG 2. FIG. 1 shows by way of example that the virtual light barrier 30 is interrupted by the person 5 at least at certain points. The virtual light barrier 40 detects no such interruption, neither by the person 5 nor by the shadow thrown by the person 5 in the direction of the surveillance line 4. To distinguish whether or not a virtual light barrier is to be considered as discontinuous, e.g. the color value curve or the color value changes along the monitoring line 3 or 4 are evaluated. The evaluation criteria are set such that the person 5 can trigger an interruption, but not the shadow thrown by the person 5. FIG. 2 shows an image 9 of the camera 10. The person 5 is recognizable in plan view. Furthermore, according to FIG. 2, two additional virtual light barriers are defined in comparison to FIG. In total, four virtual light barriers are defined. The virtual light barriers have monitoring areas 1, 2, 3, 4 in the form of monitoring lines, which are marked by straight lines in the image 9. In the example according to FIG. 2, the virtual light barrier belonging to the monitoring line 3 has detected an interruption.

Die Figur 3 zeigt als Zeitdiagramm eine beispielhafte zeitliche Sequenz des Ansprechens der in der Figur 2 dargestellten vier virtuellen Lichtschranken. Ei- ner ersten virtuellen Lichtschranke ist dabei die Überwachungslinie 1 gemäß Figur 2 und ein Aktivitätssignal A1 gemäß Figur 3 zugeordnet. Analog dazu ist Gramm, Lins & Partner FIG. 3 shows, as a time diagram, an exemplary time sequence of the response of the four virtual light barriers shown in FIG. A first virtual light barrier is assigned the monitoring line 1 according to FIG. 2 and an activity signal A1 according to FIG. Analogous is Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR einer zweiten virtuellen Lichtschranke die Überwachungslinie 2 und das Aktivitätssignal A2 zugeordnet. Einer dritten virtuellen Lichtschranke ist die Überwachungslinie 3 und das Aktivitätssignal A3 zugeordnet. Schließlich ist einer vierten virtuellen Lichtschranke die Überwachungslinie 4 und das Aktivitätssignal A4 zugeordnet.  Patent and Rechtsanwaltssozietät GbR a second virtual photoelectric sensor associated with the monitoring line 2 and the activity signal A2. A third virtual light barrier is assigned the monitoring line 3 and the activity signal A3. Finally, a fourth virtual light barrier associated with the monitoring line 4 and the activity signal A4.

Die Aktivitätssignale A1 , A2, A3, A4 können, wie in der Figur 3 ersichtlich ist, die binären Zustände 0 und 1 annehmen. Der Zustand 0 entspricht dabei einer nicht unterbrochenen Lichtschranke, d.h. es befindet sich kein Objekt in dem entsprechenden Überwachungslinie. Der Zustand 1 entspricht einer unterbrochenen Lichtschranke, entsprechend einem in der Überwachungslinie befindlichen Objekt. Für jede definierte virtuelle Lichtschranke wird in der Verarbeitungseinheit 6 eine Reihe von Rechenschritten durchgeführt, in denen die Bildpunkte der jeweiligen Überwachungslinie ausgewertet werden und daraus ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke bestimmt wird. Die Schritte können beispielsweise wie folgt ablaufen: As can be seen in FIG. 3, the activity signals A1, A2, A3, A4 can assume the binary states 0 and 1. The state 0 corresponds to an uninterrupted light barrier, i. there is no object in the corresponding monitoring line. State 1 corresponds to an interrupted light barrier, corresponding to an object located in the monitoring line. For each defined virtual light barrier, a series of computing steps is carried out in the processing unit 6 in which the pixels of the respective monitoring line are evaluated and from this a respective activity signal of the virtual light barrier is determined. For example, the steps may be as follows:

Es sei angenommen, dass ein Überwachungsbereich n Bildpunkte aufweist, die die Menge V = {*,,...,*„} bilden. Assume that a monitoring area has n pixels forming the set V = {*, ..., * "}.

Aus der von der Kamera gelieferten Folge von Bildern wird ein erstes und ein zweites Bild, z.B. zu dem Zeitpunkt t und zu dem Zeitpunkt t-1 , ausgewertet. Die ausgewerteten Bilder müssen nicht unbedingt direkt aufeinanderfolgende, von der Kamera gesendete Bilder sein, sondern können auch mit einer geringe- ren Frequenz ausgewertet werden. Aus den Bildpunkten des Überwachungsbereichs wird bildpunktweise, d.h. wechselweise, die zeitliche Ableitung gebildet, z.B. durch Differenzbildung gemäß der Gleichung d(x,) = fM - f,-i(x,) für alle x, e V , wobei die Funktion f,(x) den Grau- bzw. Farbwert des Bildes zum Zeitpunkt t im Bildpunkt x repräsentiert. j From the sequence of images delivered by the camera, a first and a second image, eg at the time t and at the time t-1, are evaluated. The evaluated images do not necessarily have to be directly successive images sent by the camera, but can also be evaluated at a lower frequency. From the pixels of the monitoring area, the time derivative is formed pixel by pixel, ie, by differentiation according to the equation d (x,) = f M -f, -i (x,) for all x, e V, where the function f, (x) represents the gray or color value of the image at the time t in the pixel x. j

Gramm, Lins & Partner  Grams, Lins & Partners

Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR

Die Bildinformationsgröße, die als Funktion f,(x) verwendet wird, kann auch eine andere, von der Kamera gelieferte Information sein, wie z.B. die Sättigung oder die Helligkeit. Auch eine Kombination dieser Bildinformationsgrößen kann vorteilhaft verwendet werden. The image information size used as a function f, (x) may also be another information provided by the camera, such as e.g. the saturation or the brightness. A combination of these image information quantities can also be used to advantage.

In einem weiteren Schritt wird ein Aktivitätsgrad a des Überwachungsbereichs durch räumliche Integration über den Überwachungsbereich gebildet. Die räumliche Integration kann vorteilhaft durch Summierung der zuvor gebildeten Differenzen bestimmt werden, z.B. nach der Gleichung In a further step, an activity level a of the surveillance area is formed by spatial integration over the surveillance area. The spatial integration can be advantageously determined by summing the previously formed differences, e.g. according to the equation

Als Aktivitätssignal der jeweiligen virtuellen Lichtschranke kann beispielsweise der ermittelte Aktivitätsgrad a verwendet werden. Es ist auch vorteilhaft, die durch den Aktivitätsgrad a ermittelte Information noch weiter zu verdichten. Hierfür kann ein weiterer Schritt vorgesehen sein, bei dem der ermittelte Aktivitätsgrad a mit einer vorbestimmten Überwachungsschwelle τ verglichen wird. Überschreitet der Aktivitätsgrad a den Schwellwert τ, wird auf Unterbrechung der virtuellen Lichtschranke erkannt und das binäre Aktivitätssignal A1 , A2, A3, A4 auf den Wert 1 gesetzt. Andernfalls ist das Aktivitätssignal A1 , A2, A3, A4 auf dem Wert 0. Die Überwachungsschwelle τ kann z.B. fest von einem Benutzer vorgegeben werden. Alternativ kann die Überwachungsschwelle dynamisch mit einer statistischen Analyse automatisch bestimmt werden. For example, the determined activity level a can be used as the activity signal of the respective virtual light barrier. It is also advantageous to further compress the information determined by the degree of activity a. For this purpose, a further step may be provided in which the determined activity level a is compared with a predetermined monitoring threshold τ. If the degree of activity a exceeds the threshold value τ, the virtual light barrier is detected and the binary activity signal A1, A2, A3, A4 is set to the value 1. Otherwise, the activity signal A1, A2, A3, A4 is at the value 0. The monitoring threshold τ may be e.g. fixed by a user. Alternatively, the monitoring threshold can be determined automatically dynamically with a statistical analysis.

In Figur 3 ist ferner erkennbar, dass die virtuellen Lichtschranken in einer bestimmten Abfolge nacheinander Unterbrechungen anzeigen. In einer ersten zeitlichen Phase T1 zeigen die virtuellen Lichtschranken Unterbrechungen in der Reihenfolge A1 -A3-A4 an. Die Verarbeitungseinheit erkennt hieraus eine Aktivität einer Person 5, und zwar das Betreten des überwachten Raumes 20 Gramm, Lins & Partner It can also be seen in FIG. 3 that the virtual light barriers indicate interruptions in a specific sequence one after the other. In a first temporal phase T1, the virtual light barriers indicate interruptions in the sequence A1 -A3-A4. From this, the processing unit recognizes an activity of a person 5, namely entering the monitored space 20 Grams, Lins & Partners

Patent- und Rechtsanwaltssozietat GbR durch die Person 5. Die Erkennung der Aktivität erfolgt durch Vergleich mit Modellparametern, die zuvor ermittelt wurden, wie nachfolgend noch näher erläutert wird. Gemäß Figur 3 folgt auf die Phase T1 eine Phase T2 ohne Aktivität. In einer darauf folgenden Phase T3 zeigen die Aktivitätssignale A2 und A4 entsprechende Aktivität in den Überwachungsbereichen 2 und 4 an. Darauf folgt wiederum eine Phase T4 ohne Aktivität. Schließlich wird in einer Phase T5 eine weitere Aktivität anhand der Abfolge der Unterbrechungen in der Reihenfolge A2-A3-A1 erkannt, und zwar das Verlassen des Raums 20 durch die Person 5.  The patent and Rechtsanwaltssozietat GbR by the person 5. The recognition of the activity is carried out by comparison with model parameters, which were previously determined, as will be explained in more detail below. According to FIG. 3, the phase T1 is followed by a phase T2 without activity. In a subsequent phase T3, the activity signals A2 and A4 indicate corresponding activity in the monitoring areas 2 and 4. This is followed by a phase T4 without activity. Finally, in a phase T5, another activity is detected based on the sequence of interrupts in the sequence A2-A3-A1, namely the exiting of the room 20 by the person 5.

Für die Aktivitätenerkennung stellen die Aktivitätssignale der virtuellen Lichtschranken diskrete Sensorinformationen dar, die genutzt werden, um die Aktivität eines Objekts zu bestimmen und des Weiteren zu erkennen, ob die Sensor- Informationen ein normales oder anormales Verhalten darstellt. For activity detection, the virtual light barrier activity signals represent discrete sensor information that is used to determine the activity of an object and to further determine whether the sensor information is normal or abnormal.

Die erfindungsgemäße Einrichtung zur optischen Aktivitätenerkennung wird vorteilhaft in wenigstens zwei Phasen betrieben. In einer ersten Phase, einer Lernphase, wird ein Modell trainiert. Im Rahmen des Trainings erfolgt ein au- tomatisches Bestimmen von Modellparametern, die das Verhalten und die Aktivitäten während der Lernphase beschreiben. Während der Lernphase wird davon ausgegangen, dass das Objekt typische, normale Bewegungen durchführt. Je nach Szenario kann die Lernphase eine Dauer von mehreren Stunden bis hin zu einigen Wochen haben. In einer zweiten Phase, der Klassifikationspha- se, wird das trainierte Modell verwendet, um die Sensorinformationen mit dem Modell zu vergleichen. Dieser Vergleich ermöglicht Rückschlüsse auf Aktivitäten, die bereits in der Lernphase zu beobachten waren. Zusätzlich sind Rückschlüsse darauf möglich, wie weit die beobachteten Sensorinformationen dem der Lernphase zugrunde gelegten normalen Verhalten entsprechen bzw. davon abweichen. Für die Beurteilung der Sensorinformationen im Vergleich zu den Modellparametern kann vorteilhaft ein statistisches Modell verwendet werden, mit dem die Aktivitätenerkennung durchgeführt werden kann. Gramm, Lins & Partner The optical activity detection device according to the invention is advantageously operated in at least two phases. In a first phase, a learning phase, a model is trained. During the training an automatic determination of model parameters describing the behavior and the activities during the learning phase takes place. During the learning phase it is assumed that the object performs typical, normal movements. Depending on the scenario, the learning phase can last from several hours to a few weeks. In a second phase, the classification phase, the trained model is used to compare the sensor information with the model. This comparison allows conclusions to be drawn on activities that were already observable in the learning phase. In addition, conclusions can be drawn as to how far the observed sensor information corresponds to or deviates from the normal behavior underlying the learning phase. For the evaluation of the sensor information compared to the model parameters, a statistical model can advantageously be used with which the activity recognition can be carried out. Grams, Lins & Partners

Patent- und Rechtsanwaltssozietat GbR  Patent and law firm GbR

Als statistisches Modell zur Aktivitätenerkennung kann beispielsweise ein Hid- den Markov Model (HMM) verwendet werden. Ein HMM ist ein stochastisches Modell, das aus einer Markov-Kette besteht. Diese ist durch Zustände und Ü- bergangswahrscheinlichkeiten gekennzeichnet, wobei die Zustände der Kette von außen nicht direkt sichtbar sind. Ein zweiter Zufallsprozess erzeugt beobachtbare Ausgangssymbole, die entsprechend einer zustandsabhängigen Wahrscheinlichkeitsverteilung verteilt sind. In der Anwendung für die Aktivitätenerkennung entsprechen die beobachtbaren Ausgangssymbole den Sensor- Informationen der virtuellen Lichtschranken, die dem HMM als Eingangsgrößen zugeführt werden. Die versteckten Zustände entsprechen den zu erkennenden Aktivitäten, die als Ausgangsgröße gewonnen werden. For example, a Hiddle Markov Model (HMM) can be used as the statistical model for activity recognition. An HMM is a stochastic model consisting of a Markov chain. This is characterized by states and transition probabilities, where the states of the chain are not directly visible from the outside. A second random process generates observable output symbols distributed according to a state-dependent probability distribution. In the activity detection application, the observable output symbols correspond to the sensor information of the virtual light barriers, which are fed to the HMM as input variables. The hidden states correspond to the activities to be recognized, which are obtained as the starting point.

Zum Trainieren des Modells in der Lernphase kann der Baum-Welch- Algorithmus verwendet werden. Die Wahrscheinlichkeit, dass die beobachteten Sensorinformationen von dem erlernten Modell generiert werden, kann mit dem Forward-Backward-Algorithmus bestimmt werden. To train the model in the learning phase, the Baum-Welch algorithm can be used. The probability that the observed sensor information is generated by the learned model can be determined using the forward-backward algorithm.

Claims

Gramm, Lins & Partner Patent- und Rechtsanwaltssozietät GbR Patentansprüche: Gramm, Lins & Partner Patent and Law Firm GbR Claims: 1. Verfahren zur optischen Aktivitätenerkennung mit einer Mehrzahl virtueller Lichtschranken (30, 40) mit folgenden Merkmalen: 1. A method for optical activity detection with a plurality of virtual light barriers (30, 40) having the following features: a) Erfassen von Bildern (9) eines zu überwachenden Bereichs (20) mittels einer Kamera (10), wobei die Bilder (9) jeweils den erfassten Bereich (20) als zweidimensionale Bildpunkt-Information repräsentieren, b) Festlegen einer Mehrzahl virtueller Lichtschranken (30, 40) in der erfassten Bildpunkt-Information, wobei für jede virtuelle Lichtschranke (30, 40) die Bildpunkte eines der Lichtschranke zugeordneten Überwachungsbereichs (1 , 2, 3, 4) in der erfassten Bildpunkt-Information überwacht wird und hieraus ein Aktivitätssignal (A1 , A2, A3, A4) der virtuellen Lichtschranke (30, 40) erzeugt wird,  a) detecting images (9) of a region (20) to be monitored by means of a camera (10), the images (9) each representing the detected region (20) as two-dimensional pixel information, b) defining a plurality of virtual light barriers ( 30, 40) in the captured pixel information, wherein for each virtual light barrier (30, 40) the pixels of a light barrier associated monitoring area (1, 2, 3, 4) is monitored in the detected pixel information and from this an activity signal ( A1, A2, A3, A4) of the virtual light barrier (30, 40) is generated, c) Überwachen der Mehrzahl der Aktivitätssignale (A1 , A2, A3, A4), d) Erkennen einer Aktivität eines in dem erfassten Bereich (20) befindlichen Objekts (5) anhand der zeitlichen Abfolge der Mehrzahl der Aktivitätssignale (A1 , A2, A3, A4), und  c) monitoring the plurality of activity signals (A1, A2, A3, A4), d) detecting an activity of an object (5) located in the detected area (20) on the basis of the time sequence of the plurality of activity signals (A1, A2, A3, A4), and e) Ausgabe einer Information über die erkannte Aktivität.  e) Output of information about the detected activity. 2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass wenigstens eine virtuelle Lichtschranke folgende Merkmale aufweist: 2. The method according to claim 1, characterized in that at least one virtual light barrier has the following features: a) Überwachen der Bildpunkte des Überwachungsbereichs (1 , 2, 3, 4) auf Veränderungen, die eine vorbestimmte Überwachungsschwelle überschreiten,  a) monitoring the pixels of the surveillance area (1, 2, 3, 4) for changes exceeding a predetermined monitoring threshold, b) Erzeugen eines Ansprechsignals als Aktivitätssignal (A1 , A2, A3, A4), wenn die vorgegebene Überwachungsschwelle überschritten ist.  b) generating a response signal as an activity signal (A1, A2, A3, A4) when the predetermined monitoring threshold is exceeded. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Überwachung der Bildpunkte des Überwachungsbereichs (1 , 2, 3, 4) wenigstens einer virtuellen Lichtschranke (30, 40) bildpunktweise durch zeit- Gramm, Lins & Partner 3. The method according to claim 1 or 2, characterized in that the monitoring of the pixels of the monitoring area (1, 2, 3, 4) at least one virtual light barrier (30, 40) pixel by pixel by time Grams, Lins & Partners Patent- und Rechtsanwaltssozietät GbR liehe Ableitung oder Differenzbildung aufeinander folgender Bilder (9) erfolgt.  Patent and law firm GbR lent derivation or subtraction of successive pictures (9). 4. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, dass ein Überwachungswert aus allen Bildpunkten des Überwachungsbereichs (1 , 2, 3, 4) wenigstens einer virtuellen Lichtschranke (30, 40) oder daraus ermittelten Daten bestimmt wird. 4. Method according to claim 1, characterized in that a monitoring value from all pixels of the monitoring area (1, 2, 3, 4) of at least one virtual light barrier (30, 40) or data determined therefrom is determined. 5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Überwa- chungswert als räumliches Integral oder Summe aus allen Bildpunkten des Überwachungsbereichs (1 , 2, 3, 4) wenigstens einer virtuellen Lichtschranke (30, 40) oder daraus ermittelten Daten bestimmt wird. 5. The method according to claim 4, characterized in that the monitoring value is determined as the spatial integral or sum of all pixels of the monitoring area (1, 2, 3, 4) of at least one virtual light barrier (30, 40) or data determined therefrom. 6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das Aktivitätssignal (A1 , A2, A3, A4) wenigstens einer virtuellen Lichtschranke6. The method according to claim 4 or 5, characterized in that the activity signal (A1, A2, A3, A4) at least one virtual light barrier (30, 40) der Überwachungswert ist oder aus dem Überwachungswert bestimmt wird. (30, 40) is the guard value or is determined from the guard value. 7. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, dass die Bildpunkte des Überwachungsbereichs7. The method according to at least one of the preceding claims, character- ized in that the pixels of the surveillance area (1 , 2, 3, 4) auf Veränderungen des Grauwerts, des Farbtons, der Sättigung und/oder der Helligkeit überwacht werden. (1, 2, 3, 4) are monitored for changes in gray level, hue, saturation and / or brightness. 8. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, dass der Überwachungsbereich (1 , 2, 3, 4) als Geradenabschnitt ausgebildet ist. 8. The method according to at least one of the preceding claims, character- ized in that the monitoring area (1, 2, 3, 4) is designed as a straight line section. 9. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Überwachungsbereich (1 , 2, 3, 4) mit Hilfe eines Grafikprogramms in ein erfasstes Bild (9) eingezeichnet wird. Gramm, Lins & Partner 9. The method according to at least one of the preceding claims, characterized in that the monitoring area (1, 2, 3, 4) by means of a graphics program in a captured image (9) is drawn. Grams, Lins & Partners Patent- und Rechtsanwaltssozietät GbR  Patent and law firm GbR 10. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erkennung einer Aktivität eines in dem er- fassten Bereich (20) befindlichen Objekts (5) ein wenigstens zweiphasiges stochastisches Modell verwendet wird, wobei als erste Phase eine Lernphase vorgesehen ist, in der das Modell anhand definierter Aktivitäten trainiert wird, wobei automatisch Modell-Parameter bestimmt werden, und als zweite Phase eine Klassifikationsphase vorgesehen ist, in der aufgrund der trainierten Modell-Parameter und aktueller Bilder (9) der Kamera (10) Aktivitäten eines in dem erfassten Bereich (20) befindlichen Objekts (5) erkannt und unterschieden werden. 10. Method according to claim 1, characterized in that for detecting an activity of an object (5) located in the captured area (20) an at least two-phase stochastic model is used, wherein as the first phase a learning phase is provided, in which the model is trained on the basis of defined activities, whereby automatically model parameters are determined, and as the second phase a classification phase is provided, in which due to the trained model parameters and actual pictures (9) of the camera (10) activities of the Detected area (20) located object (5) are detected and distinguished. 11. Einrichtung zur optischen Aktivitätenerkennung mit einer Kamera (10) zum Erfassen von Bildern (9) eines zu überwachenden Bereichs (20), wobei die Bilder (9) jeweils den erfassten Bereich (20) als zweidimensionale Bildpunkt-Information repräsentieren, einer Verarbeitungseinheit (6) zur Verarbeitung der Bilder (9), wobei die Verarbeitungseinheit (6) mit der Kamera (10) zum Empfang der Bilder (9) gekoppelt ist, und einer mit der Verarbeitungseinheit (6) gekoppelten Signaleinheit (7, 8) zur Ausgabe einer Information über die erkannte Aktivität, wobei die Verarbeitungseinheit (6) eingerichtet ist zum, 11. A device for optical activity detection with a camera (10) for capturing images (9) of a region (20) to be monitored, the images (9) respectively representing the detected region (20) as two-dimensional pixel information, a processing unit ( 6) for processing the images (9), wherein the processing unit (6) is coupled to the camera (10) for receiving the images (9), and a signal unit (7, 8) coupled to the processing unit (6) for outputting a Information about the detected activity, wherein the processing unit (6) is set up for, a) Empfang von Bildern (9) von der Kamera (10),  a) receiving images (9) from the camera (10), b) Speichern eines für jede einer Mehrzahl virtueller Lichtschranken (30, 40) festgelegten Überwachungsbereichs (1 , 2, 3, 4) in der erfassten Bildpunkt-Information,  b) storing a monitoring area (1, 2, 3, 4) for each of a plurality of virtual light barriers (30, 40) in the acquired pixel information, c) Überwachen der Bildpunkte der Überwachungsbereichs (1 , 2, 3, 4) jeder virtuellen Lichtschranke (30, 40) und Erzeugen eines Aktivitätssignal (A1 , A2, A3, A4) der jeweiligen virtuellen Lichtschranke hieraus, d) Überwachen der Mehrzahl der Aktivitätssignale (A1 , A2, A3, A4), e) Erkennen einer Aktivität eines in dem erfassten Bereich (20) befindlichen Objekts anhand der zeitlichen Abfolge der Mehrzahl der Aktivitätssignale (A1 , A2, A3, A4), und Gramm, Lins & Partner c) monitoring the pixels of the surveillance area (1, 2, 3, 4) of each virtual light barrier (30, 40) and generating an activity signal (A1, A2, A3, A4) of the respective virtual light barrier therefrom, d) monitoring the plurality of activity signals (A1, A2, A3, A4), e) detecting an activity of an object located in the detected area (20) on the basis of the time sequence of the plurality of activity signals (A1, A2, A3, A4), and Grams, Lins & Partners Patent- und Rechtsanwaltssozietat GbR f) Ausgabe einer Information über die erkannte Aktivität an die Signaleinheit (7, 8).  Patent and law firm GbR f) Output of information about the detected activity to the signal unit (7, 8). Einrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass die Verarbeitungseinheit (6) zur Ausführung eines Verfahrens nach wenigstens einem der Ansprüche 2 bis 10 eingerichtet ist. Device according to claim 11, characterized in that the processing unit (6) is arranged for carrying out a method according to at least one of claims 2 to 10. Gü/as-sb-kw Gü / as-sb-kw
PCT/EP2010/007103 2009-11-25 2010-11-24 Method and device for optical activity recognition Ceased WO2011063936A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009055623.0A DE102009055623B4 (en) 2009-11-25 2009-11-25 Method and device for optical activity detection
DE102009055623.0 2009-11-25

Publications (1)

Publication Number Publication Date
WO2011063936A1 true WO2011063936A1 (en) 2011-06-03

Family

ID=43517790

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/007103 Ceased WO2011063936A1 (en) 2009-11-25 2010-11-24 Method and device for optical activity recognition

Country Status (2)

Country Link
DE (1) DE102009055623B4 (en)
WO (1) WO2011063936A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012024069A1 (en) * 2012-12-07 2014-06-12 Holger Schneider Small animal bell for enabling access to e.g. cat standing at locked door of house, has light barrier attached at outer side of door or window and triggering access request, and radio receiver provided with acoustic signal

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10026710A1 (en) * 2000-05-30 2001-12-06 Sick Ag Optoelectronic protection device for surveillance area has latter enclosed by reflector with coded reflector segments
US20020125435A1 (en) * 2001-01-19 2002-09-12 Cofer Darren D. Method and apparatus for detecting objects
WO2004114243A1 (en) * 2003-06-19 2004-12-29 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
WO2007020666A1 (en) * 2005-08-18 2007-02-22 Datasensor S.P.A. Vision sensor for security systems and its operating method
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
EP2133619A1 (en) * 2008-06-10 2009-12-16 Sick Ag Three-dimensional monitoring and securing of an area

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3214254A1 (en) * 1982-04-17 1983-10-20 Geutebrück Videotechnik GmbH, 5340 Bad Honnef Method for detecting movements in video camera images
DE19623524A1 (en) * 1996-06-13 1998-01-02 Pintsch Bamag Ag Monitoring unit for danger area at railway level crossing
DE102007055705A1 (en) * 2006-12-05 2008-07-24 Vis-à-pix GmbH System for automatic recognition of graffiti in public areas, has sensor for collection of electromagnetic radiation and for production of image sequences, where image sequences display real world according to specific spatial targets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10026710A1 (en) * 2000-05-30 2001-12-06 Sick Ag Optoelectronic protection device for surveillance area has latter enclosed by reflector with coded reflector segments
US20020125435A1 (en) * 2001-01-19 2002-09-12 Cofer Darren D. Method and apparatus for detecting objects
WO2004114243A1 (en) * 2003-06-19 2004-12-29 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
WO2007020666A1 (en) * 2005-08-18 2007-02-22 Datasensor S.P.A. Vision sensor for security systems and its operating method
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
EP2133619A1 (en) * 2008-06-10 2009-12-16 Sick Ag Three-dimensional monitoring and securing of an area

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHAN, M. AND HARITON, C. AND RINGEARD, P. AND CAMPO, E.: "Smart house automation system for the elderly and the disabled", CONF. SYSTEMS, MAN AND CYBERNETICS, 2002, XP002624139 *
H. R. EVERETT: "Sensors for Mobile Robots: Theory and Application", 1995, A K PETERS/CRC PRESS, ISBN: 1568810482, pages: 97,103, XP002624141 *
MAKI M C ET AL: "New options in using infrared for detection, assessment and surveillance", SECURITY TECHNOLOGY, 1996. 30TH ANNUAL 1996 INTERNATIONAL CARNAHAN CON FERENCE LEXINGTON, KY, USA 2-4 OCT. 1996, NEW YORK, NY, USA,IEEE, US, 2 October 1996 (1996-10-02), pages 12 - 18, XP010199860, ISBN: 978-0-7803-3537-0 *
OGAWA, M. AND TOGAWA, T.: "Monitoring daily activities and behaviors at home by using brief sensors", CONF ON MICROTECHNOLOGIES IN MEDICINE AND BIOLOGY, 2002, XP002624140 *
PERZANOWSKI D ET AL: "Integrating natural language and gesture in a robotics domain", INTELLIGENT CONTROL (ISIC), 1998. HELD JOINTLY WITH IEEE INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE IN ROBOTICS AND AUTOMATION (C IRA), INTELLIGENT SYSTEMS AND SEMIOTICS (ISAS)., PROCEEDINGS OF THE 19 98 IEEE INTERNATIONAL SYMPOSIUM ON GAI, 14 September 1998 (1998-09-14), pages 247 - 252, XP010299151, ISBN: 978-0-7803-4423-5, DOI: DOI:10.1109/ISIC.1998.713669 *
TOREYIN, B.U. AND SOYER, E.B. AND ONARAN, I. AND CETIN, A.E.: "Falling person detection using multisensor signal processing", EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, January 2008 (2008-01-01), XP002624138 *
VAN KASTEREN, T. AND NOULAS, A. AND ENGLEBIENNE, G. AND KRÖSE, B.: "Accurate activity recognition in a home setting", PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON UBIQUITOUS COMPUTING, 21 September 2008 (2008-09-21), XP002624136, [retrieved on 20110210] *
WREN, C. AND TAPIA, E.: "Toward scalable activity recognition for sensor networks", LOCATION-AND CONTEXT-AWARENESS, SPRINGER, March 2006 (2006-03-01), XP002624137 *

Also Published As

Publication number Publication date
DE102009055623B4 (en) 2016-01-28
DE102009055623A1 (en) 2011-05-26

Similar Documents

Publication Publication Date Title
DE69903190T2 (en) SMOKING MESSAGE
DE60313941T2 (en) Person detection by face detection and motion detection
EP0939387A1 (en) Room supervision device
DE102014114948A1 (en) Alarm system and method for vehicle
DE112018001819T5 (en) MEASURING A HUMAN FLOW THROUGH DOOR PASSES USING EASILY INSTALLABLE IR ARRAY SENSORS
EP3977430A1 (en) Method and apparatus for detecting smoke
EP2275989A1 (en) Stereoscopic 3D camera
DE102014203749A1 (en) Method and device for monitoring at least one interior of a building and assistance system for at least one interior of a building
DE60123214T2 (en) SMOKE AND FLAME DETECTION
WO2011110268A1 (en) Checkpoint with a camera system
Choeychuen Available car parking space detection from webcam by using adaptive mixing features
DE102012109390A1 (en) Monitoring device for safety-critical unit, particularly conveyer of conveyer system, has first video sensor unit, which is adapted to generate first image as representation formed from line by first monitoring area of safety-critical unit
EP2462534A1 (en) Method to monitor an area
DE102009055623B4 (en) Method and device for optical activity detection
EP2359308B1 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
EP3893145B1 (en) Protection of hazardous location
DE102019127826B4 (en) Safe optoelectronic sensor and method for securing a surveillance area
DE102014219838A1 (en) Smoke detection apparatus and method for detecting smoke of a fire and computer program
DE102012105401B3 (en) Three-dimensional camera i.e. stereoscopic security camera, for monitoring e.g. press, has classification unit to form measuring curve of correlation quality based on depth maps produced at different exposure times
DE19641000A1 (en) Individual identification method for security access system
DE102013219218A1 (en) Monitoring system, method for monitoring a surveillance area and computer program
WO1998027511A1 (en) Method and device for detecting image characteristics irrespective of location or size
DE102009043080A1 (en) Method for detecting smoke and/or flame in aircraft, involves detecting real-time images of measuring chamber in operating mode of optical sensor, and optically presenting real-time images by display device
EP3599411A1 (en) Device and method for producing and monitoring a safety area in a work space
WO2015078612A1 (en) Method for video monitoring

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10788239

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 10788239

Country of ref document: EP

Kind code of ref document: A1