ES2452790A1

ES2452790A1 - Procedure and image analysis system (Machine-translation by Google Translate, not legally binding)

Info

Publication number: ES2452790A1
Application number: ES201330462A
Authority: ES
Inventors: Marti Balcells Capellades; Nicolás HERRERO MOLINA; Jordi LLUIS BARBA
Original assignee: Davantis Technologies Sl
Current assignee: Davantis Technologies Sl
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2014-04-02
Anticipated expiration: 2033-03-28
Also published as: ES2452790B1

Abstract

Procedure and image analysis system. An image analysis method comprising an image acquisition step, in which images of an area outside are captured, an image processing step, through which the moving objects of the images are identified and it is determined whether there is an intruder in that outer zone and its category and, prior to these stages, there is a stage that includes the following phases: - phase of acquisition of samples that comprises a series of sub-phases (image acquisition, image processing and pre-classification of people) that are carried out repeatedly until a certain number of samples are obtained; y - calibration phase that obtains the size of a person for each position of the image. The image analysis system has the functional elements suitable for performing the image analysis procedure. (Machine-translation by Google Translate, not legally binding)

Description

Procedimiento y sistema de análisis de imágenes. Procedure and image analysis system.

Technical field

La presente invención hace referencia a un procedimiento de análisis de imágenes en el que se definen unos procedimientos de pre-clasificación de personas, de adquisición de muestras y de calibración para sistemas de análisis de imágenes así como el sistema de imágenes que utiliza dicho procedimiento. The present invention refers to an image analysis procedure in which procedures for pre-classification of people, sample acquisition and calibration for image analysis systems as well as the image system using said method are defined.

Preferiblemente, el sistema de análisis de imágenes se aplica en el campo de la seguridad y, más concretamente, en el de la detección de intrusos en circuitos de videovigilancia. Preferably, the image analysis system is applied in the field of security and, more specifically, in the detection of intruders in video surveillance circuits.

Prior State of the Art

Los sistemas de videovigilancia más sencillos que existen en el estado de la técnica capturan de forma continuada la imagen de una zona del espacio que se quiere proteger de la invasión de intrusos y una persona vigilante comprueba constantemente dichas imágenes para asegurar que no haya ningún intruso en dicha zona. Es decir, en estos sistemas de videovigilancia más sencillos se hace imprescindible la intervención humana para controlar constantemente las imágenes capturadas. The simplest video surveillance systems that exist in the state of the art continuously capture the image of an area of the space that you want to protect from the invasion of intruders and a vigilant person constantly checks these images to ensure that there is no intruder in said area. That is, in these simpler video surveillance systems, human intervention is essential to constantly monitor the captured images.

En el estado de la técnica también existen sistemas de videovigilancia que intentan reducir al máximo la intervención humana haciéndolos más eficientes y menos costosos a nivel de capital humano para el propietario de dichos sistemas de videovigilancia. Para ello, deben activar una alarma en caso de detección de intrusos de forma automática haciendo así innecesaria la continua intervención humana vigilando las imágenes capturadas. In the state of the art there are also video surveillance systems that attempt to minimize human intervention by making them more efficient and less expensive at the level of human capital for the owner of said video surveillance systems. To do this, they must activate an alarm in case of detection of intruders automatically making unnecessary the continuous human intervention monitoring the captured images.

Estos sistemas de videovigilancia algo más complejos requieren definir las características del intruso para que así cuando algún objeto cumpla con ellas se active la correspondiente alarma. Dichos sistemas de videovigilancia se componen de una etapa de segmentación, que permite clasificar los píxeles de la imagen en dos categorías: objetos móviles y fondo, una etapa de detección y seguimiento de objetos móviles, una etapa de cálculo de características de los objetos (generalmente características como tamaño, relación de aspecto, velocidad relativa, etc.) y una etapa de clasificación del objeto como intruso o no intruso. These somewhat more complex video surveillance systems require defining the characteristics of the intruder so that when an object complies with them the corresponding alarm is activated. These video surveillance systems consist of a segmentation stage, which allows the image pixels to be classified into two categories: mobile objects and background, a stage for detecting and tracking mobile objects, a stage for calculating the characteristics of objects (generally features such as size, aspect ratio, relative speed, etc.) and a stage of classifying the object as intruder or non-intruder.

Tal y como se ha comentado es de gran importancia definir de entrada aquellos valores de las características por los cuales se considerará que un objeto es un intruso. Ello significa que en la puesta en marcha por primera vez del sistema de análisis de imágenes es fundamental un calibrado del sistema para poder calcular así las características que definen a una persona en este sistema y, entonces, cuando haya un objeto que tenga estas características se active la alarma. As it has been commented, it is of great importance to define at the outset those values of the characteristics by which an object will be considered to be an intruder. This means that when the image analysis system is started up for the first time, a calibration of the system is essential in order to calculate the characteristics that define a person in this system and, then, when there is an object that has these characteristics, Activate the alarm.

Así por ejemplo, ya en el documento “Multiple View Geometry in Computer Vision”, Hartley et al., Cambridge For example, already in the document "Multiple View Geometry in Computer Vision", Hartley et al., Cambridge

University Press, Cambridge, Reino Unido (2000), se define la calibración como el proceso por el cual se determinan los parámetros intrínsecos y extrínsecos de una cámara, sea de forma automática (analizando el contenido de la imagen) o mediante la introducción manual de éstos. University Press, Cambridge, United Kingdom (2000), calibration is defined as the process by which the intrinsic and extrinsic parameters of a camera are determined, either automatically (by analyzing the image content) or by manually entering these.

En un estado de la técnica más avanzado, el procedimiento de calibración permite convertir una serie de características de un objeto de referencia a un sistema de referencia común independiente del tipo de cámara que se utilice y, en consecuencia, de parámetros intrínsecos (como, entre otros, las características de fabricación), y del lugar desde donde se esté observando la escena y, en consecuencia, de parámetros extrínsecos (como, entre otros, la posición de las cámaras). In a more advanced state of the art, the calibration procedure makes it possible to convert a series of characteristics of a reference object to a common reference system independent of the type of camera used and, consequently, of intrinsic parameters (such as between others, the manufacturing characteristics), and of the place from where the scene is being observed and, consequently, of extrinsic parameters (such as, among others, the position of the cameras).

Entonces, dependiendo del resultado final del procedimiento, se puede diferenciar entre una calibración débil, si se obtienen para cada posición de la imagen las dimensiones del objeto de referencia, y una calibración fuerte o métrica si se obtienen los parámetros intrínsecos y extrínsecos del dispositivo de adquisición de imágenes para calcular en cada posición de la imagen las dimensiones del objeto de referencia. Then, depending on the final result of the procedure, a weak calibration can be distinguished, if the dimensions of the reference object are obtained for each position of the image, and a strong or metric calibration if the intrinsic and extrinsic parameters of the device are obtained. acquisition of images to calculate in each image position the dimensions of the reference object.

Además, el tipo de calibración también dependerá del objeto de referencia que se utilice, siendo habitual en el sector de la vigilancia el uso de personas. In addition, the type of calibration will also depend on the reference object used, the use of people being common in the surveillance sector.

Así las cosas, el estado de la técnica más cercano a la invención que se ha podido encontrar es el formado por los documentos Patente US7596241 y Patente ES2364915. Thus, the state of the art closest to the invention that has been found is that formed by US7596241 and ES2364915.

La primera patente hace referencia a un procedimiento de calibración métrica en el que se utilizan personas como objeto de referencia. Los inconvenientes que presenta esta patente es que para obtener la estimación de la variación del objeto de referencia (que es una persona) en cada posición de la imagen se utiliza la estimación que aparece en The first patent refers to a metric calibration procedure in which people are used as a reference object. The disadvantages presented by this patent is that in order to obtain the estimate of the variation of the reference object (which is a person) in each position of the image, the estimation that appears in

“Bayesian Autocalibration for Surveillance”, Krahnstoever et al., Tenth IEEE Internacional Conference on Computer Vision (ICCV’05), vol. 2 (Oct. 2005) la cual es muy propensa a errores dando lugar a un procedimiento de calibración “Bayesian Autocalibration for Surveillance”, Krahnstoever et al., Tenth IEEE International Conference on Computer Vision (ICCV’05), vol. 2 (Oct. 2005) which is very prone to errors resulting in a calibration procedure

muy poco robusto y sólido. Very little robust and solid.

La segunda patente hace referencia a un procedimiento de calibración que puede ser tanto métrico como débil pero en el que también se utilizan personas como objeto de referencia. Los inconvenientes que presenta esta patente es que en la calibración débil se impone que los objetos móviles observados durante la calibración sean única y exclusivamente personas lo que impide el uso de los sistemas de videovigilancia en zonas de exterior en las que haya cierto movimiento de objetos diferentes a personas. Además, se requiere que la persona (objeto de referencia) recorra todas las posiciones del área de detección, alargando en gran medida el procedimiento de calibración. Por último, este procedimiento de calibración es muy propenso a introducir muestras erróneas o aberraciones sobre el tamaño de una persona. The second patent refers to a calibration procedure that can be both metric and weak but in which people are also used as a reference object. The disadvantages presented by this patent is that in the weak calibration it is imposed that the mobile objects observed during the calibration are only and exclusively people which prevents the use of video surveillance systems in outdoor areas where there is certain movement of different objects to people. In addition, it is required that the person (reference object) travel through all the positions of the detection area, greatly lengthening the calibration procedure. Finally, this calibration procedure is very prone to introduce erroneous samples or aberrations about the size of a person.

La presente invención tiene como principal finalidad obtener un procedimiento de calibración o un sistema de calibración, independiente del tipo de dispositivo de adquisición de imágenes y de la ubicación de éste, que permita utilizar un sistema de análisis de imágenes en zonas muy concurridas por cualquier tipo de objeto móvil, sin necesidad de que la persona de referencia tenga que situarse en cada posición del área de detección y reducir la duración del procedimiento de calibración. Para ello, el procedimiento o sistema de calibración debe utilizar un procedimiento de adquisición de muestras o un sistema de adquisición de muestras, apto para realizar tal procedimiento de adquisición de muestras, requiriéndose que tales procedimiento o sistema de adquisición de muestras utilicen un procedimiento o sistema de pre-clasificación de personas. Además, el sistema de análisis de imágenes que utilice tal procedimiento de calibración ha de permitir clasificar a los intrusos en las categorías de personas, coches o ninguna de las dos. The present invention has as its main purpose to obtain a calibration procedure or a calibration system, independent of the type of image acquisition device and its location, which allows the use of an image analysis system in very crowded areas of any kind. mobile object, without the need for the reference person to be placed in each position of the detection area and reduce the duration of the calibration procedure. For this, the calibration procedure or system must use a sample acquisition procedure or a sample acquisition system, suitable for performing such sample acquisition procedure, requiring that such sample acquisition procedure or system use a procedure or system of pre-classification of people. In addition, the image analysis system that uses such a calibration procedure must allow intruders to be classified in the categories of people, cars or neither.

Explanation of the invention.

La presente invención logra superar todos los inconvenientes así como defectos mencionados anteriormente en el estado de la técnica y alcanzar la finalidad descrita en el párrafo anterior. The present invention manages to overcome all the drawbacks as well as defects mentioned above in the state of the art and achieve the purpose described in the previous paragraph.

La invención consiste en un procedimiento de pre-clasificación de personas, en un procedimiento de adquisición de muestras y en un procedimiento de calibración para sistemas de análisis de imagen, preferiblemente, sistemas de videovigilancia y en los sistemas de pre-clasificación de personas, de adquisición de muestras y de calibración correspondientes así como en un sistema de análisis de imagen que utilice alguno de dichos procedimientos o sistemas. The invention consists in a method of pre-classification of persons, in a procedure of acquisition of samples and in a calibration procedure for image analysis systems, preferably, video surveillance systems and in the systems of pre-classification of persons, of acquisition of corresponding samples and calibration as well as in an image analysis system that uses any of said procedures or systems.

Un dispositivo de adquisición de imágenes proporciona una imagen que se envía a un sistema de procesamiento de imágenes que se encarga de determinar si en ella hay algún objeto móvil, y si es el caso se obtienen una serie de características de dicho objeto, como mínimo alguna de estas seis: relación de aspecto, saliencia, coherencia de trayectoria, ocupación de caja, dispersión e histograma de gradientes orientados, y se decide a través de un sistema de pre-clasificación de personas, que contiene los elementos funcionales necesarios para realizar un procedimiento de pre-clasificación de personas, si es una persona. En caso afirmativo, se le asigna un identificador y se almacenan los datos consistentes en la posición y tamaño de dicho objeto móvil. An image acquisition device provides an image that is sent to an image processing system that is responsible for determining if there is any mobile object in it, and if so, a series of characteristics of said object are obtained, at least some of these six: aspect ratio, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients, and is decided through a system of pre-classification of people, which contains the functional elements necessary to perform a procedure of pre-classification of people, if it is a person. If so, an identifier is assigned and data consisting of the position and size of said mobile object is stored.

En cada iteración se repite el método acabado de explicar almacenándose la posición y tamaño del objeto móvil si el sistema de pre-clasificación de personas ha decidido que era una persona. El conjunto de todas estas iteraciones definirían el procedimiento de adquisición de muestras y asociado a este procedimiento de adquisición de muestras existiría un sistema de adquisición de muestras que contenga los elementos funcionales capaces para desarrollar dicho procedimiento. In each iteration the finished method of explaining is repeated, storing the position and size of the mobile object if the pre-classification system of people has decided that it was a person. The set of all these iterations would define the sample acquisition procedure and associated with this sample acquisition procedure there would be a sample acquisition system that contains the functional elements capable of developing said procedure.

Una vez ya se han obtenido suficientes muestras, se calcula la calibración del sistema de análisis de imágenes por medio de al menos un sistema de descarte de aberraciones y/ó de un estimador de modelos. Preferiblemente se utilizarán tanto el sistema de descarte de aberraciones como el estimador de modelos de tal forma que el resultado obtenido por el sistema de descarte de aberraciones será tratado por el estimador de modelos obteniéndose a la salida de dicho estimador el tamaño de una persona en cada posición de la imagen. El sistema de descarte de aberraciones se basa en que a partir de un conjunto de estimaciones de la posible solución se deben seleccionar las muestras válidas en la estimación que proporcione el mayor consenso. Once enough samples have already been obtained, the calibration of the image analysis system is calculated by means of at least one aberration discard system and / or a model estimator. Preferably, both the aberration discard system and the model estimator will be used in such a way that the result obtained by the aberration discard system will be treated by the model estimator, obtaining at the exit of said estimator the size of a person in each Image position The system of discarding aberrations is based on the fact that from a set of estimates of the possible solution, valid samples must be selected in the estimate that provides the greatest consensus.

El estimador de modelos tiene como finalidad, a partir de un conjunto discreto de observaciones , modelar la variación de tamaño de la proyección de una persona en el plano de la imagen , donde The model estimator is intended, based on a discrete set of observations , model the variation of a person's projection size in the image plane , where

se refiere a la posición vertical en la que queremos estimar el tamaño. Para ello se debe minimizar el error cuadrático medio entre los valores observados y los valores estimados: It refers to the vertical position in which we want to estimate the size. For this, the mean square error between the observed values and the estimated values must be minimized:

Por lo tanto, este procedimiento de calibración se diferencia de los existentes en el estado de la técnica en que utiliza un sistema de descarte de aberraciones y/o un estimador de modelos. En este sentido, el hecho de que para Therefore, this calibration procedure differs from those existing in the state of the art in that it uses an aberration discard system and / or a model estimator. In this regard, the fact that for

los pares de datos (posición y tamaño) almacenados de los objetos identificados como personas se utilice un sistema de descarte de aberraciones permite mejorar la precisión de la calibración en presencia de distractores, como podrían ser: vehículos, animales, etc. Si, además, a estos pares de datos (posición y tamaño) almacenados de los objetos identificados como personas, una vez descartadas las aberraciones, se les aplica un estimador de modelos, se obtiene una extrapolación del tamaño esperado de una persona para cada posición de la imagen evitando así que la persona u objeto de referencia tenga que ubicarse en cada posición de la imagen y reduciéndose una vez más la duración del procedimiento de calibración. The pairs of data (position and size) stored of the objects identified as persons, an aberration discard system is used allows to improve the accuracy of the calibration in the presence of distractors, such as vehicles, animals, etc. If, in addition, to these pairs of data (position and size) stored of the objects identified as persons, once the aberrations have been discarded, a model estimator is applied, an extrapolation of the expected size of one person is obtained for each position of the image thus avoiding that the person or object of reference has to be located in each position of the image and reducing once again the duration of the calibration procedure.

Asociado a este procedimiento de calibración, también es objeto de la invención aquel sistema de calibración que contenga los elementos funcionales aptos para realizar el mencionado procedimiento de calibración. Associated with this calibration procedure, it is also the object of the invention that calibration system containing the functional elements suitable for performing said calibration procedure.

Aunque este procedimiento de calibración y el sistema de calibración correspondiente se han explicado a partir de un procedimiento y un sistema de adquisición de muestras según la invención, se podrían utilizar para cualquier procedimiento y/o sistema de adquisición de muestras existente en el estado de la técnica. Sin embargo, se debe señalar que, en el caso de que las muestras en que se basa el procedimiento de calibración se hayan obtenido por medio del procedimiento y del sistema de adquisición de muestras explicados anteriormente, al haberse utilizado un procedimiento de pre-clasificación y un sistema de pre-clasificación permite que este procedimiento y sistema de calibración no requiera única y exclusivamente la presencia de una persona como referencia por lo que en la imagen pueden aparecer personas y cualquier otro objeto (vehículos, animales, etc). En consecuencia, este procedimiento y sistema de pre-clasificación facilitan que el sistema de análisis de imágenes que haga uso de los mismos se pueda utilizar tanto en el interior como en el exterior. Although this calibration procedure and the corresponding calibration system have been explained from a procedure and a sample acquisition system according to the invention, they could be used for any procedure and / or sample acquisition system existing in the state of the technique. However, it should be noted that, in the case that the samples on which the calibration procedure is based have been obtained through the procedure and the sample acquisition system explained above, having used a pre-classification procedure and A pre-classification system allows this procedure and calibration system to not only and exclusively require the presence of a person as a reference, so people and any other object (vehicles, animals, etc.) may appear in the image. Consequently, this procedure and pre-classification system make it easy for the image analysis system that uses them to be used both indoors and outdoors.

Por todos estos motivos, el procedimiento de calibración de la invención y su sistema de calibración correspondiente resulta muy adecuado para sistemas de análisis de imágenes en los que las zonas protegidas por dichos sistemas tienen una gran actividad humana y de la naturaleza. For all these reasons, the calibration procedure of the invention and its corresponding calibration system is very suitable for image analysis systems in which the areas protected by said systems have a great human and nature activity.

La invención también incorpora una interfaz de usuario que aporta información sobre el proceso de adquisición de los pares de datos (posición y tamaño) de los objetos identificados como personas así como de los resultados finales e intermedios para que el usuario pueda seguir y mejorar el rendimiento del procedimiento y sistema de calibración. En este sentido, la interfaz de usuario permitirá a éste, una vez finalizado el procedimiento de calibración, validar la calibración obtenida o bien si no está de acuerdo con la misma continuar el proceso de adquisición de muestras hasta generar un nuevo resultado. The invention also incorporates a user interface that provides information on the process of acquiring the data pairs (position and size) of the objects identified as persons as well as the final and intermediate results so that the user can track and improve performance. of the procedure and calibration system. In this sense, the user interface will allow the user, once the calibration procedure is finished, to validate the calibration obtained or if it does not agree with it to continue the process of sample acquisition until a new result is generated.

Tal y como se ha comentado inicialmente, los objetos de esta invención son los procedimientos de pre-clasificación de personas, de adquisición de muestras y de calibración para un sistema de capturas de imágenes así como sus sistemas correspondientes y el sistema de análisis de imágenes, preferiblemente del tipo de sistemas de videovigilancia, que utilice alguno de estos procedimientos y/o sistemas. As previously mentioned, the objects of this invention are the procedures of pre-classification of persons, of acquisition of samples and of calibration for an image capture system as well as their corresponding systems and the image analysis system, preferably of the type of video surveillance systems, which use any of these procedures and / or systems.

Un sistema de análisis de imágenes según la invención permite detectar si hay un intruso en una zona del espacio determinada y clasificar dicho intruso en alguna de las categorías definida por el usuario, preferiblemente, en si es una persona o un coche o en otro objeto diferente a estos dos. An image analysis system according to the invention makes it possible to detect if there is an intruder in a certain area of space and classify said intruder into one of the categories defined by the user, preferably, whether it is a person or a car or in a different object. to these two.

Para ello el sistema de análisis de imágenes requiere de un dispositivo de adquisición de imagen que permita capturar la imagen de la zona que se pretende proteger de la invasión de un intruso y un sistema de procesamiento de imágenes que permita analizar esta imagen para detectar a los intrusos. Tanto este dispositivo de adquisición de imagen como el sistema de procesamiento de imágenes pueden ser los mismos que los utilizados en el procedimiento de adquisición de muestras así como por su sistema de adquisición de muestras. For this, the image analysis system requires an image acquisition device that allows capturing the image of the area that is intended to be protected from the invasion of an intruder and an image processing system that allows this image to be analyzed to detect intruders Both this image acquisition device and the image processing system can be the same as those used in the sample acquisition procedure as well as by its sample acquisition system.

La única diferencia del sistema de procesamiento de imágenes que se utiliza en el procedimiento de adquisición de muestras o en el sistema de adquisición de muestras con el sistema de procesamiento de imágenes que se utiliza en el sistema de análisis de imágenes es que las características que se deben obtener del objeto móvil son más de como mínimo una de las seis (relación de aspecto, saliencia, coherencia de trayectoria, ocupación de caja, dispersión e histograma de gradientes orientados) que se obtienen en el sistema de procesamiento de imágenes del procedimiento o sistema de adquisición de muestras pero que también hacen referencia a parámetros físicos del objeto móvil identificado. Así por ejemplo, el sistema de procesamiento de imágenes del sistema de análisis de imágenes debería obtener, entre otras, las siguientes características: tamaño y área, velocidad y distancia recorrida del objeto móvil identificado normalizadas al tamaño de una persona. The only difference in the image processing system that is used in the sample acquisition procedure or in the sample acquisition system with the image processing system that is used in the image analysis system is that the characteristics that are they must obtain from the mobile object they are more than at least one of the six (aspect ratio, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients) that are obtained in the image processing system of the procedure or system of acquisition of samples but that also refer to physical parameters of the mobile object identified. For example, the image processing system of the image analysis system should obtain, among others, the following characteristics: size and area, speed and distance traveled of the identified mobile object normalized to the size of a person.

Una vez se han obtenido estas características del objeto móvil mediante el sistema de decisión se determina a qué categoría pertenece el objeto móvil, preferiblemente se clasificaría en si es una persona, un coche o bien ninguno de los dos. En caso de que sea cualquiera de los dos primeros se activará una alarma para que el usuario pueda ver la imagen y confirmar que hay un intruso en la zona. Once these characteristics of the mobile object have been obtained by means of the decision system, it is determined to which category the mobile object belongs, preferably it would be classified in whether it is a person, a car or neither. If it is any of the first two, an alarm will be activated so that the user can see the image and confirm that there is an intruder in the area.

También el sistema de videovigilancia dispone de una interfaz de usuario, la cual puede ser la misma que la utilizada en el procedimiento y sistema de calibración y que permite observar en tiempo real la imagen real captada por el sistema de análisis de imagen. En el caso de que haya un intruso en la zona permitirá observar las imágenes en las que aparece el intruso para que el usuario pueda confirmar o rechazar la alarma activada por el sistema de procesamiento de imágenes. The video surveillance system also has a user interface, which can be the same as the one used in the procedure and calibration system and allows the real-time image captured by the image analysis system to be observed in real time. In the event that there is an intruder in the area, it will allow observing the images in which the intruder appears so that the user can confirm or reject the alarm activated by the image processing system.

Brief description of the drawings

Las anteriores y otras ventajas y características se comprenderán más plenamente a partir de la siguiente descripción detallada de unos ejemplos de realización con referencia a los dibujos adjuntos, que deben considerarse a título ilustrativo y no limitativo, en los que: The foregoing and other advantages and features will be more fully understood from the following detailed description of some embodiments with reference to the attached drawings, which should be considered by way of illustration and not limitation, in which:

--: la fig. 1 ilustra un sistema de análisis de imágenes ; fig. 1 illustrates an image analysis system;

--: la fig. 2 muestra un sistema de procesamiento de imágenes que utiliza el procedimiento de adquisición de fig. 2 shows an image processing system that uses the procedure for acquiring

muestras según la invención; samples according to the invention;

--: la fig. 3 representa un sistema de pre-clasificación de personas según la invención; fig. 3 represents a system of pre-classification of persons according to the invention;

--: la fig. 4 ilustra el procedimiento de calibración según la invención que realizaría un sistema de calibración; fig. 4 illustrates the calibration procedure according to the invention that a calibration system would perform;

--: la fig. 5 muestra la interfaz de usuario para controlar los procedimientos de adquisición de muestras y de fig. 5 shows the user interface to control the procedures for sample acquisition and

calibración ; calibration;

--: la fig. 6 representa el módulo de vídeo en directo de la interfaz de usuario para controlar los procedimientos fig. 6 represents the live video module of the user interface to control the procedures

de adquisición de muestras y de calibración ; y sample acquisition and calibration; Y

--: la fig. 7 ilustra el sistema de procesamiento de imágenes del sistema de análisis de imágenes según la fig. 7 illustrates the image processing system of the image analysis system according to the

invención. invention.

Detailed description of an embodiment example

La Fig. 1 ilustra un ejemplo de sistema de análisis de imágenes (1), preferiblemente del tipo de sistemas de videovigilancia, en el que un dispositivo de adquisición de imágenes (2), preferiblemente una cámara, la cual debe ubicarse apuntando a la zona del espacio de la que se pretende capturar imágenes, está conectada a un sistema capturador de vídeo (3), a través de un medio (4) físico o inalámbrico que puede incluir un proceso de digitalización, el cual proporciona imágenes al sistema de procesamiento de imágenes (5). Este sistema de procesamiento de imágenes determina si en la imagen hay un intruso o no y la clase de intruso. El dispositivo de adquisición de imágenes (2) puede ser tanto una cámara analógica como digital y no está limitado a imágenes en el espectro visible ya que también puede trabajar con diferentes ventanas del espectro infrarrojo, como sería el caso de las cámaras térmicas o infrarrojas. En relación al tipo de sensor de las cámaras puede ser de cualquier tipo con el único requisito de tenga una resolución mínima. Fig. 1 illustrates an example of an image analysis system (1), preferably of the type of video surveillance systems, in which an image acquisition device (2), preferably a camera, which should be located pointing to the area of the space that is intended to capture images, is connected to a video capture system (3), through a physical or wireless means (4) that can include a scanning process, which provides images to the processing system of images (5). This image processing system determines whether the image is an intruder or not and the intruder class. The image acquisition device (2) can be both an analog and digital camera and is not limited to images in the visible spectrum since it can also work with different windows of the infrared spectrum, as would be the case with thermal or infrared cameras. In relation to the type of sensor of the cameras it can be of any type with the only requirement of having a minimum resolution.

En esta Fig. 1 también se puede observar que el sistema de procesamiento de imágenes (5) depende de una interfaz de usuario (6) que permite establecer una serie de parámetros a este sistema de procesamiento de imágenes (5), entre los cuales estarían: restricciones temporales y espaciales para la detección, zonas de exclusión In this Fig. 1 it can also be seen that the image processing system (5) depends on a user interface (6) that allows to establish a series of parameters to this image processing system (5), among which would be : temporal and spatial restrictions for detection, exclusion zones

o control, reglas detección. or control, detection rules.

Tal y como se ha comentado con anterioridad tres de los objetos de esta invención serían los procedimientos de preclasificación de personas, de adquisición de muestras y de calibración que se utilizan para calibrar el sistema de análisis de imágenes (1) y que permiten referenciar en cada posición de la zona sobre la que el dispositivo de adquisición de la imagen (2) está obteniendo una imagen, el tamaño de una persona a una escala determinada. As previously mentioned, three of the objects of this invention would be the procedures for the pre-classification of people, the acquisition of samples and the calibration that are used to calibrate the image analysis system (1) and which allow reference in each position of the area over which the image acquisition device (2) is obtaining an image, the size of a person on a given scale.

El procedimiento de adquisición de muestras debe utilizar un sistema de procesamiento de imágenes (7) que preferiblemente será el sistema de procesamiento de imágenes (5) del sistema de análisis de imágenes (1). The sample acquisition procedure should use an image processing system (7) which will preferably be the image processing system (5) of the image analysis system (1).

La Fig. 2 muestra los sistemas que configuran el sistema de procesamiento de imágenes (7) que utiliza el procedimiento de adquisición de muestras objeto de la invención. Fig. 2 shows the systems that configure the image processing system (7) using the sample acquisition procedure object of the invention.

En primer lugar habría un sistema de segmentación (9) que permite obtener para una imagen (8) recibida en un instante ti, los píxeles cuyo valor RGB en ese instante de tiempo varían significativamente respecto a la estadística calculada para dicho píxel durante el intervalo (ti-1, ti-1-N) siendo N el número de imágenes necesarias para modelar estadísticamente el valor de cada píxel. Para configurar este sistema de segmentación (9) se puede utilizar cualquier técnica de las existentes en el estado de la técnica para alcanzar estos objetivos pero que permita funcionar en tiempo real. Preferiblemente puede utilizarse un sistema configurado físicamente para ejecutar el algoritmo referido en “Adaptative background mixture models for real-time tracking”, C. Stauffer y W.E.L. Grimson, Proc. IEEE CVPR 1999, pp. 24&252, Junio 1999. El resultado que se obtiene a la salida de este primer sistema de segmentación (9) es una clasificación de los píxeles de la imagen (8) en el instante ti en píxeles correspondientes al fondo y píxeles susceptibles de corresponder a un objeto móvil. First of all there would be a segmentation system (9) that allows you to obtain for an image (8) received in a moment you, the pixels whose RGB value at that moment of time vary significantly with respect to the statistics calculated for said pixel during the interval ( ti-1, ti-1-N) where N is the number of images necessary to statistically model the value of each pixel. In order to configure this segmentation system (9), any technique existing in the state of the art can be used to achieve these objectives but that allows them to function in real time. Preferably, a physically configured system can be used to execute the algorithm referred to in "Adaptive background mixture models for real-time tracking", C. Stauffer and W.E.L. Grimson, Proc. IEEE CVPR 1999, pp. 24 & 252, June 1999. The result obtained at the exit of this first segmentation system (9) is a classification of the pixels of the image (8) at the moment ti in pixels corresponding to the background and pixels capable of corresponding to a moving object

A continuación, se puede observar un sistema de detección y seguimiento de objetos (10) que realiza dos funciones. La primera consiste en agrupar los píxeles segmentados en objetos que los consideramos móviles asignándoles un identificador. La segunda consiste en que si alguno de los objetos móviles de la imagen en ti, se identifica con un objeto móvil de la imagen en ti-1 se le debe cambiar el identificador asignado por el del objeto previamente identificado. A la salida de este sistema de detección y seguimiento de objetos (10) habrá el objeto identificado. Este sistema de detección y seguimiento de objetos (10) se puede configurar según cualquier técnica de las existentes en el estado de la técnica para seguir objetos móviles en un conjunto de imágenes pero con el único requisito que pueda funcionar a tiempo real. Preferiblemente, se pueden utilizar sistemas configurados para ejecutar filtros de Kalman o de seguimiento por correlación o por cualquier otro tipo de seguimiento. En este sentido, puede ser de mucha utilidad los diferentes sistemas que se mencionan en “Object tracking: a survey”, Yilmaz et al., ACM Computing Surveys (CSUR) Volume 38. Issue 4, 2006. Next, an object detection and tracking system (10) that performs two functions can be observed. The first is to group segmented pixels into objects that we consider mobile by assigning them an identifier. The second is that if any of the mobile objects of the image in you is identified with a mobile object of the image in you-1, the assigned identifier must be changed to that of the previously identified object. At the exit of this object detection and tracking system (10) there will be the identified object. This object detection and tracking system (10) can be configured according to any technique existing in the state of the art to follow moving objects in a set of images but with the only requirement that can work in real time. Preferably, systems configured to run Kalman filters or correlation tracking or any other type of tracking can be used. In this sense, the different systems mentioned in “Object tracking: a survey”, Yilmaz et al., ACM Computing Surveys (CSUR) Volume 38. Issue 4, 2006 can be very useful.

Después de este sistema de detección y seguimiento de objetos (10) se halla un sistema de cálculo de características (11) que permite obtener una serie de características para cada objeto identificado. En concreto, las características que se deben obtener para los procedimientos de adquisición de muestras y calibración para sistemas de análisis de imágenes son al menos una de estas seis, aunque preferiblemente deberían ser las seis: After this object detection and tracking system (10) there is a feature calculation system (11) that allows obtaining a series of characteristics for each identified object. Specifically, the characteristics that must be obtained for the procedures of sample acquisition and calibration for image analysis systems are at least one of these six, although preferably they should be six:

--: relación de aspecto: relación entre la altura y anchura del objeto identificado; -saliencia: cantidad de movimiento acumulada durante el procedimiento de calibración del objeto identificado ; -coherencia de trayectoria: mide si la trayectoria realizada hasta un instante ti es lógica si el objeto identificado fuera una persona; -ocupación de caja: ratio entre el área del objeto y el área de la caja definida mediante el menor rectángulo aspect ratio: relationship between the height and width of the identified object; - salience: amount of movement accumulated during the calibration procedure of the identified object; -coherence of trajectory: it measures if the trajectory realized until a moment you is logical if the identified object was a person; -Case occupation: ratio between the area of the object and the area of the box defined by the smallest rectangle

posible que limita el objeto identificado; -dispersión: relación entre el perímetro y el área del objeto identificado; y -histograma de gradientes orientados: para obtener esta característica se debe dividir el objeto identificado possible that limits the identified object; -dispersion: relationship between the perimeter and the area of the identified object; and -histogram of oriented gradients: to obtain this characteristic the identified object must be divided

en diversas celdas y calcular para cada una de estas celdas la orientación dominante mediante el operador gradiente. A partir de todas las orientaciones obtenidas se construye un histograma que se compara con otro de referencia, previamente introducido en el sistema, obteniéndose la similitud de los mismos. Preferiblemente, el histograma de referencia que puede utilizarse sería el definido en Histograms of oriented gradients for human detection, Dalal, Triggs, Computer Vision and Pattern Recognition 2005, CVPR 2005, IEEE Computer Society, Conference on Volume:1. in various cells and calculate for each of these cells the dominant orientation through the gradient operator. From all the orientations obtained, a histogram is constructed that compares with another one of reference, previously introduced in the system, obtaining the similarity of the same. Preferably, the reference histogram that can be used would be the one defined in Histograms of oriented gradients for human detection, Dalal, Triggs, Computer Vision and Pattern Recognition 2005, CVPR 2005, IEEE Computer Society, Conference on Volume: 1.

Puesto que muchas de estas características se tienen que ir actualizando durante el tiempo de calibración se van almacenando en un dispositivo de almacenamiento de datos (13). Since many of these features have to be updated during the calibration time they are stored in a data storage device (13).

Por último, se halla el sistema de pre-clasificación de personas (12) que permite decidir si el objeto identificado es una persona o no. Este sistema de pre-clasificación de personas (12) debe contener los elementos funcionales necesarios para poder realizar el procedimiento de pre-clasificación de personas según la invención. Ello significa que este sistema de pre-clasificación de personas (12) permite que los procedimientos de adquisición de muestras y de calibración para sistemas de análisis de imágenes no requieran la presencia de única y exclusivamente una persona para la calibración puesto que es el propio sistema quien se encarga de seleccionar que objetos móviles son personas. En consecuencia, el dispositivo de adquisición de imágenes (2) puede apuntar a cualquier zona sin necesidad de que esté enfocando a una zona en la que haya única y exclusivamente personas. Finally, there is the system of pre-classification of people (12) that allows to decide if the identified object is a person or not. This system of pre-classification of persons (12) must contain the functional elements necessary to be able to carry out the procedure of pre-classification of persons according to the invention. This means that this system of pre-classification of persons (12) allows that the procedures for the acquisition of samples and calibration for image analysis systems do not require the presence of only one person for calibration since it is the system itself who is responsible for selecting which mobile objects are people. Consequently, the image acquisition device (2) can point to any area without the need to focus on an area where there are only and exclusively people.

La fig. 3 representa, preferiblemente, el interior de este sistema de pre-clasificación de personas (12) en el que se puede observar que el procedimiento de pre-clasificación de personas según la invención a partir de las características obtenidas del objeto identificado, preferiblemente, relación de aspecto, saliencia, coherencia de trayectoria, ocupación de caja, dispersión e histograma de gradientes orientados y una serie de reglas de decisión previamente establecidas, determina si el objeto identificado es una persona o no. En caso afirmativo se almacenan las parejas de tamaño y posición obtenidas en cada instante de muestreo. Fig. 3 preferably represents the interior of this system of pre-classification of persons (12) in which it can be seen that the method of pre-classification of persons according to the invention from the characteristics obtained from the object identified, preferably, relationship aspect, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients and a series of previously established decision rules, determines whether the object identified is a person or not. If so, the pairs of size and position obtained at each instant of sampling are stored.

Preferiblemente, el procedimiento de pre-clasificación de personas se basa en que cada una de las características obtenidas del objeto identificado, Ci, donde i puede ser: relación de aspecto (CRA), saliencia (CSL), coherencia de trayectoria (CcT), ocupación de caja (C OC), dispersión (CD) e histograma de gradientes orientados (CHG), tiene un peso asociado, , según la categoría k de objetos que deba detectar el sistema de análisis de imágenes (1), Preferably, the procedure of pre-classification of persons is based on the fact that each of the characteristics obtained from the identified object, Ci, where i can be: aspect ratio (CRA), salience (CSL), trajectory coherence (CcT), cash occupation (C OC), dispersion (CD) and histogram of oriented gradients (CHG), have an associated weight, according to the category k of objects to be detected by the image analysis system (1),

preferiblemente, persona y coche. De esta manera, para cada objeto identificado por el sistema de detección y seguimiento de objetos (10) se obtendrá, para cada instante de tiempo a partir de los pesos asociados preferably, person and car. In this way, for each object identified by the detection system and object tracking (10) will be obtained, for each instant of time from the associated weights

, un peso , a weight

global global

para cada categoría k que deba identificar el sistema de análisis de imágenes (1). Por su parte, el peso global, for each category k that must identify the image analysis system (1). For its part, the overall weight,

, se calcula a partir de la siguiente expresión: , is calculated from the following expression:

Se ha de destacar que los diferentes pesos asociados It should be noted that the different associated weights

pueden ser multiplicativos o aditivos, utilizándose los they can be multiplicative or additive, using the

superíndices superscripts

y Y

para diferenciarlos. To differentiate them.

Finalmente, en la etapa de decisión, para cada objeto identificado por el sistema de detección y seguimiento de objetos (10), se acumulan sus pesos asociados por categoría k: Finally, at the decision stage, for each object identified by the object detection and tracking system (10), its associated weights are accumulated by category k:

Entonces, si Then yes

supera un cierto umbral T se considerará al objeto identificado como una persona. exceeds a certain threshold T will be considered the object identified as a person.

El procedimiento de adquisición de muestras consiste en que durante el tiempo de muestreo cada vez que el sistema de pre-clasificación de personas (12) del sistema de procesamiento de imágenes (7) considera que un objeto identificado es una persona se almacenan el tamaño y la posición de este objeto identificado. Asociado al procedimiento de adquisición de muestras, también existe el sistema de adquisición de muestras (38) que contenga los elementos funcionales necesarios para poder realizar este procedimiento de adquisición de muestras. Una vez finalizado el procedimiento de adquisición de muestras se iniciaría el procedimiento de calibración (14) para sistemas de análisis de imágenes propiamente dicho y que se ilustra en la fig. 4. Este procedimiento de calibración The sample acquisition procedure is that during the sampling time each time the pre-classification system of people (12) of the image processing system (7) considers that an identified object is a person, the size and The position of this identified object. Associated with the sample acquisition procedure, there is also the sample acquisition system (38) that contains the functional elements necessary to perform this sample acquisition procedure. Once the sample acquisition procedure is finished, the calibration procedure (14) for image analysis systems proper and illustrated in fig. 4. This calibration procedure

(14) consiste en que los conjuntos de datos obtenidos durante el procedimiento de adquisición de muestras son tratados por un sistema de descarte de aberraciones (15) y/o un estimador de modelos (16). Preferiblemente, el procedimiento de calibración (14) tendrá un sistema de descarte de aberraciones (15) y después un estimador de modelos (16). (14) is that the data sets obtained during the sample acquisition procedure are treated by an aberration discard system (15) and / or a model estimator (16). Preferably, the calibration procedure (14) will have an aberration discard system (15) and then a model estimator (16).

Preferiblemente, el sistema de descarte de aberraciones (15) se configurará según lo que se establece en Least Median of Squares Regression, Rousseeuw - Journal of the American statistical association, 1984 - Taylor & Francis. Preferably, the aberration discard system (15) will be configured as set forth in Least Median of Squares Regression, Rousseeuw - Journal of the American statistical association, 1984 - Taylor & Francis.

El estimador de modelos (16), aunque en la literatura estadística existen diferentes formas de obtenerlo ya sea por suma de funciones trigonométricas, exponenciales, preferiblemente se obtendrá con modelos polinómicos. The estimator of models (16), although in the statistical literature there are different ways of obtaining it either by sum of trigonometric, exponential functions, preferably it will be obtained with polynomial models.

Asimismo, se ha de señalar que asociado a este procedimiento de calibración también existe el sistema de calibración que contenga los elementos funcionales para realizar el mencionado procedimiento de calibración. It should also be noted that associated with this calibration procedure there is also the calibration system that contains the functional elements to perform the said calibration procedure.

De esta manera, al final se habrá calibrado el sistema de análisis de imágenes (1) obteniéndose para cada posición de la zona sobre la cual el dispositivo de adquisición de imágenes (2) está apuntando el tamaño estimado de una persona. In this way, in the end the image analysis system (1) will have been calibrated, obtaining for each position in the area on which the image acquisition device (2) is pointing the estimated size of a person.

La Fig. 5 representa la interfaz de usuario (17) que permite controlar los procedimientos de adquisición de muestras y de calibración y/o los correspondientes sistemas de adquisición de muestras y de calibración. En esta interfaz de usuario (17) existe una ventana principal (18), que contiene un módulo de vídeo en directo (19), una barra lateral (20), un panel de información (24), un botón para aceptar la calibración (25) y un botón para rechazar la calibración (26). La barra lateral (20) comprende unos controles de adquisición (21), unos controles de visualización (22) y un panel de ajustes (23). Fig. 5 represents the user interface (17) that allows to control the procedures of sample acquisition and calibration and / or the corresponding systems of sample acquisition and calibration. In this user interface (17) there is a main window (18), which contains a live video module (19), a sidebar (20), an information panel (24), a button to accept the calibration ( 25) and a button to reject the calibration (26). The sidebar (20) comprises acquisition controls (21), display controls (22) and an adjustment panel (23).

La Fig. 6 muestra el módulo de vídeo en directo (19) en el que se reproducen a tiempo real las imágenes captada por el dispositivo de adquisición de imágenes (2) con las siguientes ayudas visuales que se pueden activar a partir de los controles de visualización (22): Fig. 6 shows the live video module (19) in which the images captured by the image acquisition device (2) are reproduced in real time with the following visual aids that can be activated from the video controls. display (22):

--: los objetos móviles identificados aparecen dentro de un recuadro (27) para facilitar su localización; the identified mobile objects appear within a box (27) to facilitate their location;

--: la calibración obtenida hasta el momento se muestra como un conjunto de rectángulos (28) indicando el The calibration obtained so far is shown as a set of rectangles (28) indicating the

tamaño estimado de una persona en diferentes posiciones de la imagen; estimated size of a person in different positions of the image;

--: una línea horizontal (29) que representa un horizonte artificial a partir del cual el modelo de calibración no a horizontal line (29) representing an artificial horizon from which the calibration model does not

es fiable; it is reliable;

--: al situar un puntero del dispositivo exterior a través del cual se controla la interfaz de usuario (17) (el cual no by placing a pointer of the external device through which the user interface (17) is controlled (which does not

se muestra en la figura) sobre una determinada posición de la imagen mostrada, se representa un cuadro shown in the figure) on a certain position of the image shown, a picture is represented

(30) con el tamaño aproximado de una persona en esa posición. (30) with the approximate size of a person in that position.

Los controles de adquisición (21) de la barra lateral (20) permiten controlar el procedimiento de adquisición de muestras. En concreto, permite, entre otras funciones, iniciar la adquisición de muestras, detenerla momentáneamente o borrar todas las muestras adquiridas hasta el momento y reiniciar el procedimiento de adquisición de muestras. En consecuencia, estos controles de adquisición (21) también permiten que se evite la introducción de muestras erróneas si la imagen se contamina temporalmente de objetos distractores. The acquisition controls (21) of the sidebar (20) allow to control the sample acquisition procedure. Specifically, it allows, among other functions, to start the acquisition of samples, stop it momentarily or erase all the samples acquired so far and restart the sample acquisition procedure. Consequently, these acquisition controls (21) also allow the introduction of erroneous samples to be avoided if the image is temporarily contaminated with distracting objects.

Los controles de visualización (22) de la barra lateral (20) permiten al usuario activar o desactivar la visualización de la calibración obtenida hasta el momento, el horizonte artificial (29), visualizar la calibración con un código de colores en función de la fiabilidad de las muestras capturadas hasta el momento o incluso marcar con otro código de colores The display controls (22) of the sidebar (20) allow the user to activate or deactivate the display of the calibration obtained so far, the artificial horizon (29), display the calibration with a color code depending on the reliability of the samples captured so far or even mark with another color code

(31) diferentes zonas de la imagen en función de las muestras adquiridas en ellas. Este módulo permite alternar el vídeo en directo con el vídeo de los objetos segmentados para proporcionar así al usuario mayor información sobre el procedimiento de adquisición de muestras. (31) different areas of the image depending on the samples acquired in them. This module allows you to alternate live video with the video of segmented objects to provide the user with more information about the sample acquisition procedure.

El panel de ajustes (23) de la barra lateral (20) permite activar la posibilidad de mover la posición del horizonte artificial (29) o bien modificar el tamaño de las cajas mediante la interacción del puntero del dispositivo exterior a través del cual se controla la interfaz de usuario (17) con el módulo de video en directo. The adjustment panel (23) of the sidebar (20) allows to activate the possibility of moving the position of the artificial horizon (29) or to modify the size of the boxes by interacting with the pointer of the external device through which it is controlled the user interface (17) with the live video module.

La ventana principal 18 incluye un panel de información (24) que proporciona información sobre el proceso de adquisición de muestras o de calibración o sobre los sistemas correspondientes, entre otras, el número de muestras obtenidas hasta el momento, el numero de muestras restantes hasta un nuevo cálculo de la calibración, datos sobre la fiabilidad de la calibración obtenida. The main window 18 includes an information panel (24) that provides information on the process of sample acquisition or calibration or on the corresponding systems, among others, the number of samples obtained so far, the number of samples remaining up to a New calibration calculation, data on the reliability of the calibration obtained.

El botón para aceptar la calibración (25) permite que en el momento que el usuario lo pulse, se almacene la información de calibración del sistema de análisis de imágenes (1) y que éste ya se encuentre calibrado. The button to accept the calibration (25) allows the calibration information of the image analysis system (1) to be stored at the moment the user presses it and that it is already calibrated.

El botón para rechazar la calibración (26) permite que en el momento que el usuario lo pulse, se borre toda la información de calibración del sistema de análisis de imagen (1) y que se inicie un nuevo procedimiento de calibración y/o se reinicie el sistema de calibración. The button to reject the calibration (26) allows the user to delete all the calibration information from the image analysis system (1) at the time the user presses it and to start a new calibration procedure and / or restart The calibration system.

Tal y como se ha comentado también es parte de la invención el sistema de análisis de imágenes (1) que utiliza algunos de los procedimientos de pre-clasificación de muestras, adquisición de muestras y de calibración y/o los sistemas de pre-clasificación de muestras, de adquisición de muestras y de calibración explicados anteriormente . As mentioned above, the image analysis system (1) that uses some of the procedures for pre-classification of samples, acquisition of samples and calibration and / or the pre-classification systems of part is also part of the invention. samples, sample acquisition and calibration explained above.

Así, la fig. 7 ilustra los sistemas que configuran el sistema de procesamiento de imágenes (5) del sistema de análisis de imágenes (1). Este sistema de procesamiento de imágenes (5) es muy similar al sistema de procesamiento de imágenes (7) utilizado en el procedimiento de calibración para sistemas de análisis de imágenes hasta tal punto que se puede utilizar un solo sistema de procesamiento de imágenes. Thus, fig. 7 illustrates the systems that configure the image processing system (5) of the image analysis system (1). This image processing system (5) is very similar to the image processing system (7) used in the calibration procedure for image analysis systems to such an extent that a single image processing system can be used.

En el sistema de procesamiento de imágenes (5) encontraríamos un sistema de segmentación (32), de funcionamiento similar al del sistema de procesamiento de imágenes (7), un sistema de detección y seguimiento de objetos (33), de funcionamiento similar al del sistema de procesamiento de imágenes (7), un sistema de cálculo de características de objetos (34), unas reglas de intrusión (36) y un sistema de decisión (37). In the image processing system (5) we would find a segmentation system (32), operating similar to that of the image processing system (7), an object detection and tracking system (33), operating similar to that of the image processing system (7), an object feature calculation system (34), intrusion rules (36) and a decision system (37).

El sistema de cálculo de características de objeto (34) permite obtener unas características del objeto identificado, entre las cuales, estarán, al menos: The object feature calculation system (34) allows to obtain characteristics of the identified object, among which, at least:

--: Las que dependen de la calibración de la cámara, entre las cuales, habría: Those that depend on the calibration of the camera, among which, there would be:

: o Tamaño normalizado o Standardized size

: o Velocidad o Speed

o Distancia recorrida -Las que no dependen de la calibración de la cámara, entre las cuales, habría: o Distance traveled -Those that do not depend on the calibration of the camera, among which, there would be:

: o relación de aspecto or aspect ratio

: o saliencia or salience

: o coherencia de trayectoria o ocupación de caja or trajectory coherence or cash occupation

: o dispersión or dispersion

: o histograma de gradientes orientados or histogram of oriented gradients

En consecuencia, el sistema de cálculo de características de objeto (34) del sistema de procesamiento de imágenes Consequently, the object feature calculation system (34) of the image processing system

(5) extrae un mayor número de características del objeto identificado que el sistema de cálculo de características de objeto (11) del sistema de procesamiento de imágenes (7). (5) extracts a greater number of characteristics of the identified object than the calculation system of object characteristics (11) of the image processing system (7).

A partir de estas características extraídas del objeto identificado se establece, a partir de unas reglas de decisión (35), que son internas y predefinidas, a qué categoría pertenece el objeto identificado, preferiblemente si el objeto identificado es una persona, un coche o ninguna de las dos. From these characteristics extracted from the identified object it is established, based on decision rules (35), which are internal and predefined, to which category the identified object belongs, preferably if the identified object is a person, a car or none Of the two.

A continuación, las reglas de intrusión (36), cuya finalidad es que el usuario defina si los objetos identificados en una categoría han de ser considerados intrusos, permiten definir si dichos objetos identificados han de generar una alarma. En caso afirmativo, el sistema de decisión (37) activaría la correspondiente alarma. Next, the intrusion rules (36), whose purpose is for the user to define whether the objects identified in a category are to be considered intruders, allow to define whether said identified objects are to generate an alarm. If yes, the decision system (37) would activate the corresponding alarm.

Por último, este sistema de análisis de imágenes también puede disponer de una interfaz de usuario (6) de características muy similares a la interfaz de usuario (15) que controla el procedimiento y/o sistema de calibración. Entre las funciones más significativas que permite esta interfaz de usuario (6) es que se pueden ver las imágenes a tiempo real capturadas por el dispositivo de adquisición de imágenes (2) y controlar el procedimiento de adquisición de imágenes. Finally, this image analysis system can also have a user interface (6) with characteristics very similar to the user interface (15) that controls the procedure and / or calibration system. Among the most significant functions allowed by this user interface (6) is that you can view the real-time images captured by the image acquisition device (2) and control the image acquisition procedure.

Claims

1. Image analysis procedure comprising an image acquisition stage, in which images from an outside area are captured, through an image acquisition device, and an image processing stage, through the which identifies the moving objects of the images and determines if there is any intruder in that outer zone and its category,

characterized because

It also includes a stage prior to the previous stages comprising the following phases:

sample acquisition phase that is divided into the following sub phases which are carried out repeatedly until a certain number of samples are obtained:

sub phase of image acquisition that allows to obtain an image of an outside area through the image acquisition device;

sub phase of image processing through which it is determined whether there is any moving object in said image; Y

sub-phase of pre-classification of persons that determines whether the mobile object identified is a person or not, the size and position data of the identified mobile object being stored as a sample; Y

calibration phase that obtains the size of a person for each image position from the size and position data obtained for each object identified as a person in the sample acquisition phase.

2. 2.: Procedimiento de análisis de imágenes según la reivindicación 1 caracterizado porque la fase de calibración de la etapa previa comprende una sub fase de descarte de aberraciones y/o una sub fase de estimador de modelos. Image analysis method according to claim 1, characterized in that the calibration phase of the previous stage comprises a subset phase of aberrations and / or a sub phase of model estimator.

3. 3.: Procedimiento de análisis de imágenes según las reivindicaciones 1 ó 2 caracterizado porque la sub fase de procesamiento de imagen incluida en la fase de adquisición de muestras de la etapa previa comprende por lo menos una etapa de segmentación, una etapa de detección y seguimiento de objetos y una etapa de cálculo de características. Image analysis method according to claims 1 or 2, characterized in that the sub-phase of image processing included in the sample acquisition phase of the previous stage comprises at least one segmentation stage, an object detection and tracking stage and a stage of calculation of characteristics.

4. Four.: Procedimiento de análisis de imágenes según la reivindicación 3 caracterizado porque la etapa de cálculo de características de la sub fase de procesamiento de imagen de la fase de adquisición de muestras de la etapa previa obtiene por lo menos alguna de estas seis características, relación de aspecto, saliencia, coherencia de trayectoria, ocupación de caja, dispersión e histograma de gradientes orientados del objeto móvil identificado. Image analysis method according to claim 3, characterized in that the step of calculating characteristics of the sub-phase of image processing of the sample acquisition phase of the previous stage obtains at least some of these six characteristics, aspect ratio, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients of the identified mobile object.

5. 5.: Procedimiento de análisis de imágenes según la reivindicación 4 caracterizado porque la sub fase de preclasificación de personas de la fase de adquisición de muestras de la etapa previa, determina si un objeto móvil identificado es una persona a partir de al menos una de las características obtenida en la etapa de cálculo de características de la sub fase de procesamiento de imagen de la fase de adquisición de muestras de la etapa previa. Image analysis method according to claim 4, characterized in that the sub-pre-classification phase of persons of the sample acquisition phase of the previous stage determines if a mobile object identified is a person from at least one of the characteristics obtained in the characteristic calculation stage of the image processing sub phase of the sample acquisition phase of the previous stage.

6. 6.: Procedimiento de análisis de imágenes según la reivindicación 5 caracterizado porque la sub fase de preclasificación de personas de la fase de adquisición de muestras de la etapa previa, para determinar si un Image analysis method according to claim 5, characterized in that the sub-pre-classification phase of persons of the sample acquisition phase of the previous stage, to determine whether a

mobile object identified is a person

must exceed a threshold T, where:

are the multiplicative weights associated with each of at least one of the six characteristics,

aspect ratio, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients;

are the additive weights associated with each of at least one of the six characteristics, relation

of appearance, salience, trajectory coherence, cash occupation, dispersion and histogram of oriented gradients.

7. Image analysis method according to any of the preceding claims characterized in that the image processing stage comprises at least the following sub stages

sub etapa de segmentación; segmentation sub stage;

sub etapa de detección y seguimiento de objetos; sub stage of object detection and tracking;

sub etapa de cálculo de características que permite obtener al menos alguna de estas nueve sub stage of calculation of characteristics that allows to obtain at least some of these nine

5 5: características: tamaño normalizado, velocidad, distancia recorrida, relación de aspecto, saliencia, coherencia de trayectoria, ocupación de caja, dispersión e histograma de gradientes orientados del features: normalized size, speed, distance traveled, aspect ratio, salience, trajectory coherence, box occupancy, dispersion and histogram of oriented gradients of the

objeto móvil identificado mobile object identified

sub etapa en la que a partir de unas reglas de decisión se establecerá la categoría a la que sub stage in which, based on decision rules, the category to which

pertenece el objeto móvil identificado the identified mobile object belongs

10 10: sub etapa de decisión en la que a partir de unas reglas de intrusión se establecerá si el objeto móvil identificado de la categoría que se acaba de establecer es un intruso y en caso afirmativo se sub decision stage in which, based on intrusion rules, it will be established if the mobile object identified in the category just established is an intruder and if so,

activará la alarma. It will activate the alarm.

8. 8.: Sistema de análisis de imágenes caracterizado porque tiene elementos funcionales aptos para realizar Image analysis system characterized in that it has functional elements suitable for carrying out

cualquiera de los procedimientos de análisis de imágenes según las reivindicaciones anteriores. any of the image analysis procedures according to the preceding claims.

Fig. 1 Fig. 2 Fig. 3 Fig. 4

Fig. 5

Fig. 6 Fig. 7

SPANISH OFFICE OF THE PATENTS AND BRAND

Application no .: 201330462

SPAIN

Date of submission of the application: 28.03.2013

Priority Date:

REPORT ON THE STATE OF THE TECHNIQUE

51 Int. Cl.: G06F17 / 30 (2006.01) G06T7 / 20 (2006.01)

RELEVANT DOCUMENTS

Categoría Category: 56 Documentos citados Reivindicaciones afectadas 56 Documents cited Claims Affected

A TO: US 2008181453 A1 (XU LI-QUN et al.) 31.07.2008, todo el documento. 1-8 US 2008181453 A1 (XU LI-QUN et al.) 31.07.2008, the whole document. 1-8

A TO: US 2008002856 A1 (MA YUNQIAN et al.) 03.01.2008, todo el documento. 1-8 US 2008002856 A1 (MA YUNQIAN et al.) 03.01.2008, the whole document. 1-8

A TO: US 2011064267 A1 (COBB WESLEY KENNETH et al.) 17.03.2011, todo el documento. 1-8 US 2011064267 A1 (COBB WESLEY KENNETH et al.) 03.17.2011, the entire document. 1-8

A TO: JUNG C R et al. Event Detection Using Trajectory Clustering and 4-D Histograms. IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 20081101 IEEE SERVICE CENTER, PISCATAWAY, NJ, US 01.11.2008 VOL: 18 No: 11 Págs: 1565-1575 ISSN 1051-8215 Doi: doi:10.1109/TCSVT.2008.2005600; todo el documento. 1-8 JUNG C R et al. Event Detection Using Trajectory Clustering and 4-D Histograms. IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 20081101 IEEE SERVICE CENTER, PISCATAWAY, NJ, US 01.11.2008 VOL: 18 No: 11 Pages: 1565-1575 ISSN 1051-8215 Doi: doi: 10.1109 / TCSVT.2008.2005600; whole document. 1-8

A TO: NAIR V et al. An unsupervised, online learning framework for moving object detection. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2004 IEEE Comput. Soc. Los Alamitos, CA, USA 2004 VOL: 2 Págs: II -317-24 vol. 2 ISBN 0-7695-2158-4; todo el documento. 1-8 NAIR V et al. An unsupervised, online learning framework for moving object detection. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2004 IEEE Comput. Soc. Los Alamitos, CA, USA 2004 VOL: 2 Pages: II -317-24 vol. 2 ISBN 0-7695-2158-4; whole document. 1-8

A TO: LI H et al. Unsupervised video anomaly detection using feature clustering.IET Signal Processing, 20120706 The Institution of Engineering and Technology, Michael Faraday House, Six Hills Way, Stevenage, Herts. SG1 2AY, UK 06.07.2012 VOL: 6 No: 5 Págs: 521-533 ISSN 1751-9675 Doi: doi:10.1049/iet-spr.2011.0074; todo el documento. 1-8 LI H et al. Unsupervised video anomaly detection using feature clustering.IET Signal Processing, 20120706 The Institution of Engineering and Technology, Michael Faraday House, Six Hills Way, Stevenage, Herts. SG1 2AY, UK 06.07.2012 VOL: 6 No: 5 Pages: 521-533 ISSN 1751-9675 Doi: doi: 10.1049 / iet-spr. 2011.0074; whole document. 1-8

Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud Category of the documents cited X: of particular relevance Y: of particular relevance combined with other / s of the same category A: reflects the state of the art O: refers to unwritten disclosure P: published between the priority date and the date of priority submission of the application E: previous document, but published after the date of submission of the application

El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº: This report has been prepared • for all claims • for claims no:

Fecha de realización del informe 25.03.2014 Date of realization of the report 25.03.2014: Examinador M. L. Álvarez Moreno Página 1/4 Examiner M. L. Álvarez Moreno Page 1/4

REPORT OF THE STATE OF THE TECHNIQUE

Application number: 201330462

Minimum documentation sought (classification system followed by classification symbols) G06F, G06T Electronic databases consulted during the search (name of the database and, if possible, terms of

search used) INVENES, EPODOC, WPI, Inspec

State of the Art Report Page 2/4

WRITTEN OPINION

Application number: 201330462

Date of Completion of Written Opinion: 03.25.2014

Statement

Novedad (Art. 6.1 LP 11/1986) Novelty (Art. 6.1 LP 11/1986): Reivindicaciones Reivindicaciones 1-8 SI NO Claims Claims 1-8 IF NOT

Actividad inventiva (Art. 8.1 LP11/1986) Inventive activity (Art. 8.1 LP11 / 1986): Reivindicaciones Reivindicaciones 1-8 SI NO Claims Claims 1-8 IF NOT

The application is considered to comply with the industrial application requirement. This requirement was evaluated during the formal and technical examination phase of the application (Article 31.2 Law 11/1986).

Opinion Base.-

This opinion has been made on the basis of the patent application as published.

State of the Art Report Page 3/4

WRITTEN OPINION

Application number: 201330462

1. Documents considered.-

The documents belonging to the state of the art taken into consideration for the realization of this opinion are listed below.

Documento Document: Número Publicación o Identificación Fecha Publicación Publication or Identification Number publication date

D01 D01: US 2008181453 A1 (XU LI-QUN et al.) 31.07.2008 US 2008181453 A1 (XU LI-QUN et al.) 31.07.2008

D02 D02: US 2008002856 A1 (MA YUNQIAN et al.) 03.01.2008 US 2008002856 A1 (MA YUNQIAN et al.) 03.01.2008

D03 D03: US 2011064267 A1 (COBB WESLEY KENNETH et al.) 17.03.2011 US 2011064267 A1 (COBB WESLEY KENNETH et al.) 03.17.2011

D04 D04: JUNG C R et al. Event Detection Using Trajectory Clustering and 4-D Histograms. IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 20081101 IEEE SERVICE CENTER, PISCATAWAY, NJ, US 01.11.2008 VOL: 18 No: 11 Págs: 1565-1575 ISSN 1051-8215 Doi: doi:10.1109/TCSVT.2008.2005600; todo el documento. 01.11.2008 JUNG C R et al. Event Detection Using Trajectory Clustering and 4-D Histograms. IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 20081101 IEEE SERVICE CENTER, PISCATAWAY, NJ, US 01.11.2008 VOL: 18 No: 11 Pages: 1565-1575 ISSN 1051-8215 Doi: doi: 10.1109 / TCSVT.2008.2005600; whole document. 01.11.2008

D05 D05: NAIR V et al. An unsupervised, online learning framework for moving object detection. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2004 IEEE Comput. Soc. Los Alamitos, CA, USA 2004 VOL: 2 Págs: II -317-24 vol. 2 ISBN 0-7695-2158-4; todo el documento. 30.11.2003 NAIR V et al. An unsupervised, online learning framework for moving object detection. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2004 IEEE Comput. Soc. Los Alamitos, CA, USA 2004 VOL: 2 Pages: II -317-24 vol. 2 ISBN 0-7695-2158-4; whole document. 11/30/2003

D06 D06: LI H et al. Unsupervised video anomaly detection using feature clustering.IET Signal Processing, 20120706 The Institution of Engineering and Technology, Michael Faraday House, Six Hills Way, Stevenage, Herts. SG1 2AY, UK 06.07.2012 VOL: 6 No: 5 Págs: 521-533 ISSN 1751-9675 Doi: doi:10.1049/iet-spr.2011.0074; todo el documento. 06.07.2012 LI H et al. Unsupervised video anomaly detection using feature clustering.IET Signal Processing, 20120706 The Institution of Engineering and Technology, Michael Faraday House, Six Hills Way, Stevenage, Herts. SG1 2AY, UK 06.07.2012 VOL: 6 No: 5 Pages: 521-533 ISSN 1751-9675 Doi: doi: 10.1049 / iet-spr. 2011.0074; whole document. 06.07.2012

2. Statement motivated according to articles 29.6 and 29.7 of the Regulations for the execution of Law 11/1986, of March 20, on Patents on novelty and inventive activity; quotes and explanations in support of this statement

Documents D01 [paragraphs 0003-0007], D02 [paragraphs 0009-0019] and D03 [0001-0007] show methods of image processing. It can be seen that the stages of acquisition, processing (segmentation, feature extraction, motion detection ...) and classification in people or not, are known. But it also shows that a previous stage of learning is essential based on a background analysis or previously classified samples that allow their subsequent comparison in the detection stage.

Document D04 (section IV. Proposed method) shows the possibility of detecting based on movement. It does not name the existence of prior learning. It detects movement in the scene and makes a grouping of the trajectory flows, being able to even rule out certain anomalies (outlier), but it does not perform any type of detection and pre-classification of people within said images.

Document D05 (section2 3.2 Designing an automatic labeler; 3.3 Online learning) shows a method that avoids the need to manually label training images. Automatic labeling is performed based on the movement information detected allowing discrimination between person and non-person. It does not perform any further processing of the information to determine / store the size and / or position of the person.

Document D06 (section 5. Online unsupervised feature-based anomaly detection) performs unsupervised learning by analyzing both motion and spatial characteristics data (unusual size or speed changes). The method is not aimed at detecting people (or their position characteristics) once the movement in the image has been detected.

Independent claim 1

None of the cited documents show the characteristics defined in claim 1 consisting of dynamic training (sample acquisition and calibration) prior to actual detection using previously unlabeled data. Taking into account documents D01 to D06, claim 1 meets the requirements of novelty and inventive activity according to articles 6 and 8 of the Patent Law.

Claims 2 to 7 of procedure and 8 of system to perform the procedure of the preceding claims.

Taking into account documents D01 to D06, claims 2 to 8 meet the requirements of novelty and inventive activity according to articles 6 and 8 of the Patent Law.

State of the Art Report Page 4/4