ES2529066T3

ES2529066T3 - Sistema de seguimiento de objetos y de análisis de la situación

Info

Publication number: ES2529066T3
Application number: ES06723719.8T
Authority: ES
Inventors: Margit Frank; Lars Maria Schnatmann
Original assignee: FLUYDS GmbH
Current assignee: FLUYDS GmbH
Priority date: 2005-03-18
Filing date: 2006-03-20
Publication date: 2015-02-16
Anticipated expiration: 2026-03-20
Also published as: WO2006097357A1; US20080281553A1; EP1864153B1; US7885784B2; EP1864153A1; DE102005013225A1

Abstract

Sistema de análisis de la situación para la detección y seguimiento de objetos móviles dentro de un espacio limitado a través de un periodo de tiempo predeterminable y para el análisis de constelaciones de objetos y episodios de tiempo así como situaciones durante el periodo de tiempo, con varias unidades de seguimiento, que presentan, respectivamente, al menos una subunidad en forma de una cámara, que está dispuesta y alineada de tal manera que puede detectar el espacio limitado y los objetos fijos y móviles que se encuentran en él, en el que las cámaras contienen, respectivamente, un objetivo y un sensor de detección de imágenes, y con una unidad central de procesamiento de datos de la posición, que está configurada para determinar para un objeto real respectivo una posición global del objeto real respectivo en el espacio registrado y para generar para cada objeto real una identificación global del objeto y un conjunto de datos globales respectivos de la posición en función del tiempo, en el que las cámaras de las unidades de seguimiento contienen, respectivamente, una unidad de adquisición de imágenes y una unidad de reconocimiento de objetos, cuya unidad de reconocimiento de objetos está configurada para aislar objetos individuales en imágenes detectadas por el sensor de detección de imágenes y pre-procesadas por la unidad de adquisición de imágenes, y en el que cada unidad de seguimiento dispone de al menos una unidad de transmisión de datos, a través de la cual cada unidad de seguimiento está conectada con la unidad central de procesamiento de datos de la posición y que está configurada para permitir una comunicación bidireccional, de manera que cada unidad de seguimiento puede transmitir datos a la unidad central de procesamiento de datos de la posición, caracterizado por que la unidad central de procesamiento de datos de la posición puede transmitir a través de un canal de retorno a cada unidad de seguimiento individualmente o a varias unidades de seguimiento al mismo tiempo datos para el control del comportamiento de detección de las unidades de seguimiento.

Description

5

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

DESCRIPCIÓN

Sistema de seguimiento de objetos y de análisis de la situación

La invención se refiere a un sistema para el seguimiento de objetos y para el análisis de la situación para procesos dinámicos con objetos móviles en un espacio limitado, por ejemplo para la detección y seguimiento de jugadores y pelota durante un partido de fútbol y para el análisis de diferentes situaciones de juego, como se conocen a partir de los documentos WO 02/071334, FR 2 726 370, EP 1 113 669, US 2003/179294, US 5 363 297 o a partir de XU M ET AL: "Architecture and algorithms for tracking football players with multiple cameras", INTELLIGENT DISTRIBUTED SURVEILLANCE SYSTEMS, IEE, LONDON, GB, 23. Febrero de 2004 (2004-02-23), páginas 51-55, XP002331014. Los objetos móviles son entonces jugadores y pelota. El espacio limitado es el campo de fútbol.

La idea inventiva no está limitada de ninguna manera solamente a la detección de juegos de fútbol en un campo de futbol. Puede encontrar aplicación también para la detección de juegos de pelota discrecionales u otros procesos móviles con varios objetos móviles. Tampoco la detección puede tener lugar en un espacio limitado discrecional y, por lo tanto, no está limitada a la detección en un campo de juego.

El sistema trabaja en tiempo real para poder proporcionar continuamente resultados de análisis y representaciones gráficas paralelamente al acontecimiento del juego. El acontecimiento del juego se detecta y analiza en este caso al menos 12 veces por segundo, con preferencia 25 veces por segundo, de manera que los resultados del análisis se pueden actualizar continuamente con una frecuencia comparable a la velocidad de percepción del ojo humano. Los resultados del análisis están preparados en virtud de la implementación distribuida del sistema con una latencia reducida que, en general, no es mayor que el intervalo de tiempo entre dos puntos de detección sucesivos; no obstante, también puede ser mayor que el intervalo de tiempo entre dos instantes de detección y de análisis sucesivos. La latencia es constante en formas de realización preferidas para cada instante de detección, pero en cualquier caso menor que un máximo establecido.

El sistema comprende una o varias unidades de seguimiento, que están configuradas para la detección de objetos y para la determinación de las coordenadas espaciales de los objetos detectados y están conectadas con una unidad central de procesamiento de datos de la posición. En cada una de las unidades de seguimiento empleadas se puede utilizar una de ellas para la selección de procedimientos de medición para la determinación de las coordenadas espaciales. Así, por ejemplo en una forma de realización de una unidad de seguimiento está previsto proveer los objetos a detectar (pelota, árbitro, jugadores) con sensores, que permiten una determinación del lugar de permanencia, emitiendo ellos mismos señales o reaccionando de manera correspondiente a una señal de medición emitida. La determinación propiamente dicha se puede realizar entonces a través de ondas de sonar o señales electromagnéticas, por ejemplo sobre la base de la determinación del tiempo de propagación o del efecto Doppler. La unidad de seguimiento propiamente dicha se divide entonces, dado el caso, en dos o más subunidades, que están distribuidas en diferentes posiciones alrededor y sobre el campo de juego y que reciben y evalúan las señales emitidas por los sensores.

Cada unidad de seguimiento dispone de al menos una unidad de detección de objetos. Si una unidad de seguimiento dispone de varias subunidades, entonces cada subunidad dispone con preferencia de una unidad propia de detección de objetos. En este caso, la unidad de seguimiento pude disponer de una central local de detección de objetos, que procesa los conjuntos de datos creados por las unidades de detección de objetos de las subunidades individuales y que se refieren a un objeto detectado y que se comunica con la unidad central de procesamiento de datos de la posición. Si el sistema de análisis de la situación solamente presenta una unidad de seguimiento, no está prevista ninguna central local de detección de objetos; en este caso, la unidad central de procesamiento de datos de la posición asume los cometidos de la central local de detección de objetos.

Las unidades de detección de objetos están configuradas para asociar los datos de medición brutos que se producen durante la detección de los objetos a objetos individuales. Dentro de las unidades de detección de objetos no se lleva a cabo en este caso ninguna identificación de los objetos individuales, a no ser que durante el procedimiento de medición utilizado, en virtud del emplazamiento de un sensor, se establezca desde el principio la identidad del objeto respectivo. Es decir, que cada unidad de seguimiento, tomada por sí misma, asocia a cada objeto detectado por ella un distintivo de identificación local, que se puede distinguir del distintivo de distinción asociado por otra unidad de seguimiento del sistema de detección al mismo objeto. Todos los conjuntos de datos detectados son registrados durante toda la duración del juego en una base de datos central del sistema, de manera que están disponibles también para una reconstrucción y un análisis posterior de todos los toques del juego. La base de datos central del sistema contiene también un conocimiento a priori, que se refiere por ejemplo el peso o el tamaño de los jugadores o las asociaciones de los jugadores o dato registrados durante la detección de otro juego por el sistema de análisis de la situación. La base de datos del sistema es, por lo tanto, una base de datos que abarca todo el juego, cuyo contenido se desarrolla y se analiza continuamente durante el empleo del sistema retornando los datos obtenidos durante el funcionamiento, como indicaciones del número de los saques de esquina, tiros a puerta, pases correctos o erróneos, faltas, etc. a la base de datos del sistema. Adicionalmente, la existencia de datos de la base de daos del sistema se puede ampliar fuera del funcionamiento. Así, por ejemplo, las informaciones que se refieren a los jugadores o combinaciones como pertenencia al equipo, breves biografías de los

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

jugadores, número de los empleos en la selección nacional respectiva, estado de salud y disponibilidad para el empleo, bloqueos del juego, etc. pueden ser recibidas en la base de datos del sistema.

De acuerdo con el procedimiento de medición empleado, una unidad de seguimiento puede asociar (a través de su unidad de detección de objetos) a uno y el mismo objeto en el transcurso del periodo de tiempo de la supervisión varios distintivos de identificación locales. Esto pasa siempre que un objeto abandona la parte del campo de juego detectada por la unidad de seguimiento respectiva y entra de nuevo, a no ser que el procedimiento de medición utilizado no posibilite automáticamente una identificación del objeto detectado a través del sensor utilizado. Durante un periodo de tiempo de detección (duración del juego) no se predetermina por una unidad de seguimiento el mismo distintivo de identificación por segunda vez.

La unidad de detección de objetos de cada unidad de seguimiento asocia, respectivamente, a un objeto detectado en un instante de detección tn+1 el distintivo de identificación de un objeto detectado en el último instante de detección tn que está delante de este instante (presumiblemente del mismo objeto) siempre que la distancia espacial de las coordenadas de la posición del objeto detectado en los dos instantes de detección no exceda un valor umbral determinado, por lo que el objeto detectado ha recorrido como máximo un trayecto determinado dentro de la diferencia de tiempo entre los dos instantes de la detección.

El valor umbral se puede predeterminar de acuerdo con el tipo de objeto (una pelota se moverá normalmente más rápidamente que un jugador) y se puede modificar de forma adaptable a través de un algoritmo durante la detección. Así, por ejemplo, se puede bajar el valor umbral cuando el objeto detectado (un jugador) se ha movido últimamente más lento o más rápido, y se eleva cuando el objeto detectado se ha movimiento últimamente siempre más rápido.

La distancia de las coordenadas de la posición, que tendría como consecuencia una asociación positiva del mismo distintivo de identificación local a un objeto detectado en dos instantes de detección sucesivos, se indica con preferencia en el conjunto de datos que designa la nueva posición del objeto detectado, con preferencia como vector.

Ya durante la asociación de los distintivos de identificación se pueden excluir del procesamiento posterior objetos que no pertenecen al juego, verificando determinadas reglas para las propiedades de movimiento de jugadores y pelota. Así, por ejemplo, una parada total de un objeto detectado no puede ser una persona o una pelota que se encuentra en juego (al menos mientras no se haya interrumpido el juego). De la misma manera, un objeto que se mueve a alta velocidad no puede ser un jugador o bien un objeto que se mueve a alta velocidad, cuyo movimiento no sigue las reglas balísticas para una pelota chutada o lanzada, en general no puede ser un objeto que pertenece al juego.

Cada unidad de seguimiento transmite coordenadas espaciales asociadas a un distintivo de identificación local dado el caso después de una proyección ya realzada en un sistema de coordenadas global – continuamente a la unidad de procesamiento de datos de la posición, que asocia los conjuntos de datos obtenidos por las diferentes unidades de seguimiento, respectivamente, a los objetos reales. Puesto que cada unidad de seguimiento detecta normalmente sólo algunos de los objetos, pero varios objetos son detectados forzosamente al mismo tiempo por varias unidades de seguimiento, pueden estar presentes para cada objeto real conjuntos de datos muy diferentes con coordenadas espaciales. A ello hay que añadir que la unidad central de procesamiento de datos de la posición está configurada para desechar aquellos conjuntos de datos, que no se pueden asociar a ningún objeto del juego, sino que pertenecen a un objeto extraño al juego, que se encuentra en la zona de detección de una unidad de seguimiento.

Una forma especialmente preferida de una unidad de seguimiento comprende una cámara, que está configurada y dispuesta de tal forma que detecta al menos una parte del campo de juego. Si se emplean varias unidades de seguimiento de este tipo, se disponen las cámaras de forma ventajosa de tal manera que detectan, en conjunto, todo el campo de juego desde diferentes ángulos de visión.

Las cámaras contienen, respectivamente, un objetivo, un sensor de detección de imágenes, por ejemplo un sensor-CCD o un sensor-CMOS, una unidad de adquisición de imágenes y una unidad de reconocimiento de objetos.

La unidad de reconocimiento de objetos de cada cámara está configurada para aislar de manera conocida en sí en imágenes detectadas por el sensor de detección de imágenes y pre-procesadas por la unidad de adquisición de imágenes objetos individuales por ejemplo por medio de un procedimiento modulación como modulación de color, modulación de la diferencia, modulación de la luminancia o detección de cantos.

Para cada objeto aislado se genera al menos un conjunto de datos de la posición, que identifica la posición del objeto en la imagen bidimensional detectada respectiva. Todas las coordenadas, es decir, todos los conjuntos de datos de la posición, de los objetos aislados por una cámara están preparados en un salida de datos de la cámara respectiva para la transmisión a una unidad central de procesamiento de datos de la posición. A cada conjunto de datos de la posición asociado a un objeto respectivo puede estar asociado un distintivo de identificación en una variante de realización de la invención.

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

La unidad de reconocimiento de objetos puede estar configurada también de tal manera que no se genera ningún distintivo de identificación y el conjunto de dato de la posición asociado al objeto aislado para el instante del registro de la imagen no contiene ningún distintivo de identificación. En este caso, se genera un distintivo de identificación automáticamente en la unidad de procesamiento de datos de la posición.

La cámara de cada unidad de seguimiento basada en una cámara es calibrada en un procedimiento de calibración de dos fases. Durante la primera fase, se determinan las propiedades de reproducción de cada cámara y se crea un primer conjunto de datos de calibración que permite una reducción por cálculo de los errores generados a través de las propiedades de reproducción de la cámara durante la detección de la posición. En esta etapa de la calibración del objeto se lleva un cuerpo de calibración plano al campo de detección de la cámara. Con preferencia se utiliza un cuerpo de calibración rectangular. El cuerpo de calibración está provisto sobre su superficie con una rejilla depositada para contraste óptico frente a la claridad o color del cuerpo de calibración, cuyos panales de la rejilla están realizados con preferencia cuadrados, pero al menos rectangulares y cuyas longitudes de los cantos se conocen. En lugar de una rejilla se puede utilizar también un cuerpo de calibración con un patrón de colores del tipo de un tablero de ajedrez.

Puesto que el cuerpo de calibración es posicionado y registrado en diferentes posiciones frente a la cámara, con la ayuda de los desarrollos de los cantos y de los puntos de cruce de la rejilla acondiciona datos de calibración geométrica que permiten el cálculo de la distorsión de la reproducción de la cámara, porque se conoce totalmente la geometría real del cuerpo de calibración. De esta manera se calibran los siguientes parámetros de la cámara y del objeto.

 Ángulo de apertura o bien anchura de la imagen

 Factor de escala horizontal

 Punto medio de la imagen (desplazamiento del punto medio-CCD del eje óptico)

 Distorsión radial

Durante la segunda fase del procedimiento de calibración se realiza la calibración de la posición de las cámaras del sensor. A tal fin se llevan las cámaras a la posición, que deben adoptar durante la detección de un partido de futbol a registrar. Las posiciones se pueden seleccionar de tal forma que cada punto del campo de juego es detectado por al menos dos cámaras, cuyos ejes ópticos forman posiblemente un ángulo entre 45º y 135º.

Para la calibración se lleva ahora al menos un cuerpo de calibración que contrasta frente al campo de juego sobre el campo de juego. El cuerpo de calibración está configurado a ser posible de forma esférica, de manera que su entorno registrado desde una posición discrecional está configurado siempre de forma circular o en forma de elipse. El tamaño del cuerpo de calibración se puede seleccionar de tal manera que el cuerpo de calibración ocupa en la reproducción a través de cada cámara de medición al menos una pluralidad de puntos de la imagen, que debe estar con preferencia en el orden de magnitud entre diez y cien puntos de la imagen. El tamaño del cuerpo de calibración depende, por lo tanto, también de la resolución de la cámara de medición. Con preferencia, la resolución de las cámaras de medición se puede seleccionar de tal forma que un cuerpo de calibración con un tamaño que corresponde a la regla dada es menor que una pelota de futbol para permitir una calibración, que es suficientemente exacta para determinar con exactitud la posición de un objeto real hasta un recorrido, que es menor que el diámetro que una pelota de futbol.

El cuerpo de calibración se posiciona en diferentes posiciones del campo de juego y se detecta por las cámaras de medición. De esta manera es posible una determinación de la posición relativa de las cámaras de medición entre sí. Si se posiciona el cuerpo de calibración en diferentes posiciones conocidas del campo de juego (por ejemplo, en el punto de saque, en los puntos de once metros y en los puntos de intersección de la marca de campo de juego), también es posible una determinación de la posición absoluta de las cámaras de medición en un sistema de coordenadas global, con lo que se termina la calibración.

Cada unidad de seguimiento dispone de una unidad de transmisión de datos, a través de la cual se puede conectar con la unidad central de procesamiento de datos de la posición. Con preferencia, la unidad de transmisión de datos está configurada de tal manera que se permite una comunicación bidireccional, de manera que tanto cada unidad de seguimiento en la unidad central de procesamiento de datos de la posición y la unidad central de procesamiento de datos de la posición puede transmitir a través de un canal de retorno a cada unidad de seguimiento individualmente

o a varias unidades de seguimiento al mismo tiempo datos.

Para mantener reducidos los requerimientos de capacidad de cálculo de la unidad central de procesamiento de datos de la posición, la unidad de reconocimiento de objetos de cada cámara de una unidad de seguimiento basada en cámara puede realizar ya etapas de procesamiento para los datos de la imagen obtenidos por ella y solamente transmiten los resultados a la unidad central de procesamiento de datos de la posición. De manera alternativa, cada cámara puede transmitir también datos brutos de la imagen junto a los resultados de etapas de procesamiento ya realizadas, con cuya ayuda la unidad central de procesamiento de datos de la posición puede realizar etapas de procesamiento.

15

25

35

45

55

E06723719

28-01-2015

El canal de retorno permite un control del comportamiento de detección de las unidades de seguimiento. Así, por ejemplo, una unidad de seguimiento puede dar instrucciones para no seguir ya un objeto con un distintivo de identificación local determinado, puesto que en el procesamiento local de los datos de la posición se ha reconocido que se trata de un objeto que no pertenece al juego o porque para el mismo objeto real otra unidad de seguimiento suministra en ese momento datos de medición más exactos en virtud de un posicionamiento mejorado. También está previsto predeterminar en el caso de unidades de seguimiento basadas en cámaras los parámetros para los diferentes algoritmos de modulación utilizados de manera variable sobre el desarrollo del juego. De esta manera se puede dar instrucciones a una unidad de seguimiento o una subunidad de una unidad de seguimiento, por ejemplo, para aislar con preferencia objetos de la imagen de un color, claridad, etc. determinados y para crear conjuntos de datos de la posición para estos objetos de la imagen o aislar de acuerdo con la técnica de imágenes un objeto determinado con la aplicación simultánea de una combinación determinada de procedimientos de modulación, pudiendo predeterminarse también los criterios a aplicar en la aplicación de los procedimientos de modulación a través del canal de retorno. Los criterios se pueden seleccionar y predeterminar en este caso de manera automática

o también a través de un operador que supervisa el modo de funcionamiento concreto del sistema.

El módulo de análisis puede anticipar especialmente situaciones de juego especiales en virtud de las posiciones detectadas y a partir de la comparación de posiciones de direcciones y velocidades derivadas del movimiento con la ayuda de reglas, que se refieren a reglas del juego y otras regularidades relacionadas con el juego. Estas reglas y regularidades pueden estar depositadas en la base de datos del sistema conectada con el módulo de análisis. Tales situaciones del juego pueden ser situaciones específicas del juego, como posición de fuera de juego, juego sucio o tiro a puerta, o también situaciones especiales de juego desde el punto de vista del proceso de detección como la cobertura de dos jugadores que pasan uno detrás del otro.

Si el módulo de análisis predice una situación especial del juego de este tipo con una gran probabilidad frente a un valor umbral opcional, el módulo de análisis puede predeterminar ya antes de la aparición de la situación especial del juego para las unidades de seguimiento a través del canal de retorno unos parámetros de funcionamiento adaptados a la situación de juego anticipada, de manera que el registro y el análisis se pueden realizar con una exactitud elevada o con mayor seguridad de éxito. Los parámetros de funcionamiento predeterminados automáticamente de esta manera a través del canal de retorno por medio del módulo de análisis pueden ser, de acuerdo con la forma de realización de la unidad de seguimiento respectiva, por ejemplo, criterios para los procedimientos de modulación a utilizar o para la posición y resolución de aquel fragmento de la imagen, en el que se espera la aparición de la situación especial de juego.

En principio, se puede utilizar una combinación de procedimientos de modulación para el aislamiento técnico de la imagen de un objeto. La estructura de datos que identifica un objeto detectado de esta manera prevé de acuerdo con el número de procedimientos de modulación utilizables o utilizados muchos campos, en los que se registra un valor, que indica la frecuencia de aquellos puntos de la imagen del objeto, que cumplen el criterio predeterminado para el procedimiento de modulación respectivo. La estructura de datos prevé todavía espacio para ampliaciones, que están previstas para los resultados de otros procedimientos de procesamiento de imágenes o procedimientos de detección no basados en la imagen.

Cuando no es posible siempre una asociación automática de los conjuntos de datos a un objeto real, es decir, la creación de una identificación global del objeto y de un conjunto global de datos del objeto y su asociación a un objeto real, se puede realizar manualmente una asociación a través de un operador. La unidad central de procesamiento de datos de la posición está conectada a tal fin con preferencia con una interfaz de usuario con un aparato de representación de la imagen y predetermina con preferencia ya una selección de objetos reales posibles, que podrían ser asociados al objeto dudoso respectivo. Esta selección predeterminada se basa con preferencia en la asociación hasta ahora de objetos reales y globales, como existían antes del instante, a partir del cual no se podía realizar ya la asociación automáticamente de una manera unívoca. En este caso, se tiene en cuenta con preferencia que solamente se contemplan para una asociación aquellos objetos, que presentaban antes de la asociación no realizable ya automáticamente una cierta distancia local máxima con respecto a o a los objetos no asociables. Si el operador predetermina una asociación, la unidad central de procesamiento de datos de la posición está configurada para adaptar de manera correspondiente objetos reales que se pueden seleccionar para la asociación para otros objetos dudosos. Si permaneces solamente todavía una asociación posible del objeto para un objeto dudoso determinado, la unidad central de procesamiento de datos de la posición predetermina automáticamente la asociación.

Un escenario de juego para el caso explicado son dos jugadores, que chocan, de manera que no es posible ya una separación técnica de la imagen en el momento de la colisión. Después de que los jugadores se han separado, no es posible ya en determinadas circunstancias la asociación automática de los objetos de la imagen registrados ahora de nuevo de forma separada, que representan, respectivamente, uno de los jugadores o una parte de éstos, de manera que la unidad central de procesamiento de datos de la posición representa para cada jugador los dos nombres, números dorsales u otros símbolos de los jugadores que han colisionado como posible asociación de objetos. Si se realiza manualmente la asociación para el primero de los dos jugadores, la unidad central de procesamiento de datos de la posición asocia al otro jugador automáticamente la identificación restante del objeto. Pero en principio la situación descrita se puede resolver en la mayoría de los casos, por ejemplo, a través de la

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

previsión o selección automática de parámetros (criterios) adecuados para un procedimiento de modulación, de manera que, por ejemplo, se utiliza el color de la camiseta del jugador en cuestión como criterio de evaluación.

Puesto que tanto en la asociación automática como también en la asociación manual puede pasar errores, la asociación se realiza a través de la creación de conjuntos de datos oficiales del objeto, respectivamente, con un reconocimiento oficial del objeto. Los conjuntos de datos globales del objeto generados en virtud de la confluencia de los conjuntos de datos locales del objeto para formar un objeto global se mantienen en principio y son registrados en la base de datos del sistema, de manera que las identificaciones y los conjuntos de datos oficiales del objeto generados en virtud de una asociación errónea de los conjuntos de datos globales del objeto a objetos reales se pueden sustituir posteriormente por datos corregidos.

De manera especialmente preferida, desde las cámaras de una unidad de seguimiento basada en cámara se obtienen imágenes en una primera resolución alta y se convierten en imágenes de una segunda resolución más baja. Las cámaras disponen en este caso de una memoria tampón, que conserva continuamente un número, determinado a través del tamaño seleccionado de la memoria, de las últimas imágenes registradas en alta resolución.

Las imágenes de resolución más baja son transmitidas continuamente a la unidad central de procesamiento de datos de la posición, dado el caso junto con informaciones sobre objetos aislados de acuerdo con la técnica de imágenes. Cuando siempre la unidad central de procesamiento de datos de la posición no puede ejecutar las siguientes etapas del procedimiento con exactitud suficiente o incluso solamente puede ejecutarlas de forma errónea, solicita desde una o varias cámaras a través del canal de retorno hacia las cámaras las imágenes correspondientes, registradas en la memoria tampón, en la resolución más elevada, para realizar la etapa de procesamiento respectiva con las imágenes ricas en detalles, lo que provoca una probabilidad más elevada de una realización con éxito de la etapa de procesamiento. Las imágenes ricas en detalles no se obtienen con preferencia a través de una adaptación del foco y, por lo tanto, de la ampliación óptica, sino que se basan en las imágenes registradas originalmente en una primera resolución más alta. Para la detección de situaciones de juego especiales anticipadas, se puede utilizar alternativamente también imágenes más ricas en detalles, que se obtienen a través de una reproducción óptica ampliada. A tal fin se utilizan entonces con preferencia cámaras adicionales con una ampliación óptica más elevada para la detección.

La unidad central de procesamiento de datos de la posición o bien puede solicitar a través del canal de retorno las imágenes completas en la resolución más elevada o en cambio solamente las o aquellas secciones de la imagen, dentro de las cuales no se realizan con éxito las etapas del procesamiento a ejecutar.

Por lo tanto, el sistema está constituido por tres componentes delimitados claramente entre sí, a saber:

un módulo de seguimiento

un módulo de análisis

un módulo de visualización

El módulo de seguimiento comprende al menos una unidad de seguimiento. Se prefieren unidades de seguimiento basadas en cámara; éstas se pueden emplear junto a unidades de seguimiento basadas en sensor. Un módulo de seguimiento especialmente adecuado dispone de al menos dos, con preferencia al menos cuatro cámaras de medición, que se designan a continuación opcionalmente también como cámaras de seguimiento (digitales) (DTK). Éstas están dispuestas y alineadas de tal forma que pueden registrar el espacio delimitado y los objetos móviles y fijos estacionarios que se encuentran allí desde diferentes perspectivas. Las cámaras de medición poseen, respectivamente, un objetivo, un sensor de imágenes, un unidad de adquisición de imágenes y una unidad de procesamiento de imágenes, que están dispuestas y alineadas de tal manera que el objetivo de una cámara de medición respectiva proyecta una reproducción bidimensional del espacio registrado y de los objetos sobre el sensor de imágenes de esta cámara de medición. El sensor de imágenes, por su parte, está conectado con la unidad de adquisición de imágenes de la cámara de medición para el procesamiento previo de la imagen detectada por el sensor de imágenes. La unidad de procesamiento de imágenes de la cámara de medición recibe datos de la imagen desde la unidad de adquisición de imágenes y está configurada para detectar en la reproducción bidimensional respectiva objetos individuales y sus posiciones dentro de la reproducción bidimensional por medio de un procedimiento de modulación y para generar para cada objeto detectado en el instante respectivo un conjunto de datos de la posición específico de la cámara. Cada conjunto de datos de la posición puede contener adicionalmente para cada objeto una identificación individual del objeto así como los datos de la posición específicos de la cámara registrados para este objeto en el instante respectivo.

De manera alternativa, también es posible transmitir los datos de la posición de los objetos en forma de conjuntos de datos de la posición sin identificación del objeto a una unidad central de procesamiento de datos de la posición y no generar en las cámaras identificaciones individuales de los objetos.

Además, el módulo de seguimiento comprende una unidad central de procesamiento de datos de la posición (designada a continuación también como procesador de datos de la posición), que está conectada con las cámaras

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

de medición para la recepción de los conjuntos de datos de la posición específicos de las cámaras y está configurada para asociar entre sí las identificaciones respectivas de los objetos que proceden desde las cámaras de medición individuales, de manera que todas las identificaciones de los objetos están asociadas entre sí en cada caso a un objeto real. Además, la unidad central de procesamiento de datos de la posición está configurada para determinar a partir de los datos de la posición específicos de las cámaras de los conjuntos de datos de la posición específicos de las cámaras para un objeto real respectivo una posición global del objeto real respectivo en el espacio registrado, con preferencia por triangulación y para generar para cada objeto real una identificación global del objeto y un conjunto de datos de la posición global respectivo en función del tiempo.

La triangulación se basa en la detección geométrica de la posición de un punto u objeto desde al menos dos puntos de vista diferentes sin detección propia de la técnica de medición de la distancia con respecto al punto o bien el objeto detectado. El procedimiento conocido perfectamente en el estado de la técnica se basa en la solución de un sistema de ecuaciones lineales. El punto detectado en el espacio tridimensional está presente en virtud de la detección desde dos puntos de vista diferentes, respectivamente, como coordenadas bidimensionales en los dos sistemas de coordenadas locales de los puntos de vista. En virtud de la calibración de las cámaras de medición es posible convertir las coordenadas bidimensionales en coordenadas globales, lo que corresponde a una transformación de las coordenadas desde un sistema de coordenadas basado en ángulos en la R3. Las coordenadas bidimensionales representan entonces para cada punto de vista, respectivamente, una recta, que pasa a través del punto detectado. El punto de intersección de las dos rectas proporciona entonces las coordenadas tridimensionales del punto detectado.

De manera alternativa también es posible que la unidad de procesamiento de datos de la posición reciba desde las cámaras de seguimiento conjuntos de datos de la posición sin identificación del objeto respectivo. Los conjuntos de datos de la posición suministrados para cada ventana de tiempo por parte de la cámara de seguimiento contienen entonces solamente coordenadas del objeto sin una identificación del objeto, que asocia estas coordenadas a un objeto. De hecho, esto significa que las cámaras de seguimiento no tienen ninguna función de seguimiento y la asociación por parte de las cámaras en forma de coordenadas suministradas por conjuntos de datos de la posición a objetos individuales se realiza, por ejemplo, como jugadores individuales o una pelota exclusivamente en la unidad central de procesamiento de datos de la posición.

En esta forma de realización alternativa de la unidad de identificación del objeto, el procesador de datos de la posición debe ser suficiente en la asociación de los conjuntos de datos de la posición específicos de la cámara para el cálculo de una posición global de un objeto real sin identificaciones del objeto específicas de la cámara o ya globales. A tal fin, combina todas las asociaciones posibles de diferentes coordenadas de puntos de la imagen a partir de un conjunto de datos de la posición específicos de la cámara, respectivamente para el cálculo de la posición global de un objeto real. Si esta posición de la condición geométrica es suficiente para que la coordenada de altura de la posición del objeto en el sistema de coordenadas global corresponda a la del campo de juego, entones se han hallado los puntos de la imagen correspondientes entre sí. Este coincidencia automática de los puntos de la imagen se repite hasta que se ha calculado para todos los objetos reales las asociaciones correspondientes de los puntos de la imagen y se han calculado sus posiciones globales. Las identificaciones globales de los objetos se pueden asociar ahora automática o manualmente (por el operador) a los objetos reales y se pueden registrar junto con los datos de posición globales en un conjunto de datos de la posición global correspondiente en función del tiempo.

Los criterios para el seguimiento – es decir, la asociación de un conjunto de datos de la posición para una ventana de tiempo al conjunto de datos de la posición correspondiente, pero modificada en virtud del movimiento de los jugadores o de la pelota, de una ventana de tiempo siguiente – son:

-Los jugadores tienen coordenadas de la punta del pie (coordenadas-Z), que corresponden al suelo del campo de futbol.

-Los objetos solamente se pueden mover en una medida limitada en virtud de sus velocidad máxima dentro de una ventana de tiempo.

A partir de estos criterios se derivan reglas de seguimiento. La unidad central de procesamiento de datos de la posición está configurada para asociar los conjuntos de datos de la posición sobre la base de estas reglas de ventana de tiempo a ventana de tiempo, respectivamente, a objetos individuales y para realizar de esta manera el seguimiento.

Los datos de la posición calculados por las cámaras de seguimiento para un objeto respectivo pueden ser las coordenadas de un centro de gravedad respectivo de la superficie o de la punta del pie de un objeto (bidimensional) aislado por modulación en el plano (virtual) respectivo de la cámara.

A través de la combinación asistida por ordenador de todos los objetos de la imagen que representan todavía jugadores anónimos – representados con preferencia por medio de sus puntas de los pies – se pueden asociar entre sí a través de triangulación aquellos objetos desde diferentes imágenes de las cámaras, para los que resultan la coordenada-z del campo de juego. De esta manera se conoce qué objetos de la imagen específicos de la cámara se

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

corresponden entre sí. Con la ayuda de una imagen de control de vídeo, el operador de seguimiento puede asociar una identificación (ID global) al objeto seguido de esta manera con éxito.

En este caso, el módulo de seguimiento, en particular la unidad central de procesamiento de datos de la posición, está configurado para distinguir al menos dos, con preferencia tres tipos diferentes de objetos. Estos objetos diferentes son, por una parte, objetos móviles, que se distinguen en objetos activos de movimiento propio (por ejemplo, jugadores de futbol) y objetos pasivos movidos desde fuera (por ejemplo, la pelota de futbol). Opcionalmente, el módulo de seguimiento detecta también objetos fijos inmóviles, por ejemplo la portería de futbol. Puesto que los últimos objetos mencionados son fijos estacionarios, su posición e identificación del objeto se pueden registrar también fácilmente en una base de datos o bien del módulo de seguimiento o del módulo de análisis.

Las identificaciones de los objetos específicas de las cámaras – en el caso de que sean generadas – y la identificación del objeto global para cada objeto – especialmente la pelota de futbol o un jugador determinado – pueden ser idénticas entre sí o se pueden distinguir entre sí. En el primer caso mencionado, las identificaciones delobjeto son globalmente idénticas para cada reproducción virtual de un objeto real (pelota, jugadores, etc.). Éste es especialmente el caso cuando incluso no se predeterminan identificaciones del objeto específicas de la cámara, sino que se generan identificaciones del objeto domo identificaciones globales del objeto solamente en la unidad central de procesamiento de datos de la posición.

En el caso de que se predeterminen identificaciones del objeto específicas de la cámara, se puede realizar la asociación de las identificaciones locales del objeto específicas de la cámara a una identificación global respectiva del objeto una vez al comenzó de un periodo de tiempo de detección, es decir, por ejemplo al comienzo de un partido de futbol. En el marco de esta asociación e identificación se pueden asociar las identificaciones globales del objeto también manualmente a objetos reales, es decir, por ejemplo, a jugadores individuales y a la pelota en un partido de futbol.

Este último es el caso también cuando se generan de forma centralizada exclusivamente identificaciones globales del objeto. La asociación de las identificaciones globales de los objetos a objetos reales se realiza también en este caso con asistencia manual, por ejemplo al comienzo del juego o después de interrupciones del juego. Partiendo desde una situación de partida, entonces se puede realizar el seguimiento posterior sobre la base de las reglas mencionadas anteriormente en gran medida de forma automática. Solamente después de la cobertura del objeto puede ser necesaria también durante el desarrollo del juego una asistencia manual de la asociación.

Para que no sea necesaria una identificación local del objeto, es decir, para poder aplicar también módulos de modulación sin previsión de la identificación del objeto en sistemas para el cálculo de la posición de objetos detectados por medio de cámaras, deben asociarse, por lo tanto, entre sí los puntos de la imagen transferidos desde todas la cámaras a la unidad central de seguimiento en forma de coordenadas de la imagen. Esto se puede realizar en la unidad de seguimiento central bajo la aplicación de las reglas mencionadas anteriormente de forma automática, seleccionando a partir de todas las asociaciones posibles aquéllas que cumplen la condición geométrica de que la coordenada de la altura de la posición del objeto corresponde en el sistema de coordenada global a la del campo de juego. Este proceso automático debe realizarse naturalmente por razones de rendimiento solamente antes del comienzo de un partido de futbol para la inicialización del sistema de seguimiento y en el caso de que se reconozcan “interferencias” del proceso de seguimiento (por ejemplo, los jugadores se cubren y se distancian de nuevo unos de los otros de nuevo, confusión de jugadores) para el restablecimiento de la asociación de puntos de la imagen. La identificación de objetos calculados de esta manera en su posición en el sistema de coordenadas global (identificación global de objetos) se realiza a través del operador siempre poco antes del comienzo del juego o en caso necesario durante el juego en las situaciones de interferencia mencionadas anteriormente.

Con preferencia, el sistema de análisis de la situación comprende un módulo de visualización, que presenta una unidad de visualización, que está conectada con el módulo de análisis y está configurada para acceder en cualquier momento a las estructuras de datos respectivas y para derivar a partir de éstas unas representaciones gráficas, en función del tiempo y dinámicas de las posiciones y constelaciones del objeto y adicionalmente, dado el caso, también estadísticas.

El módulo de visualización está configurado en este caso para generar una reconstrucción óptica del juego o de una parte del juego. En este caso se puede seleccionar un punto de partida virtual discrecional dentro del juego, de manera que se puede representar una escena especialmente interesante o contenciosa, por ejemplo desde el punto de vista del árbitro, de un jugador o de una posición, para la que no existen datos de imágenes originales.

La invención se explica a continuación con la ayuda de un ejemplo de realización, a saber, de un sistema de análisis del juego para un juego al futbol. A este respecto:

La figura 1 muestra una primera visión de conjunto de una forma de realización preferida del módulo de seguimiento.

La figura 2 muestra un diagrama de bloques de una unidad de seguimiento basada en cámara.

5

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

La figura 3 muestra un diagrama de bloques simplificado de una cámara de seguimiento digital (DTK).

La figura 4 muestra una visión esquemática de conjunto sobre el módulo de seguimiento y el módulo de análisis del sistema descrito.

La figura 5 muestra una visión esquemática de conjunto sobre un módulo de visualización del sistema descrito, que se puede conectar detrás del módulo de análisis de la figura 4.

La figura 6 muestra una representación esquemática de bloques de los componentes de una cámara de medición (cámara de seguimiento).

La figura 7 muestra un diagrama de flujo para la representación del modo de trabajo del módulo de análisis o bien de su procesador de análisis.

La figura 8 muestra una representación sencilla de una situación de juego, en la que se representan los jugadores por medio de puntos. Esta representación es dinámica, es decir, que se mueven los puntos que representan a los jugadores.

La figura 9 muestra una representación sencilla de una situación de juego similar a la mostrada en la figura 8, en la que para cada punto similar a un trazo se representan también los puntos que se van desvaneciendo cada vez más con respecto a los instantes precedentes.

La figura 10 muestra una representación simplificada de una situación del juego, que se basa ya en un análisis estratégico, basado en reglas, de la situación del juego.

La figura 1 muestra una primera visión de conjunto de una forma de realización preferida del módulo de seguimiento. El módulo de seguimiento contiene varias unidades de seguimiento (TU). En el ejemplo, están previstas una unidad de seguimiento basada en sensor y una unidad de seguimiento basada en cámara. Adicionalmente, pueden estar previstas otras unidades de seguimiento, por lo que en el diagrama de bloques se puede ver un soporte para otras unidades de seguimiento (“otras TU”).

Todas las unidades de seguimiento están conectadas, con preferencia bidireccionalmente, con el procesador de la posición de identificación de la comunicación (VIPP). Este VIPP contiene la unidad central de procesamiento de datos de la posición, que asocia los conjuntos de datos obtenidos desde las unidades de detección de objetos a objetos reales.

El módulo de seguimiento está conectado con el módulo de análisis, con el módulo de visualización y con la base de datos del sistema. La base de datos del sistema está conectada, además, también con el módulo de análisis y con el módulo de visualización, para registrar todos los conjuntos de datos creados durante la detección y ponerlos, a demanda, a la disposición de los componentes del sistema.

El módulo de análisis se comunica, de nuevo con preferencia bidireccionalmente, con el módulo de visualización y con el procesador de la posición de identificación de la comunicación. El módulo de visualización asume los cometidos de la reproducción y representación técnica de los datos de escenas del juego o de otras representaciones de información. Las reproducciones generadas por el módulo de visualización de escenas del juego pueden corresponder a la impresión óptica de la escena de juego registrada por una cámara desde un punto de partida móvil, libremente opcional. Por lo tanto, aunque solamente está presente un número fijo de cámaras reales, se pueden calcular y representar en cualquier momento imágenes para una posición discrecional del observador. En este caso es posible contemplar una escena del juego desde la visión de un jugador determinado, tal vez del portero sobre la pelota que se aproxima, del árbitro o de uno de sus asistentes o desde la visión de la propia pelota. Para análisis tácticos del juego es especialmente interesante la posibilidad de crear una vista en planta superior del juego, con cuya ayuda se puede controlar el posicionamiento de cada jugador tal vez durante la cobertura del espacio.

El módulo de visualización puede estar conectado con una instalación de emisión no representada en la figura para imágenes de vídeo, para que se puedan incorporar las imágenes (y dado el caso tonos) creadas por el módulo de visualización en una transmisión o registro de un juego de futbol.

La figura 2 muestra un diagrama de bloques de una unidad de seguimiento basada en cámara. La unidad de seguimiento dispone de varias subunidades, que contienen, respectivamente, una cámara de seguimiento digital (DTK). En el diagrama de bloques se representan tres de ellas. Las cámaras de seguimiento están conectadas con el procesador de la posición de identificación, que contiene la central de detección de objetos de la unidad de seguimiento basada en cámara. Adicionalmente, cada DTK contiene con preferencia una unidad propia de detección de objetos, que no se representa propiamente en el diagrama de bloques. Las unidades de detección de objetos están configuradas para aplicar diferentes procedimientos de modulación sobre los datos de la imagen detectados por la DTK respectiva, de manera que los datos utilizables ya para el aislamiento de los objetos detectados están disponibles en las entradas del procesador de la posición de identificación y éste se descarga en cuanto a la técnica de cálculo.

10

15

20

25

30

35

40

45

50

55

60

E06723719

28-01-2015

El procesador de la posición de identificación está conectado con la unidad de transmisión de datos de la unidad de seguimiento, que se comunica bidireccionalmente con la unidad central de procesamiento de datos de la posición, Puesto que las DTKs individuales están distribuidas en diferentes lugares alrededor y sobre el campo de juego, también cada DTK contiene una unidad de transmisión de datos, a través de la cual está conectada con el procesador de la posición de identificación.

La figura 3 muestra un diagrama de bloques simplificado de una cámara de seguimiento digital (DTK). Los componentes ´ópticos y electrónicos para la generación de imágenes han sido agrupados en el diagrama de bloques en un bloque designado como “sensor de imágenes”. En principio, esta parte de la DKT está constituida de acuerdo con el tipo conocido en el estado de la técnica. Las imágenes generadas por el sensor de imágenes son transmitidas unidireccionalmente a la unidad de detección de objetos de la DTK. Ésta está configurada para aplicar los procedimientos de modulación ya mencionados sobre datos de imágenes y para transmitir los datos de los resultados intermedios a la central de detección de objetos o bien a la unidad central de procesamiento de datos de la posición. En técnico ponderará en su estructura del sistema qué etapas del procedimiento deben ser realizadas en este caso por la unidad de detección de objetos de la DTK y cuáles por la central de detección de objetos. Los aspectos importantes para la decisión con una descarga lo más uniforme posible de las diferentes unidades de procesamiento de datos y una anchura de banda necesaria lo más reducida posible para la transmisión de los datos de los resultados intermedios entre las unidades de procesamiento individuales.

Para la detección de todos los movimientos del objeto sobre un campo de juego se emplean al menos cuatro cámaras de medición digitales y calibradas internamente como cámaras de seguimiento. Éstas son posicionadas alrededor de toda el área, de tal manera que, en general, se puede registrar cada posición sobre el campo de juego por al menos dos cámaras de medición. Las cámaras están configuradas en cada caso con un ordenador en miniatura, que evalúa las imágenes de las cámaras en su memoria de trabajo (extracción de todos los contornos del objeto) solamente emite la posición de la imagen – respectivamente representada por el centro de gravedad o el punto de base de las superficies del objeto calculadas por procedimientos de modulación – de todos los objetos extraídos para el procesamiento siguiente sobre la red estándar a un procesador central de datos de la posición (unidad central de procesamiento de datos de la posición). En el ejemplo de realización concreto, las imágenes de la cámara no son registradas permanentemente en ningún instante. En su lugar, respectivamente, se extraen inmediatamente los objetos por extracción del contorno, es decir, por medio de un procedimiento de modulación y se determinan los datos de la posición correspondientes -con preferencia de las coordenadas del punto de base o centro de gravedad de un objeto bidimensional aislado – en el espacio de la imagen bidimensional respectivo de cada cámara. Por lo tanto, las cámaras se pueden considerar como puras cámaras de seguimiento. No obstante, en una forma de realización alternativa, se puede prever también el registro de las imágenes de la cámara para evaluación posterior. No obstante, en virtud de la funcionalidad en tiempo real del sistema no es necesario un registro para análisis y visualización.

Para la obtención de resultados óptimos de modulación se pueden seleccionar entre cuatro procedimientos de extracción del contorno o bien de modulación conocidos, en principio, por el técnico, a saber modulación de color, modulación de la diferencia, modulación de a luminancia o detección de los cantos.

Las cámaras de seguimiento se pueden determinar para cada campaña de medición en su posición y orientación con relación a un sistema de coordenadas mundial (sistema de coordenadas global). De esta manera se pueden transformar, por una parte, todas las coordenadas de la imagen (datos de la posición locales) emitidas de forma sincronizada por las cámaras de seguimiento sobre la red – a intervalos de tiempo lo más cortos posible – en el procesador de datos de la posición (unidad central de detección de datos de la posición) en posiciones del objeto en este sistema de coordenadas mundial, Por otra parte, la relación a un sistema de coordenadas mundial abre la posibilidad para la evaluación de propiedades métricas del movimiento (por ejemplo, distancias, velocidades).

La unidad central de detección de datos de la posición (procesador de datos de la posición) recibe a intervalos de tiempo cortos (en el ejemplo de realización con una tasa de repetición de al menos 12 Hz, con preferencia 25 Hz) de forma sincronizada por todas las cámaras de seguimiento las coordenadas de la imagen de los objetos registrados, respectivamente, en forma de conjuntos de datos de la posición locales, incluyendo la identificación local respectiva del objeto. A partir de ello, la unidad central de detección de datos de la posición calcula para todos los objetos sus posiciones espaciales. A tal fin, un procesador de identificación del objeto recibe estos datos de la posición y lleva a cabo una identificación de los objetos – incluyendo una asociación de las identificaciones locales respectivas de los objetos a la identificación global correspondiente del objeto – sobre la base de los resultados obtenidos en los ciclos de seguimiento inmediatamente precedentes. Los datos de la posición y de a identificación (que corresponden a los conjuntos de datos de la posición global además de la identificación global correspondiente del objeto como información de identificación) son representados permanentemente en una pantalla, para que una persona de supervisión como operador o supervisor de identificación pueda realizar eventualmente correcciones. Si se producen cobertura, etc., el operador debe intervenir y debe realizar manualmente la asociación. En este caso, es asistido a ser posible por funciones del sistema (por ejemplo, pre-selección en virtud de la proximidad espacial).

Los datos de la posición y de identificación (conjunto de datos de la posición e identificaciones del objeto) son transferidos en el ciclo del sistema de transferencia a través de la red estándar al módulo de análisis. Allí se acumulan estos datos tanto en estructuras de datos como también en memorias de masas. Simultáneamente a ello,

10

15

20

25

30

35

40

E06723719

28-01-2015

un procesador de análisis basado en reglas del módulo de análisis evalúa los datos de la posición y los datos de identidad presenten en forma de conjuntos de datos de la posición global y de la identificación correspondiente respectiva del objeto, tan pronto como, respectivamente, se ha realizado una nueva entrada en la base de datos de la posición y se forma una estructura de datos “contactos de la pelota”, que describe quién, cuándo y dónde ha estado en posesión de la pelota. A través de la modelación de poseedores “artificiales” de la pelota, como portería, postes de la portería, línea exterior de la portería, etc. se pueden registrar todos los acontecimientos relevantes del juego y se pueden depositar en una forma unitaria. Las reglas utilizadas para el análisis se basan en la consulta correlativa de las posiciones de la pelota y de los jugadores y sus modificaciones en comparación con los ciclos precedentes. Además, está previsto un análisis basado en el conocimiento en virtud de reglas, que tiene en cuenta la teoría del juego y las probabilidades para determinados acontecimientos del juego y ciclos en virtud de estados teóricos registrados previamente o introducidos y valores experimentales. Los contactos de la pelota analizados automáticamente sin representados para una persona que sirve para la supervisión del análisis (supervisor del análisis) en una pantalla. A través de medios de interacción adecuados preparados por el sistema, el supervisor del análisis puede corregir interpretaciones falsas.

La estructura de datos de los contactos de la pelota está constituida por una lista de conjuntos de datos, que están enlazados, respectivamente, con sus conjuntos de datos adyacentes. Los conjuntos de datos individuales contienen los siguientes elementos:

ID del jugador: Sello de tiempo 1 (comienzo de la posesión de la pelota Sello de tiempo 2 (Final de la posición de la pelota) Posición del jugador en el sello de tiempo 1 Posición del jugador en el sello de tiempo 2 Indicador del estado del juego

El procesador de análisis recibe desde el sistema operativo a la entrada de un nuevo conjunto de datos en la base de datos de la posición el control sobre la ejecución del programa, después de lo cual éste puede evaluar inmediatamente la situación de juego modificada (ver el diagrama de flujo). Puesto que el procesador de análisis se basa en reglas, opera sobre la base de un conjunto previamente registrado de reglas de análisis, que predeterminan el procesamiento de los datos de la posición y de identificación a través del procesador de análisis.

Para la aplicación de las reglas de análisis es necesario describir de forma asistida por programa el estado del juego y en particular de la pelota por medio de una estructura de datos del estado del juego. Esta estructura de datos tiene las siguientes entradas:

ID del jugador de la última posesión de la pelota: Estado de posesión de la pelota (Sí | no) Estado del juego (activo | no activo) Vector 3D actual del movimiento de la pelota Velocidad actual del movimiento de la pelota

Las siguientes reglas se aplican canónicamente para el análisis de la posesión de la pelota: ¿Está el juego interrumpido? En caso negativo ->

¿Se han modificado significativamente el vector del movimiento de la pelota o a velocidad de la pelota? En caso afirmativo -> ¿Se encuentra la pelota a una altura alcanzable para un jugador o se refiere a un artefacto? En caso

afirmativo, ¿Qué jugador o qué artefacto está más próximo a la pelota, debiendo mantenerse una distancia máxima establecida (“Proximidad mínima”)? Si se encuentra -> ¿Ha estado este jugador o este artefacto ya en posesión de la pelota?

Las siguientes operaciones especiales de la lógica de análisis (es decir, del procesador de análisis) se pueden realizar en las situaciones indicadas a continuación: Si el juego está interrumpido, se establece la estructura de datos del estado de juego como se indica a continuación:

ID del jugador de la última posesión de la pelota = NINGUNO: Estado de posesión de la pelota (sí | no) = NO Estado del juego (activo | no activo) = NO ACTIVO Vector 3D actual del movimiento de la pelota = valor actual, si está disponible, indefinido en otro caso Velocidad actual del movimiento de la pelota = valor actual, si está disponible, indefinido en otro caso

10

15

20

25

30

35

40

45

50

55

E06723719

28-01-2015

Si el jugador que lleva la pelota reconocido actualmente es idéntico con el jugador que lleva la pelota registrado en último lugar, entonces no se registra ningún conjunto de datos nuevo en la estructura de datos de contacto con la pelota, sino el elemento “Sello de tiempo 2” y se actualiza el elemento “Posición del jugador” correspondiente de la última entrada. Se realizan cálculos correspondientes de la misma manera para posibles contactos con la pelota y a partir de ello se calculan variantes tácticas.

La estructura de datos para datos de la posición y de identificación relacionados con el tiempo sirve en este caso como base para el cálculo del “juego sin pelota” tanto respectivo como también anticipatorio. Objeto del análisis son con complejidad creciente, respectivamente:

 Trayectos recorridos, velocidad, aceleración de un jugador

 Espacios de estancia y radios de acción de un jugador y del equipo

 Juego de formación de los equipos

 Cobertura del espacio

 Combinaciones

La estructura de datos para datos de contacto con la pelota con relación al tiempo sirve de manera correspondiente como base para el cálculo del “juego con la pelota”. Objeto del análisis son, en complejidad creciente, respectivamente:

 Número y tipo de los pases erróneos (en el juego de pase corto o en “balones largos” en el ataque, medio

campo o en la defensa)

 Estaciones de juego preferidas y jugadores de paso doble

 Número de juegos de pase largo y de pase corto

 Claridad de pase

 Comportamiento de duelo uno a uno de un jugador

 Duración de tempo y ganancia de espacio de una concatenación de pases

 Juego fluido, indicaciones sobre acciones de juego coherentes

La evaluación combinada de ambas estructuras de datos se emplea en el análisis de escenarios de ataque y de tiro a puerta así como de situaciones a la contra. Estas estructuras encuentran entrada de la misma manera en el cálculo del juego táctico del equipo y su modificación en el transcurso del juego.

A través de una fijación temporal de parámetros de los estados teóricos de un juego es posible extrapolar situaciones de juego conocidas al futuro inmediato y de esta manera anticipar acciones de juego exitosas. Esta funcionalidad se puede emplear tanto en el entrenamiento fuera de línea como también durante un juego en línea (en tiempo real).

Objeto de la anticipación del juego son en complejidad creciente, por ejemplo:

 Estación de juego óptima y concatenación de pases

 Peligro o bien posibilidad de juego a la contra

 Peligro para la puerta bien alcance de una puerta

 Prevención de un ataque

 Casos de fuera de juego

Además, se comparan los análisis relacionados con la formación y relacionados con el equipo con estados de juego correspondientes – calculados por medio de algoritmos o representados explícitamente – de las situaciones de juego respectivas, a partir de lo cual se puede determinar la aplicación real de una táctica a partir de la teoría del juego.

Para la evaluación adicional de los datos de la posición y de identificación así como de los contactos de la pelota derivados de ellos está previsto un módulo de visualización. Éste presenta una unidad de visualización, a través de la cual el módulo de visualización puede acceder en cualquier momento a las estructuras de datos respectivas. Una base de datos de formación del equipo inicializada al comienzo del juego y eventualmente actualizada durante el juego está disponible de la misma manera para la evaluación para fines de estructuración.

Un procesador de visualización del módulo de visualización ejecuta los cálculos de análisis y las instrucciones de animación, que se especifican a través de una herramienta muy flexible y de manejo rápido: un grafo de análisis y de visualización, que posibilita establecer a través de la estructura de una red de nodos de procesamiento de datos el tipo y la secuencia de las operaciones de cálculo y de representación deseadas.

Los nodos se caracterizan porque procesan los datos que se encuentran en su “entrada” de acuerdo con su cometido y acondicionan los resultados en su “salida” para el nodo siguiente. Así, por ejemplo, el nodo “estaciones de juego preferidas” espera como entrada el nombre de un jugador y el intervalo de tiempo a evaluar. El resultado, una lista de rango y jugadas activadas, puede servir para un filtro numérico como dato de entrada, que establece cuantos jugadores de la lista deben ser tenidos en cuenta para la emisión del grafo. Los datos de análisis establecidos de esta manera se pueden alimentar a otro filtro de tarjetas gráficas, que establece en qué forma debe

10

15

20

25

30

35

40

45

50

E06723719

28-01-2015

representarse la estadística (tarjetas de barras, tarjetas circulares, etc.). Una visualización se puede realizar también sobre la base de otros algoritmos, por ejemplo lineales convencionales.

En visualizaciones dinámicas más complejas se pueden calcular, por ejemplo, las velocidades de los jugadores. A tal fin, se activa el nodo para el cálculo de la velocidad y se conduce sobre el lado de entrada con los datos sobres la ID de los jugadores y el intervalo de tiempo a evaluar.

La invención se caracteriza, además, por que tanto los datos de movimiento obtenidos a partir del seguimiento del objeto como también los datos estadísticos y los datos estructurales derivados de su análisis son representados por medio de un componente de visualización en tiempo real inmediatamente en gráficos dinámicos. De esta manera, en el caso de la aplicación del sistema con un tipo de deporte de equipo, además de la pura representación de las posiciones en el espacio de los jugadores, se obtiene también la visualización expresiva del juego inmediato “en la pelota” y del juego táctico del equipo. Además, a través de la animación en tiempo real sobre la base de los resultados del análisis de la predicción se convierten las situaciones inminentes de juego reaccionando de manera intuitiva y drástica.

El componente de la visualización acondiciona tanto para la representación integral de resultados de análisis y de imágenes de vídeo como también para la aplicación exclusiva del módulo de visualización unas posibilidades de control para la disposición jerárquica de las fuentes de imágenes individuales o bien de los elementos gráficos generados con respecto al primer plano y al segundo plano. Éstas se realizan de la misma manera como operaciones (representadas por nodos) en grafos de visualización.

El gráfico estadístico que resulta a partir de la evaluación a través del módulo de visualización o la animación de análisis se pueden representar en una pantalla y/o se pueden transmitir en un protocolo establecido a través de una red a un servidor de representación remoto, que transforma la animación en una señal de vídeo. Ejemplos de representaciones gráficas generadas por el módulo de visualización de un ciclo del juego se representan en las figuras 8 a 10.

Para la integración de las visualizaciones de los resultados del análisis en una transmisión en directo por TV u otras imágenes de vídeo o impresas, se sincronizan las dos secuencias de imágenes – a saber, la toma de vídeo propiamente dicha y las generadas por el módulo de visualización – en cuanto a la geometría y al tiempo. La sincronización geométrica y temporal se realiza también para secuencias de imágenes llamadas en un instante posterior.

Para la sincronización geométrica se pueden determinar tanto los parámetros de representación internos de la cámara de vídeo (punto medio de la imagen y factor de escala horizontal en función del foco) como también la posición y la orientación de referencia en un sistema de coordenadas mundial. En el caso de cámaras de vídeo analógicas es necesaria para esta etapa una digitalización de las secuencias de imágenes. Además de la calibración propiamente dicha, también los puntos de paso utilizados a tal fin del campo de juego son similares a los del procedimiento de seguimiento descrito anteriormente, con lo que se puede utilizar un sistema de coordenadas mundial unitario.

Para la sincronización temporal se comparan el registro del código de tiempo de la cámara de vídeo y el registro de tiempo del sistema de seguimiento/análisis al comienzo del juego o de manera alternativa se prevé un generador central de pulso de reloj, que predetermina el mismo código de tiempo para todas las cámaras. Para la integración de las visualizaciones de análisis con secuencias de imágenes de cámara pivotables no estáticas se detecta adicionalmente la orientación (ángulo de articulación y ángulo de inclinación) de estas cámaras en su modificación temporal y se proporciona al módulo de visualización. De esta manera, el módulo de visualización puede calcular los resultados del análisis en cualquier instante en la perspectiva de la cámara de vídeo y se puede conducir de forma sincronizada en el tiempo a una unidad para la integración de las secuencias de imágenes.

Claims

5

10

15

20

25

30

35

40

45

50

55

60

E06723719

28-01-2015

REIVINDICACIONES

1.-Sistema de análisis de la situación para la detección y seguimiento de objetos móviles dentro de un espacio limitado a través de un periodo de tiempo predeterminable y para el análisis de constelaciones de objetos y episodios de tiempo así como situaciones durante el periodo de tiempo, con varias unidades de seguimiento, que presentan, respectivamente, al menos una subunidad en forma de una cámara, que está dispuesta y alineada de tal manera que puede detectar el espacio limitado y los objetos fijos y móviles que se encuentran en él, en el que las cámaras contienen, respectivamente, un objetivo y un sensor de detección de imágenes, y con una unidad central de procesamiento de datos de la posición, que está configurada para determinar para un objeto real respectivo una posición global del objeto real respectivo en el espacio registrado y para generar para cada objeto real una identificación global del objeto y un conjunto de datos globales respectivos de la posición en función del tiempo, en el que las cámaras de las unidades de seguimiento contienen, respectivamente, una unidad de adquisición de imágenes y una unidad de reconocimiento de objetos, cuya unidad de reconocimiento de objetos está configurada para aislar objetos individuales en imágenes detectadas por el sensor de detección de imágenes y pre-procesadas por la unidad de adquisición de imágenes, y en el que cada unidad de seguimiento dispone de al menos una unidad de transmisión de datos, a través de la cual cada unidad de seguimiento está conectada con la unidad central de procesamiento de datos de la posición y que está configurada para permitir una comunicación bidireccional, de manera que cada unidad de seguimiento puede transmitir datos a la unidad central de procesamiento de datos de la posición, caracterizado por que la unidad central de procesamiento de datos de la posición puede transmitir a través de un canal de retorno a cada unidad de seguimiento individualmente o a varias unidades de seguimiento al mismo tiempo datos para el control del comportamiento de detección de las unidades de seguimiento.
2.-Sistema de análisis de la situación de acuerdo con la reivindicación 1, caracterizado por que al menos una unidad de seguimiento del sistema de análisis de la situación dispone de al menos un sensor emplazado en uno de los objetos a detectar y está configurada para determinar la posición del objeto provisto con el sensor por medio de ondas de sonar o señales electromagnéticos.
3.-Sistema de análisis de la situación de acuerdo con una de las reivindicaciones 1 ó 2, caracterizado por que al menos una unidad de seguimiento del sistema de análisis de la situación presenta al menos dos subunidades, respectivamente, con una cámara de medición, en el que las cámaras de medición de las subunidades de la unidad de seguimiento están dispuestas y alineadas de tal manera que pueden detectar el espacio limitado y los objetos fijos y móviles que se encuentran en él desde diferentes perspectivas y comprenden, respectivamente, un objetivo, un sensor de imágenes, una unidad de adquisición de imágenes y una unidad de procesamiento de imágenes, que están dispuestas y alineadas de tal forma que el objetivo respectivo proyecta una reproducción bidimensional del espacio detectado y de los objetos sobre un sensor de imágenes respectivo, que está conectado, por su parte, con una unidad de adquisición de imágenes respectiva para el pre-procesamiento de la imagen detectada por el sensor de imágenes, en el que la unidad de procesamiento de imágenes recibe datos de la imagen desde la unidad de adquisición de imágenes.
4.-Sistema de análisis de la situación de acuerdo con la reivindicación 1 ó 3, caracterizado por que la unidad de reconocimiento de objetos está configurada para aislar objetos individuales por medio de un procedimiento de modulación, como modulación de color, modulación de la diferencia, modulación de la luminancia o detección de cantos y para aplicar de acuerdo con criterios predeterminables de una manera variable a través del canal de retorno un procedimiento se modulación o varios procedimientos de modulación al mismo tiempo sobre los datos de imágenes detectados.
5.-Sistema de análisis de la situación de acuerdo con la reivindicación 3 o la reivindicación 4 con la reivindicación 3, caracterizado por que cada cámara de medición dispone de una memoria tampón, que está configurada para registrar una pluralidad de las imágenes registradas en cada instante del funcionamiento en último término por la cámara de medición.
6.-Sistema de análisis de la situación de acuerdo con la reivindicación 5, caracterizado por que cada cámara de medición está configurada para obtener imágenes en una primera resolución alta de imágenes y registrarlas en su memoria tampón y por que la unidad de procesamiento de imágenes de cada cámara de medición está configurada para calcular a partir de las imágenes obtenidas sucesivamente a través de la aplicación de un procedimiento de escala imágenes de una segunda resolución reducida y para transmitirlas a través de la unidad de transmisión de datos de la cámara de medición a la unidad central de procesamiento de datos de la posición así como para transmitirlas a demanda de la unidad central de procesamiento de datos de la posición de al menos una de las imágenes registradas en la memoria tampón de la primera resolución alta a la unidad central de procesamiento de datos de la posición.
7.-Sistema de análisis de la situación de acuerdo con una de las reivindicaciones 3, 4 con 3, 5 ó 6, caracterizado por que al menos una unidad de detección de imágenes de una unidad de seguimiento está configurada para detectar en la reproducción bidireccional detectada respectiva objetos individuales y su posición dentro de la reproducción bidimensional y para generar para cada objeto detectado en el instante respectivo un conjunto de datos de la posición específicos de la cámara con un distintivo de identificación unívoco , que solamente se predetermina una sola vez durante un juego, y para transmitir el conjunto de datos de la posición a la unidad central de procesamiento

14 5

10

15

20

25

30

35

40

E06723719

28-01-2015

de datos de la posición, en el que el conjunto de datos de la posición específico de la cámara para cada objeto recibe una identificación individual del objeto así como los datos de la posición específicos de la cámara asociaos a este objeto en el instante respectivo, y por que la unidad central de procesamiento de datos de la posición está configurada para asociar las identificaciones de los objetos respectivas, que proceden de las cámaras de medición individuales, entre sí, de manera que todas las identificaciones de los objetos están asociadas, respectivamente, a un objeto real, y para determinar la posición global del objeto real respectivo en el espacio detectado a partir de los datos de la posición específicos de la cámara de los conjuntos de datos de la posición específicos de las cámaras y para generar para cada objeto real una identificación global del objeto y un conjunto de datos de la posición global correspondiente en función del tiempo.

8-Sistema de análisis de la situación de acuerdo con una de las reivindicaciones anteriores, caracterizado por un módulo de análisis que genera una estructura de datos sobre la base de los conjuntos de datos de la posición global generados por la unidad central de procesamiento de datos de la posición, recibe los datos de tiempo y de la posición, que identifican aquellos periodos de tiempo y objetos, en los que algunos de los objetos detectados presentan una distancia espacial y un intervalo de tiempo entre sí reducidos frente a valores umbrales predeterminados, en el que el módulo de análisis está configurado para calcular la proximidad estrecha como una función del tiempo a través de la comparación de un valor de la distancia registrado, que debe predeterminarse, como valor umbral, con las distancias de los objetos que resultan a partir de los datos de la posición con relación a los objetos individuales.
9.-Sistema de análisis de la situación de acuerdo con la reivindicación 8, caracterizado por que el módulo de análisis está configurado para predeterminar a través del canal de retorno para cada unidad de seguimiento unos parámetros de funcionamiento, que indican la posición y la magnitud de una sección a transmitir en una resolución elevada desde la unidad de seguimiento hasta el módulo de análisis de una imagen igualmente designada y/o pueden referirse a criterios para la realización de un procedimiento de modulación o una combinación de procedimientos de modulación.
10.-Sistema de análisis de la situación de acuerdo con la reivindicación 9, caracterizado por que el módulo de análisis está configurado para derivar en virtud de la comparación de posiciones ya detectadas de objetos la dirección del movimiento y la velocidad del movimiento y para anticipar en virtud de reglas relacionadas con el juego situaciones especiales del juego y para predeterminar para la detección de estas situaciones especiales del juego ya antes de su aparición a través del canal de retorno parámetros de funcionamiento adaptados para al menos una unidad de seguimiento.
11.-Sistema de análisis de la situación de acuerdo con una de las reivindicaciones anteriores, caracterizado por un módulo de visualización, que presenta una unidad de visualización, que está conectada con el módulo de análisis y está configurada para acceder en cualquier momento a las estructuras de datos respectivas y para derivar a partir de éstas unas representaciones gráficas, dinámicas, en función del tiempo de las posiciones y de las constelaciones de los objetos.
12.-Sistema de análisis de la situación de acuerdo con la reivindicación 11, caracterizado por que el módulo de visualización está configurado para calcular y representar una representación gráfica virtual de una vista de todo el juego o de una parte del juego de acuerdo con la técnica de datos desde una perspectiva discrecional opcional, en particular móvil.

15