ES2609041T3

ES2609041T3 - Sistema y método para seguir objetos bajo oclusión

Info

Publication number: ES2609041T3
Application number: ES10810997.6T
Authority: ES
Inventors: Smader Gefen
Original assignee: Disney Enterprises Inc
Current assignee: Disney Enterprises Inc
Priority date: 2009-12-09
Filing date: 2010-12-09
Publication date: 2017-04-18
Anticipated expiration: 2030-12-09
Also published as: WO2011072123A3; EP2510377A2; US8731239B2; BR112012013525A2; US20110135149A1; WO2011072123A2; EP2510377B1; BR112012013525B1; MX2012006611A

Abstract

Un método implementado por ordenador para seguir objetos en una escena, que comprende: recibir información visual de la escena con un sistema de seguimiento basado en visión (110); recibir información basada en telemetría de la escena con un sistema de seguimiento basado en sistema de localización en tiempo real (RTLS) (712); y caracterizado por que: cuando cada uno del sistema de seguimiento visual (110) y el sistema de seguimiento basado en RTLS (712) no pueden identificar de manera independiente una localización e identidad del primer objeto, determinar la localización y la identidad de un primer objeto en la escena combinando la información visual con la información basada en telemetría, en el que el sistema de seguimiento basado en RTLS (712) predice la localización del primer objeto a localizar en al menos un anillo espacial, y en el que al menos un anillo espacial está centrado alrededor de al menos un lector de sistema de seguimiento basado en RTLS (130) o al menos un transpondedor.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Sistema y metodo para seguir objetos bajo oclusion Campo de la invencion

Las realizaciones de la presente invencion se refieren a vision informatica, procesamiento de imagenes y Sistemas de Localizacion en Tiempo Real (RTLS).

Antecedentes

Los metodos basados en vision informatica para seguir multiples objetos se basan en la apariencia distintiva y modelos de movimiento conocidos de objetos para localizarlos e identificarlos de manera continua en la escena. En general, la fidelidad de los datos posicionales generados mediante los metodos basados en vision es alta. Sin embargo, cuando los objetos que se estan siguiendo se mueven en grupos, complica el proceso de seguimiento. Numerosas tecnicas tratan el desaffo de seguir objetos que experimentan oclusion. Tales algoritmos que intentan resolver este problema normalmente son satisfactorios, siempre que los objetos posean apariencias distintivas y su movimiento sea uniforme. Sin embargo, en la practica, los objetos pueden tener apariencias similares y su movimiento bajo oclusion puede ser impredecible. Tales situaciones tienen lugar en un juego de equipo (futbol, baloncesto, etc.) donde los jugadores tienden a juntarse en grupos.

Una alternativa a sistemas de seguimiento basados en vision es usar tecnologfa de RTLS. Un RTLS es una tecnologfa de localizacion disenada para detectar y seguir personas asf como bienes. Incluye transpondedores (componentes transmisor/respondedor) fijados a objetos dinamicos, lectores portatiles o fijos (transceptores - transmisor/receptor - componentes), y una aplicacion de servidor. Una metodologfa de RTLS abarca diversas tecnologfas incluyendo infrarrojos, sonido, ultrasonidos, Wi-Fi, identificacion por frecuencia de radio (RFID), ultra banda ancha, GPS y celular. Cada tecnologfa esta mejor adecuada para una cierta aplicacion dependiendo de parametros tales como requisitos de alimentacion, alcance, aplicabilidad en interiores frente a exteriores, exactitud espacial (granularidad), latencia y velocidad de datos.

Esencial para el RTLS es la caractenstica del transpondedor (etiqueta). Los objetos bajo seguimiento pueden etiquetarse por etiquetas pasivas, semi-pasivas o activas. Un transpondedor pasivo no tiene una batena y, por lo tanto, no inicia una comunicacion. Se alimenta mediante la senal recibida y responde reflejando esta senal usando una tecnica denominada retrodispersion. La senal reflejada se modula con datos almacenados en la memoria de la etiqueta. El alcance de una etiqueta pasiva (hasta 100 metros) es una funcion de la intensidad de senal del lector y de la antena de la etiqueta. Ffsicamente es pequena y ligera, sin ninguna capacidad de procesamiento y, por lo tanto, economica. Al igual que los transpondedores pasivos, los transpondedores semi-pasivos no inician comunicacion pero usan una tecnica de retrodispersion para responder a la senal recibida. Sin embargo, tienen su propia batena (hasta una durabilidad de 10 anos) que se usa principalmente para alimentar sensores ambientales, que miden temperatura o movimiento, por ejemplo, o para aumentar alcance de operacion. El alcance y tamano operacional son comparables a aquellos de un transpondedor pasivo. Por otra parte, los transpondedores activos estan equipados con una batena (hasta una durabilidad de 5 anos) que se usa para alimentar su circuitena y generar senales de transmision. Por lo tanto, los transpondedores activos pueden iniciar la comunicacion periodicamente o cuando se activan por un sensor fijado. Sin embargo, las transmisiones frecuentes consumen mas energfa y acortan la vida de la batena. Dependiendo del tipo de batena, un transpondedor activo es ffsicamente mayor que un transpondedor pasivo, su alcance puede alcanzar hasta varios cientos de metros, y su capacidad de procesamiento es mejor ya que puede contener un chip informatico.

Aunque RTLS es una tecnologfa prometedora y emergente, sufre de dificultades ffsicas, incluyendo desvanecimiento multitrayectoria, atenuacion de senal, velocidad de datos limitada, latencia y, de manera mas importante, la necesidad de tener multiples lmeas de vision (LOS). En algunas aplicaciones, se requiere un RTLS para identificar y localizar objetos con alta exactitud y precision. Por ejemplo, al seguir jugadores en un juego de equipo, los datos posicionales de los jugadores durante la difusion de juego en vivo son decisivos para la anotacion en tiempo real (telestracion) y para calcular las estadfsticas de rendimiento de los jugadores. Puesto que la mayona del tiempo los jugadores se mueven rapidamente y en proximidad cercana de menos de varias decenas de centfmetros.

Los que es necesario son metodos mejorados para utilizar tecnologfa basada en vision y tecnologfa de RTLS para seguir jugadores en un juego que estan ocluidos o en un grupo.

El documento US2004/0164858 analiza un sistema de vigilancia de video integrado con un sistema de seguimiento de RFID. El documento WO 2007/018523 analiza un enfoque de fusion de imagen unificado que implica seguidores de video, sistemas de RFID y de localizacion y sistemas biometricos.

Breve descripcion de los dibujos

Se describen realizaciones de la invencion con referencia a los dibujos adjuntos. En los dibujos, numeros de

5

10

15

20

25

30

35

40

45

50

55

60

65

referencia similares pueden indicar elementos identicos o de funcionalidad similar. El dibujo en el que un elemento aparece en primer lugar se indica mediante el d^gito mas a la izquierda en el numero de referencia correspondiente.

Las Figuras 1A-1B muestran diagramas de bloques de nivel alto de un sistema de seguimiento sinergico propuesto de acuerdo con una realizacion.

La Figura 2 muestra un diagrama de un metodo de ubicacion por trilateracion en el caso bidimensional de acuerdo con una realizacion.

La Figura 3 muestra un diagrama que demuestra usar una lmea de vision (LOS) para resolver errores en identificacion de objetos de acuerdo con una realizacion.

La Figura 4 ilustra la ubicacion de objetos ocluidos en un grupo de acuerdo con una realizacion.

La Figura 5 ilustra la ubicacion de objetos ocluidos en un juego de futbol de acuerdo con una realizacion.

La Figura 6 ilustra deteccion de postura y seguimiento usando transpondedores fijados a unas articulaciones del objeto de acuerdo con una realizacion.

La Figura 7 ilustra un diagrama de bloques de un sistema de seguimiento sinergico de acuerdo con una realizacion. La Figura 8 ilustra un lector de sistema de ubicacion en tiempo real (RTLS) ejemplar de acuerdo con una realizacion. La Figura 9 ilustra una etiqueta de RTLS ejemplar de acuerdo con una realizacion.

La Figura 10 ilustra un diagrama de temporizacion de RTLS ejemplar de acuerdo con una realizacion.

La Figura 11 ilustra un dispositivo informatico de ejemplo que puede usarse en las realizaciones de esta invencion. Descripcion detallada

Se proporcionan metodos y sistemas para seguir objetos durante un evento. Aunque se describe la presente invencion en el presente documento con referencia a realizaciones ilustrativas para aplicaciones particulares, debena entenderse que la invencion no esta limitada a las mismas. Los expertos en la materia con acceso a las ensenanzas proporcionadas en el presente documento reconoceran modificaciones, aplicaciones y realizaciones adicionales dentro del alcance de las mismas y de los campos adicionales en los que la invencion sena de utilidad significativa.

Las realizaciones descritas en el presente documento se refieren a utilizar tecnologfa de RTLS en combinacion con tecnologfa basada en vision para seguir e identificar multiples objetos en tiempo real. Las realizaciones pueden referirse tambien a un sistema en el que se combinan tecnologfas basadas en RTLS y en vision para aumentar la fidelidad del sistema de seguimiento global. Realizaciones adicionales pueden describir un metodo para mantener seguimiento e identificacion continua de multiples objetos, posiblemente con apariencias similares y que experimentan oclusion persistente, usando unicamente una camara y un lector.

Los sistemas y metodos de seguimiento descritos en las realizaciones de la presente invencion se describen a continuacion en el contexto de seguir jugadores, arbitros, personas de apoyo y objetos relacionados (disco, pelota, etc.) en un juego de equipo. Un experto en la materia apreciara que el sistema y metodos de esta invencion pueden aplicarse a una amplia gama de eventos que incluyen, pero sin limitacion, cualquier evento deportivo, asf como a aplicaciones no deportivas que requieren seguimiento y/o identificacion de uno o mas objetos en una escena.

Tanto un sistema de seguimiento basado en vision como un sistema de seguimiento basado en RTLS cuando se usan de manera independiente abarcan limitaciones tecnologicas que obstaculizan el avance de conseguir ubicacion de objetos con rendimiento aceptable. Los aspectos de esta invencion conciben metodos donde los resultados de seguimiento indeterminados proporcionados por cada tecnologfa de manera independiente se fusionan en una solucion de seguimiento completa.

El estado actual de la tecnica de RTLS permite identificacion y localizacion de objetos dinamicos dentro del alcance con exactitud entre 0,3 y 3 metros. Sin embargo, en presencia de fenomenos tales como desvanecimiento multitrayectoria, atenuacion, oclusion, etc., los datos posiciones no son determimsticos sino que, en su lugar, llevan una region de incertidumbre espacial representada por una Funcion de Densidad de Probabilidad (PDF). Dependiendo del numero de lmeas de vision (LOS) disponible, esta PDF puede abarcar unas pequenas inmediaciones de la localizacion del objeto o puede abarcar a lo largo de toda una region mas amplia. Usado en solitario, un sistema de seguimiento basado en RTLS puede no poder proporcionar una solucion completa.

5

10

15

20

25

30

35

40

45

50

55

60

65

Los sistemas basados en vision pueden incluir aquellos descritos en la Solicitud de Patente de Estados Unidos N. ° 12/403.857 por Gefen, incorporada por referencia en el presente documento en su totalidad. Un desaffo de los sistemas basados en vision incluye resolver la identidad de los objetos que se siguen cuando sus apariencias son similares. Este problema puede ser especialmente grave cuando los objetos se dividen de un grupo. Un aspecto de una realizacion de esta invencion combina datos posicionales de objetos precisos basados en vision con datos de identificacion de objetos basados en RTLS para volver a etiquetar objetos a medida que se ocluyen o dividen de un grupo.

Otro desaffo es seguir y ubicar de manera exacta objetos en un grupo, especialmente cuando los objetos se mueven aleatoriamente en proximidad cercana. De acuerdo con algunas realizaciones, la posicion de los objetos que estan ocluidos con relacion a la camara y al lector se resuelve como sigue. Un sistema de seguimiento basado en vision detecta objetos aislados (objetos que no estan en proximidad cercana entre sf) en alta fidelidad relativa. Por lo tanto, cuando un objeto aislado puede “ver” un objeto ocluido (tiene una LOS con el) la distancia entre ellos puede medirse. En una configuracion de este tipo, los transpondedores fijados a los objetos en la escena envfan senales continuamente al lector y entre sb Estas senales llevan telemetffa que se procesa mas tarde para derivar las distancias entre el lector y los transpondedores asf como las distancias entre los mismos transpondedores. En esta realizacion, al menos una camara y al menos un lector utilizan la LOS existente entre objetos aislados y objetos ocluidos en la escena para ubicar estos objetos ocluidos que de otra manera seffan invisibles.

En algunos casos, la localizacion de objetos etiquetados puede derivarse basandose en tecnicas de alcance y basandose en tecnicas de estimacion de posicion. Las tecnicas de alcance usan telemetffa, tal como Tiempo de Llegada (TOA), para derivar las distancias entre lectores y transpondedores. TOA es el tiempo que tarda una senal en recorrer desde un lector a un transpondedor y/o desde un transpondedor a un lector. Dada la velocidad de propagacion de la senal, la distancia puede calcularse. Observese que para conseguir estimaciones de distancia significativas, el transpondedor y el lector debeffan estar sincronizados con exactitud. Otra telemetffa conocida es el Angulo de Llegada (AOA). AOA es el angulo entre la direccion de propagacion de senal y un eje de referencia. AOA requiere antena direccional (conjunto) y su exactitud es altamente dependiente del alcance (para un largo alcance, un error pequeno en el angulo de medicion da como resultado un error grande en la estimacion de posicion). El Indicador de Intensidad de Senal Recibida (RSSI) es otra telemetffa comun mas. Mide la atenuacion de la senal recibida para derivar la distancia. Sin embargo, la atenuacion puede verse afectada por factores que incluyen desvanecimiento multitrayectoria, temperatura, humedad y objetos ocluidos. Otras telemetffas conocidas en la tecnica incluyen Diferencia de Tiempo de Llegada (TDOA), Tiempo de Vuelo (TOF) y Tiempo de Ida y Vuelta (RTT). La exactitud de las distancias calculadas basandose en estas telemetffas esta limitada por el nivel de la tecnologfa (resolucion de relojes y sincronizacion o precision de antena de conjunto) y por las condiciones en la escena (humedad u obstaculos).

Las tecnicas de estimacion de posicion pueden incluir trilateracion y triangulacion. En un caso tridimensional, una tecnica de trilateracion estima las coordenadas de un punto A en el espacio usando al menos 1) cuatro puntos dados en el espacio con coordenadas conocidas y 2) las distancias entre estos cuatro puntos al punto A. Observese que estas cuatro distancias dadas definen esferas centradas en los cuatro puntos dados, y que su interseccion define de manera ineqrnvoca el punto A. De manera similar, una tecnica de triangulacion estima las coordenadas del punto A en el espacio usando al menos 1) tres puntos dados en el espacio con coordenadas conocidas y 2) el angulo entre una lmea que conecta estos puntos y el punto A a una lmea de referencia. Observese que estos tres angulos dados definen conos centrados en los tres puntos dados, y que su interseccion define de manera ineqrnvoca el punto A. Por lo tanto, en el caso general, una tecnica de ubicacion de trilateracion requiere al menos cuatro lmeas de vision (LOS) entre un transmisor y un receptor y un sistema de reloj y sincronizacion muy exacto. Mientras una tecnica de ubicacion de triangulacion requiere al menos tres LOS y una antena direccional con suficientes elementos de conjunto para satisfacer la resolucion angular requerida. Si estan disponibles mas del mmimo de LOS, puede aplicarse un metodo de estimacion de errores de mmimos cuadrados para minimizar el error de estimacion de posicion.

Un sistema sinergico ejemplar 100 para seguimiento de objetos, tal como seguir multiples objetos, se muestra en la Figura 1A, de acuerdo con una realizacion. Una o mas camaras 110 se usan para cubrir una escena dinamica 120 de multiples objetos que se estan moviendo rapidamente entre sf, a menudo en grupos. Observese que estos objetos pueden tener apariencias similares - particularmente en un juego de equipo donde los objetos que pertenecen al mismo equipo (ataque, defensa o arbitros) muestran apariencia similar (uniformes de equipo). En algunas realizaciones, las camaras pueden posicionarse estaticamente para cubrir la escena o pueden trasladarse dinamicamente y orientarse para cubrir el centro de la actividad. Ademas de las camaras, uno o mas lectores pueden ubicarse en la escena 130. De manera similar a las camaras, las localizaciones de los lectores pueden ser estaticas o dinamicas para permitir buena recepcion de las senales de transmision desde los transpondedores (objetos etiquetados). Las senales de video y la telemetffa desde los lectores pueden alimentarse en el sistema de seguimiento de objetos 140. De acuerdo con una realizacion, el sistema de seguimiento de objetos 140 puede utilizar tecnicas basadas en vision para localizar de manera continua los objetos en la escena, incluyendo los lectores portatiles en la vision. Adicionalmente, de acuerdo con algunas realizaciones, la tecnologfa de RTLS puede utilizarse para resolver el seguimiento bajo oclusion, como se explicara en detalle a continuacion. Los datos posicionales sin procesar generados mediante el sistema 140 pueden procesarse localmente o enviarse a una

5

10

15

20

25

30

35

40

45

50

55

60

65

tercera parte para procesamiento adicional. Una aplicacion de GUI 150 puede incluir funcionalidad de control de sistema, visualizacion de datos y la presentacion de estadfsticas que pueden ponerse a disposicion de un operador.

Tanto la localizacion basada en vision como la localizacion basada en RTLS pueden requerir lmeas de vision (LOS) al objeto, de acuerdo con algunas realizaciones. Aunque en el caso de video es posible localizar de manera exacta y perfilar un objeto a traves del procesamiento aplicado a pfxeles que provienen del segmento de imagen del objeto, RTLS puede requerir mas de una LOS para localizar un objeto etiquetado. En un caso tridimensional sin restricciones, se requieren tres LOS cuando se usa una tecnica de ubicacion de triangulacion y cuatro LOS cuando se usa una tecnica de ubicacion de trilateracion. En presencia de 1) menos LOS debido a oclusion o fallo de recepcion de senal, o 2) error intrmseco en los datos de telemetna, localizacion de un objeto etiquetado puede provenir con una region de incertidumbre representada mediante una funcion de probabilidad espacial - Funcion de Densidad de Probabilidad (PDF) - y formularse en cualesquiera coordenadas de espacio o de espacio de imagen. Esta PDF puede usarse como informacion anterior y en un esquema probabilfstico para seguimiento de objetos, tales como un metodo de seguimiento de filtrado de partmulas comun.

La Figura 1B ilustra una realizacion 102 adicional de un sistema de seguimiento de objetos. En este caso, el sistema de seguimiento de objetos 140 puede incluir un receptor de informacion visual 170 para recibir informacion visual, tal como senales de video o datos de pfxeles, recopilados por un sistema de vision 110. Un sistema de este tipo puede incluir una o mas camaras que rodean la escena. El sistema de seguimiento de objetos 140 puede incluir tambien un receptor de informacion basado en telemetna 160 para recibir informacion basada en telemetna, tal como datos de TOA o AOA, desde un lector de RTLS 130. El seguidor de objetos 180 puede configurarse para usar la informacion visual y la informacion basada en telemetna para localizar e identificar un objeto en la escena. Cuando la informacion visual no puede localizar e identificar el objeto en la escena, el seguidor de objetos 180 puede usar informacion basada en telemetna medida desde uno o mas objetos en la escena para localizar e identificar el objeto. Cuando la informacion basada en telemetna no puede localizar e identificar el objeto en la escena, el seguidor de objetos 180 puede usar la informacion visual del objeto para localizarlo e identificarlo. Ademas, la combinacion de informacion basada en telemetna e informacion visual puede usarse para determinar de manera inequvoca la localizacion e identidad de un objeto cuando ni la informacion basada en telemetna, ni informacion visual, cuando se usan de manera independiente, son suficientes para determinar de manera ineqrnvoca la localizacion e identidad del objeto. Esto puede realizarse para multiples objetos en un evento o escena. El sistema 102 puede localizar con exactitud e identificar multiples objetos, incluyendo objetos que estan ocluidos, ocluidos recientemente, o en proximidad cercana a otros objetos en un grupo.

Los sistemas ejemplares 100 y 102 o cualquier parte de los sistemas 100 y 102 puede ser parte de o pueden ejecutarse mediante uno o mas dispositivos informaticos. Un dispositivo informatico puede ser cualquier tipo de dispositivo informatico que tiene uno o mas procesadores. Por ejemplo, un dispositivo informatico puede ser una estacion de trabajo, dispositivo movil (por ejemplo, un telefono movil, asistente digital personal o portatil), ordenador, servidor, agrupacion de calculo, granja de servidores, consola de juegos, decodificador de salon, quiosco, sistema embebido o cualquier otro dispositivo que tenga al menos un procesador y memoria. Las realizaciones de la presente invencion pueden ser software ejecutado por un procesador, firmware, hardware o cualquier combinacion de los mismos en un dispositivo informatico. De acuerdo con una realizacion adicional, el sistema de seguimiento de objetos 140 puede implementarse en diversas localizaciones de la trayectoria de distribucion de video.

La Figura 2 demuestra tres escenarios para localizacion basada en RTLS en el caso bidimensional, de acuerdo con realizaciones de la invencion. En cada escenario hay tres lectores (o transpondedores fijados a los jugadores), 210, 212, y 214, en el alcance de un transpondedor fijado a un jugador 216. En el primer caso 200, los tres lectores tienen una LOS al transpondedor. Por lo tanto, tres mediciones de distancia entre el transpondedor y cada lector estan disponibles. Basandose en estas distancias, una tecnica de trilateracion dara como resultado una estimacion para la localizacion del jugador 216. Esta estimacion de localizacion se representa por una PDF centrada en la interseccion de tres anillos espaciales 218. El punto de una region de incertidumbre de este tipo (o desviacion tfpica de la PDF) pueden estar en el orden de magnitud de pocas decenas de centimetros, dependiendo de la exactitud y precision de la tecnologfa de sistema de RTLS espedfica.

En el segundo caso 202, un jugador etiquetado 216 esta ocluido por otro jugador. Como resultado, unicamente dos lectores, 210 y 214, tienen una LOS al transpondedor, por lo que unicamente estan disponibles dos mediciones de distancia. Por lo tanto, se puede esperar que el jugador pueda estar en una de dos regiones, 220 o 222 de interseccion. En el tercer caso 204, un jugador etiquetado 216 esta ocluido por otros dos jugadores. Como resultado, unicamente un lector, 210, tiene una LOS al transpondedor de modo que unicamente esta disponible una medicion de distancia. Basandose en esta medicion de distancia, puede esperarse que el jugador este en cualquier lugar a lo largo de un anillo espacial centrado en la localizacion de lector. (La anchura de anillo corresponde al error intrmseco en la telemetna dada). Esta incertidumbre espacial con respecto al paradero de un jugador puede resolverse fusionando informacion de seguimiento basada en RTLS y basada en vision de acuerdo con realizaciones de esta invencion.

Un metodo de acuerdo con una realizacion de esta invencion puede determinar la identidad de los objetos que experimentan oclusion. Por ejemplo, la Figura 3 muestra como puede resolverse el error de identificacion de objeto

5

10

15

20

25

30

35

40

45

50

55

60

65

comun complementando un metodo de seguimiento basado en vision con RTLS que incluye un lector. Suponiendo que el jugador 314 y el jugador 316 pertenecen al mismo equipo, las tecnicas basadas en reconocimiento de patron estaran limitadas debido a la apariencia similar global de los dos jugadores. Suponiendo tambien que en el tiempo to ambos jugadores empiezan a moverse en una trayectoria donde estan ambos seguidos y etiquetados correctamente por el sistema de seguimiento, entonces a medida que cruzan la trayectoria uno con respecto al otro sus imagenes proyectadas se uniran y a continuacion se dividiran en el tiempo ti. A menudo, despues de la division, los metodos basados en vision pueden proporcionar posiciones exactas de los jugadores, pero su identidad puede intercambiarse incorrectamente debido a la apariencia similar de los dos jugadores. Por otra parte, un lector de RTLS 310 proporciona las posiciones probables de los dos jugadores a lo largo de los anillos 318 y 320 junto con sus identidades. Fusionando los datos basados en vision (localizaciones exactas de los jugadores) con los datos basados en telemetna (identidades de los jugadores), el sistema de seguimiento de objetos 140 puede resolver la localizacion e identidad de cada jugador despues de la division.

Otro aspecto de esta invencion permite localizar e identificar objetos cuando se ocluyen con relacion a la camara y el lector, como se demuestra en la Figura 4. En esta realizacion de ejemplo, una camara 410 y un lector 414 cubren la escena 412. Tfpicamente, la escena incluye jugadores que se mueven en proximidad lejana relativa entre sf 420430. Estos jugadores pueden separarse y pueden localizarse con exactitud mediante un metodo de seguimiento basado en vision. El desaffo radica en localizar con exactitud jugadores que estan ubicados en un grupo 418, y, por lo tanto, estan ocluyendose entre sf con relacion a la camara 410 y al lector 414. Como se representa en la Figura 4, la camara y el lector tienen LOS 416 a los jugadores 420-430, y, como resultado, la posicion e identidad de estos jugadores son conocidas. Por otra parte, el jugador 432 puede ocluirse por los otros jugadores en el grupo 418 y por lo tanto su imagen proyectada puede ser inseparable, de la imagen proyectada del grupo entero y por lo tanto irreconocible. Sin embargo, hay una LOS entre este jugador 432 y los jugadores 420-426. Puesto que las posiciones de estos jugadores son conocidas (por metodos basados en vision o en RTLS), la posicion del jugador ocluido 432 puede restaurarse usando una tecnica de trilateracion, por ejemplo. Observese que en este ajuste cada transpondedor (la etiqueta fijada a cada jugador) esta configurado para transmitir al lector telemetna (tal como TOA) relacionada para tanto 1) la distancia entre este transpondedor y el lector como 2) la distancia entre este transpondedor y los otros transpondedores en LOS de el. En un caso donde un transpondedor no tenga una LOS al el lector, puede transmitir sus datos al lector mediante otro transpondedor.

En un sistema de comunicacion de acceso multiple de este tipo, las senales de los transpondedores y lectores pueden colisionar y pueden cancelarse entre sf, conduciendo a una utilizacion ineficaz del ancho de banda debido a la necesidad de repetir transmisiones. Pueden usarse algoritmos anti-colision conocidos, de acuerdo con realizaciones, y se disenan para coordinar estas comunicaciones simultaneas mediante protocolos de multiple acceso de modo que se minimiza el tiempo total para la identificacion asf como el consumo de potencia de los transpondedores. Ya se usan comunmente tecnicas de arbitraje de senal de comunicacion para nuevas redes de satelites y telefonos moviles. Los metodos tales como: acceso multiple por division en el espacio (SDMA), acceso multiple del dominio de la frecuencia (FDMA), acceso multiple del dominio del tiempo (TDMA), y acceso multiple por division de codigo (CDMA) son conocidos en la tecnica para tratar con interferencia de transceptor a transceptor.

Las realizaciones de esta invencion pueden aplicarse a la identificacion y seguimiento de un juego de futbol, como se muestra en la Figura 5. Un juego de futbol es una escena desafiante de manera inequvoca de analizar. Consiste en segmentos cortos (jugadas), empezando con ambos jugadores de ataque y defensa ubicados en una cierta formacion. Despues de que empiece el juego, el objetivo del equipo atacante es avanzar la pelota hacia la zona de anotacion, mientras que el objetivo del equipo defensor es oponerse a este avance. Durante esta corta duracion de una jugada (varios segundos) los jugadores se estan moviendo rapido, de manera junta y bloqueandose ffsicamente entre sf. En este caso, se desea poder identificar y localizar los jugadores segun su misma posicion en una formacion a lo largo de la lmea de golpeo (o segun su misma posicion para un saque inicial), y mantener el seguimiento a lo largo de la duracion del juego.

De acuerdo con una realizacion, esto puede aplicarse con un sistema que comprende una camara 510 y un lector 514 (cada uno ubicado en punto clasico ventajoso), transpondedores fijados a los jugadores de futbol o a alguno de los jugadores de futbol, y posiblemente transpondedores fijados a arbitros o cualquier persona de apoyo en las cercamas. Por ejemplo, de manera similar al escenario demostrado en la Figura 4, el jugador mariscal de campo (Quarter-Back) (Qb) puede ser ocluido por el liniero (linemen) 518, pero puede tener una LOS al corredor de poder (full-back) (FB), al corredor rapido (half-back) (HB), al receptor abierto (wide-receiver) (WR), o a cualquier otro jugador, arbitro, o persona de apoyo en el alcance. Por lo tanto, de acuerdo con esta invencion, la localizacion del jugador QB ocluido puede restaurarse usando su distancia al FB, HB, WR y/u otros jugadores con localizaciones conocidas. Otro ejemplo es resolver las identificaciones y posiciones de los jugadores linieros 518. Los jugadores linieros estan ubicados en proximidad estricta a lo largo de la lmea de golpeo 516, y, por lo tanto, pueden no separarse y/o identificarse por metodos basados en vision en solitario. Sin embargo, su formacion a lo largo de la lmea de golpeo (segun se dicta por las reglas del juego) proporciona una restriccion que junto con las PDF derivadas por un lector es suficiente para determinar esta localizacion de los jugadores. Por ejemplo, los linieros de seis jugadores dan como resultado seis PDF de forma de anillo, cada una centrada en la posicion del lector y con un radio igual a la distancia entre el lector y el jugador correspondiente. Las intersecciones entre estos anillos y la formacion de linieros dan como resultado la posicion de cada uno de los jugadores. La formacion de los linieros, a su

5

10

15

20

25

30

35

40

45

50

55

60

65

vez, puede detectarse por metodos basados en vision.

Estos metodos, segun se aplican para identificacion y seguimiento de jugadores de futbol en las realizaciones descritas en el presente documento, presentan una oportunidad para analisis de nivel superior de parametros tales como formacion de equipo, clasificacion de juego, etc. Estos metodos pueden permitir tambien monitorizar cada uno de los 11 jugadores activos del equipo y pueden indicar cual de los 53 jugadores disponibles en cada equipo esta ahora jugando en el campo. Esto puede hacerse siguiendo el total de los 106 jugadores de futbol continuamente, o activando el seguimiento unicamente para aquellos jugadores que estan en el campo mientras se desactiva el seguimiento de los otros jugadores que estan actualmente fuera del campo. En algunos casos, puede haber una situacion en la que no todos los jugadores esten etiquetados. En este caso, la identificacion y seguimiento de jugadores no etiquetados puede hacerse mediante metodos basados en vision y metodos donde una formacion y reglas del juego se usan para deducir la posicion e identidad probables de jugadores no etiquetados.

El metodo en la realizacion anteriormente descrita es especialmente util al seguir pequenos objetos tales como una pelota en un juego de baloncesto que se ocluye a menudo por algunos jugadores y es diffcil de detectar y seguir usando vision en solitario. Es tambien aplicable para resolver auto-oclusion cuando se detecta y sigue la postura de un objeto articulado como se demuestra en la Figura 6.

La Figura 6 muestra una realizacion de ejemplo donde se calcula el movimiento de un objeto articulado - un bateador de beisbol, por ejemplo - por medio de seguir las articulaciones del objeto. En este caso, la auto-oclusion complica el seguimiento basado en vision. En este punto tambien, puede utilizarse la tecnologfa de RTLS para complementar la desventaja de tecnologfa basada en vision. En la Figura 6 los transpondedores 602-610 se fijan a las articulaciones de un bateador de beisbol para permitir la deteccion y seguimiento de la postura. Mientras que las extremidades de un humano (parte superior de la cabeza 602 y tobillos 604-606, por ejemplo) estan en LOS 622 a la camara 620 y el lector 630, y, por lo tanto, relativamente faciles de detectar y seguir (por ejemplo, metodos de deteccion de cabeza conocidos en la tecnica), otras localizaciones (tales como rodillas, codos, hombros 608-610) pueden 1) estar auto-ocluidas con relacion a la camara y lector o 2) ser diffciles de extraer con tecnicas basadas en vision. En este caso, por ejemplo, cada transpondedor, 602, 604 y 606, mide telemetna con relacion a todos los otros transpondedores que estan en LOS con el, 608-610, y transmite estos datos al lector junto con telemetna relacionada con su propia distancia al lector. En esta realizacion, una tecnologfa de RTLS que es mejor adecuada para corto alcance y con pequena granularidad puede usarse para comunicacion entre los transpondedores 602610, mientras que otra tecnologfa de RTLS que es mejor adecuada para telemetna de largo alcance puede usarse para comunicacion entre los transpondedores 604-606 y los lectores.

La Figura 7 muestra un sistema movil para seguir objetos dinamicos acuerdo con una realizacion. En este sistema al menos se establece una camara 718 para cubrir la escena; esta puede ser una camara estatica o no estatica, tal como una camara de difusion. Los fotogramas de video de la camara se alimentan en el sistema de seguimiento de objetos 710 para procesamiento, un fotograma cada vez. Ademas, un subsistema de RTLS 712 esta integrado en el sistema, que incluye al menos un lector 714 y una combinacion de transpondedores pasivos, semi-pasivos y/o activos 716. Los transpondedores pueden tener sensores ambientales fijados a ellos para medir variables que incluyen temperatura, movimiento y energfa de impacto. Tanto la camara de video como el subsistema de RTLS comunican con el sistema de seguimiento de objetos 710, local o remotamente, a traves de cable o inalambricamente, o usando cualquier otro medio de comunicacion. El sistema de seguimiento de objetos 710 recibe datos desde el subsistema de RTLS 712 y la camara 718, asf como los gestiona y controla.

Dependiendo de la camara, la calibracion 730 puede llevarse a cabo una vez en el momento de reseteo del sistema (camara estatica), o puede hacerse al vuelo durante la operacion del sistema (camara dinamica), de acuerdo con algunas realizaciones. Los metodos de calibracion conocidos estiman el modelo de camara, por ejemplo, haciendo coincidir los puntos de referencia en el modelo del mundo real de la escena y sus puntos correspondientes en la imagen proyectada de la escena. Teniendo el modelo de camara, se puede mapear las coordenadas de espacio de imagen a coordenadas del mundo real y viceversa.

La deteccion de la imagen proyectada de cada objeto - denominado como la medicion del objeto - mediante el procesamiento de los fotogramas de video actuales, y posiblemente los anteriores, se realiza a continuacion 750. Los metodos conocidos para resta de fondo generan una mascara que perfila las regiones de primer plano en el fotograma de video actual. Estos objetos binarios grandes (blobs) (regiones de primer plano) segmentan la imagen proyectada de los jugadores (objetos en movimiento) de grupos de jugadores. Por lo tanto, una medicion puede incluir informacion derivada de pfxeles que pertenecen a un objeto o a imagen de proyeccion de objetos. En el caso donde se afsla un objeto (una region de primer plano contiene una imagen de un objeto unicamente), puede derivarse el modelado y ubicacion exacta del objeto en el suelo. En el otro extremo, es un desaffo modelar y ubicar un objeto cuando se sumerge en un grupo de otros objetos. Por lo tanto, los datos posicionales de objetos aislados (junto con otros datos relacionados tales como periodo de tiempo y velocidad) enviados para procesar 740 pueden utilizarse en el proceso de identificacion y localizacion de objetos etiquetados, como se demuestra en la Figura 4. Esto se explicara adicionalmente a continuacion.

5

10

15

20

25

30

35

40

45

50

55

60

65

El proceso 720 resetea y controla el subsistema de RTLS 712. Este proceso tambien recopila la telemetna medida mediante el subsistema de RTLS. Dependiendo de la tecnolog^a de RTLS en uso, la telemetna puede ser el Tiempo de Llegada (TOA), Angulo de Llegada (AOA), Indicador de Intensidad de Senal Recibida (RSSI), etc. Esta telemetna proporcionada por el subsistema de RTLS puede generarse periodicamente o bajo demanda.

A continuacion, en la etapa 740, se calculan las distancias entre el lector 714 y los transpondedores 716, y las distancias entre los transpondedores (con la excepcion de cuando no hay LOS). A continuacion, la localizacion de cada jugador etiquetado identificado se deriva usando 1) todas las distancias disponibles entre este jugador etiquetado y otros jugadores/lector etiquetados y 2) las posiciones de los otros jugadores/lector etiquetados como se proporcionan por la etapa 750. Como se ha mencionado anteriormente, las estimaciones de posicion basadas en RTLS pueden representarse por una funcion de probabilidad espacial - PDF. Cuantos mas lectores/transpondedores con localizaciones conocidas y correspondientes distancias al objeto dado esten disponibles para el metodo de ubicacion, menor sera la entropfa de la correspondiente PDF (que significa una menor region de incertidumbre).

La identificacion de los jugadores y PDF correspondientes se usan ahora en la etapa 760 para caracterizar las mediciones. Por ejemplo, una imagen (medicion) de un grupo de jugadores puede ahora segmentarse en subregiones donde cada subregion corresponde a un jugador en el grupo. Esto puede conseguirse con un metodo de agrupacion probabilfstico usando la PDF dada como informacion anterior.

A continuacion en la etapa 770, estas mediciones caracterizadas estan asociadas con la lista actual de objetos seguidos 790. Finalmente, los datos de seguimiento de cada objeto seguido - posicion, velocidad, identidad, etc. - se actualiza en la etapa 780 usando metodos de seguimiento conocidos, tales como aquellos descritos en la Solicitud de Patente de Estados Unidos N. ° 12/403.857 por Gefen.

La fusion de datos basados en vision y basados en RTLS, como se ha descrito anteriormente, puede conseguirse a traves del procesamiento de fotogramas de video recibidos desde la camara y telemetna recibida desde el RTLS, de acuerdo con las realizaciones. Tfpicamente, la velocidad de transferencia de datos de RTLS no es la misma que la velocidad de fotograma de la camara. Un RTLS que usa una senal portadora de alta frecuencia consigue una velocidad de datos alta. Esto, a su vez, permite que el sistema adapte un gran numero de transpondedores y permite que cada transpondedor transmita paquetes de datos mas grandes; cuanto mas alta es la frecuencia, mas rapida es la comunicacion entre lectores y transpondedores. Sin embargo, una senal portadora de alta frecuencia se atenua mas rapido, y, por lo tanto su alcance es mas limitado.

En las realizaciones donde estan implicados multiples transpondedores y lectores, dependiendo de la tecnologfa espedfica de RTLS, la telemetna de RTLS generada puede retardar los datos de seguimiento basados en vision correspondientes. Esta latencia potencial puede extenderse a varios fotogramas de video y requiere un mecanismo de sincronizacion, por ejemplo, anexando una indicacion de tiempo tanto a datos basados en vision como basados en RTLS que puede usarse mas tarde para sincronizacion. Por lo tanto, cuando el caudal de transmision de datos de RTLS es inferior que la velocidad de fotograma de la camara, la telemetna puede estar disponible para el sistema de seguimiento de objetos 710 unicamente cada N fotogramas de video. Por lo tanto, en este caso, los datos de seguimiento basados en vision interpolan los puntos de datos ausentes donde los datos de seguimiento derivados desde la telemetna no estan disponibles. Como alternativa, el RTLS 712 puede enviar telemetna al sistema de seguimiento de objetos 710 unicamente cuando se ordena hacerlo por la unidad de control de RTLS 720. En este caso, los datos de identificacion y localizacion basados en RTLS se ordenaran, por ejemplo, unicamente cuando se requiera resolver la oclusion.

Una realizacion ejemplar del subsistema de RTLS 712 se describe a continuacion, aplicando tecnologfa de comunicacion de banda ultra ancha (UWB). Una senal de comunicacion sin portadora de UWB se define como una senal con un ancho de banda de al menos 500 MHz o con un ancho de banda de al menos el 20 % de la frecuencia central. En 2002 la Comision Federal de Comunicaciones (FCC) aprobo la transmision de una senal de comunicacion de UWB en un intervalo de 3,1 GHz a 10,6 GHz, y a una densidad espectral por debajo de -41,3 dBm/MHz. La senal de UWB muestra excelente rendimiento en un entorno altamente reflexivo (multi-trayectoria) debido a un pulso de ciclo de trabajo bajo. Ademas, la interferencia con otras senales de RF es minima debido a los anchos de banda de frecuencia no solapantes y la diferencia en tipo de senal. En consecuencia, UWB se vuelve una solucion atractiva para aplicaciones donde se requiere una alta velocidad de datos y alta resolucion. Desarrollos recientes presentan RTLS basado en UWB con exactitud de localizacion por debajo de 30,48 centfmetros y una tasa de actualizacion de varios milisegundos. Ademas, la LOS al objetivo es aun un requisito para permitir localizacion en tiempo real.

La Figura 8 muestra el lector 800 componente del RTLS basado en UWB, de acuerdo con una realizacion. El lector puede consistir en una unidad de transmision/recepcion de RF 810 (basada en portadora) tradicional, una unidad de recepcion de UWB 840, y un controlador 880. La unidad de comunicacion de Rf puede recibir y transmitir senales moduladas a traves de su antena 812. Un circulador 814 puede dirigir las senales entrantes desde la antena al amplificador 818 del receptor, mientras se evita que tales senales pasen a traves del amplificador 816 del transmisor. De manera similar, las senales salientes desde el transmisor pueden dirigirse fuera a la antena, mientras

5

10

15

20

25

30

35

40

45

50

55

60

65

se evita que pasen a traves del amplificador del receptor. Activado por el controlador 880, el transmisor 820 y el receptor 822 pueden llevar a cabo la comunicacion entre el lector y las etiquetas. Un fin principal de esta comunicacion puede ser controlar la operacion de las etiquetas y, posiblemente, recibir los datos de deteccion de las etiquetas.

El receptor de UWB 840 puede recibir la senal de UWB desde la que los datos variables se derivan a traves de una antena 842. La senal de UWB puede filtrarse 844 en primer lugar y a continuacion amplificarse 846. La senal amplificada puede a continuacion mezclarse 850 con una senal de plantilla generada por el generador de plantilla 848. La senal de plantilla puede basarse en la forma de onda de impulso empleada en el sistema y disenarse para extraer el impulso de la senal de UWB recibida a traves de la correlacion conseguida mezclando 850 e integrando 852. La senal analogica desde integrador puede a continuacion pasarse a un circuito de muestra y retencion 854 donde se selecciona un cierto nivel de senal y se convierte adicionalmente en datos digitales por el ADC 856. Estos datos digitales se traducen en sfmbolos digitales 858 que se procesan adicionalmente mediante el controlador del lector 880 donde tienen lugar las derivaciones de telemetna tales como TOA y AOA.

El controlador de lector 880 puede incluir un modulo de calculo 882, un modulo de memoria 884, un modulo de reloj 886 y una fuente de alimentacion 888, de acuerdo con una realizacion. El controlador del lector gestiona la comunicacion entre el lector y las etiquetas, y posiblemente otros lectores. Puede recopilar datos de deteccion y de estado desde las etiquetas (mediante su unidad de comunicacion de RF) y los datos de alcance de las etiquetas (mediante su receptor de UWB). El controlador del lector 880 puede calcular las distancias y angulos entre el lector y las etiquetas, asf como las distancias entre las etiquetas, y pasa estas medidas al controlador de RTLS 720 para procesamiento adicional.

La Figura 9 muestra el componente de etiqueta del RTLS basado en UWB 900, de acuerdo con una realizacion. La etiqueta puede consistir en una unidad de transceptor/receptor de RF tradicional 910 (basada en portadora), una unidad de transmision de UWB 930, un transceptor de retrodispersion de UWB 950, y una unidad de control 970. De manera similar al lector, el receptor de transmision/recepcion de RF 910 de la etiqueta puede incluir una antena 920, un circulador 922, amplificadores 916 y 918, un receptor 912 y un transmisor 914. A traves de esta unidad de comunicacion de RF, el modo de operacion de etiqueta puede establecerse mediante el lector y pueden enviarse diversos datos de deteccion y de estado desde la etiqueta al lector. El transmisor de UWB 930 puede enviar senales de UWB cuando se activa por el controlador 970. Por lo tanto, el transmisor puede recibir una secuencia de interrogacion desde el controlador y convertirla en una senal analogica usando el DAC 932 desde el que se generan pulsos de UWB por el generador 934 de impulsos. La senal de UWB puede a continuacion amplificarse 936 y filtrarse 938 antes de transmitirse a traves de la antena 940.

En centrarse al transmisor de UWB 930, el transceptor de retrodispersion de UWB 950 puede responder simplemente a una senal de UWB recibida. El aislamiento entre senales de UWB de entrada y retrodispersadas puede proporcionarse mediante el circulador 962. Una senal de UWB entrante puede reflejarse de vuelta o absorberse por la antena 960 dependiendo de las propiedades de la antena. El modulador de antena 952 esta disenado para configurar la antena, por ejemplo controlando la impedancia de la antena. Por lo tanto, la informacion puede codificarse, por ejemplo, reflejando, absorbiendo y/o cambiando la polaridad de la senal entrante. Ademas, el modulador 952 puede controlar la respuesta de senal del amplificador 954. El transceptor 950 puede incluir tambien un filtro 958 de salida y un filtro 956 de entrada.

El controlador de la etiqueta 970 es un modelo de procesamiento, que incluye un modulo informatico 972, un modulo de memoria 974, un reloj 976 y una fuente de alimentacion 978. Los datos de identificacion de la etiqueta y posiblemente los datos de deteccion de la etiqueta pueden analizarse y almacenarse en el controlador. El modulo de reloj controla la temporizacion en la que tiene lugar la transmision de senal de UWB 930 y la temporizacion que el modulador de antena cambia la impedancia de la antena y de esta manera codifica datos tal como el ID de la etiqueta en la senal de UWB retrodispersada.

Como se representa en la Figura 4, un sistema de RTLS incluye al menos un lector y una pluralidad de etiquetas fijadas a objetivos de interes. En cualquier momento algunas de las etiquetas pueden tener una LOS directa al lector y algunas tienen simplemente LOS indirecta al lector (que significa una LOS que pasa a traves de otra etiqueta con una LOS directa al lector). Por lo tanto, el sistema, de acuerdo con una realizacion, localiza ambas etiquetas con LOS directa y etiquetas con LOS indirecta como sigue.

El lector 800 puede asignar un intervalo de tiempo a la etiqueta 900. A traves de este intervalo de tiempo esta etiqueta espedfica se establece para operar en un modo de operacion maestro, mientras todas las otras etiquetas se establecen para operar en un modo de operacion esclavo, de acuerdo con una realizacion. Cuando una etiqueta esta en un modo de operacion maestro puede configurarse para transmitir 930 una senal de UWB - una secuencia de pulsos muy cortos. Esta senal, indicada por S0(t), puede recibirse por un receptor de UWB 840 del lector si existe una LOS directa. Puede recibirse tambien y retrodispersarse por otro transceptor de retrodispersion de UWB 950 de la etiqueta esclava que esta con una LOS a la etiqueta maestra. Una senal retrodispersada de este tipo desde una etiqueta esclava, indicada por Si(t) (i indica un mdice de etiqueta esclava), se envfa de vuelta al transceptor de retrodispersion de UWB 950 de etiqueta maestra donde a continuacion se retrodispersa al lector. Observese que en

5

10

15

20

25

30

35

40

45

50

55

60

65

primer lugar, la transmision de senal de UWB por un transmisor de UWB 930 de etiqueta puede tener lugar en este caso unicamente cuando la etiqueta se establece para operar en un modo de operacion maestro; y, en segundo lugar, que todas las etiquetas (maestras y esclavas) retrodispersan una senal donde la etiqueta maestra esta configurada para retrodispersar unicamente las senales Si(t) y todas las otras etiquetas esclavas estan configuradas para unicamente retrodispersar la senal So(t).

La Figura 10 demuestra la progresion de las senales de UWB segun se transmiten por la etiqueta maestra 1010 y segun se reciben por el lector 1020, de acuerdo con una realizacion. La etiqueta establecida para que este en un modo de operacion maestro puede enviar pulsos de UWB periodicos: 1012a, 1012b, etc., separados por un “tiempo de guarda”. El tiempo de guarda puede evitar la interferencia entre senales retrodispersadas resultantes de pulsos sucesivos. En el lector 800, en primer lugar se recibe la senal S0(t): 1024a, 1024b, etc., con un tiempo de retardo de T0. A continuacion puede recibirse una senal retrodispersada desde una etiqueta esclava, S1 (t): 1026a, 1026b, etc., con un tiempo de retardo de T1. De manera similar, una senal retrodispersada desde una segunda etiqueta esclava, S2(t), puede recibirse: 1028a, 1028b, etc., con un tiempo de retardo de T2. Observese que aunque T0 representa el tiempo que tarda S0(t) en recorrer desde la etiqueta maestra al lector, Ti representa el tiempo que tarda Si(t) en recorrer desde la etiqueta esclava i, a traves de la etiqueta maestra, hasta el lector.

Estos tiempos de progresion de senal (TOA) junto con el conocimiento de la velocidad de progresion de la senal pueden usarse mediante el lector 800 para calcular la distancia entre el lector a la etiqueta maestra y las distancias entre la etiqueta maestra y las etiquetas esclavas, de acuerdo con una realizacion adicional. El lector 800 puede configurarse para medir ademas de tiempo de progresion de senal tambien el angulo de llegada (AOA) de senal de etiquetas maestras y otra telemetria que pudiera ser decisiva al calcular localizacion de etiquetas (RSSI, TDOA, TOF, RTT, etc.).

Los aspectos descritos anteriormente, para las realizaciones ejemplares mostradas en las Figuras 1-10 o en cualquier parte o partes o funcion o funciones de las mismas pueden implementarse usando hardware, modulos de software, firmware, medio de almacenamiento legible por ordenador o usable por ordenador tangible que tiene instrucciones almacenadas en el mismo, o una combinacion de los mismos y pueden implementarse en uno o mas sistemas informaticos u otros sistemas de procesamiento. La Figura 11 ilustra un sistema informatico 1100 de ejemplo en el que las realizaciones de la presente invencion, o porciones de las mismas, pueden implementarse como codigo legible por ordenador. Por ejemplo, el sistema de seguimiento de objetos 140, el receptor de informacion visual 160, el receptor de informacion de RTLS 170, el seguidor de objetos 180 y/o cualquier otro componente de los sistemas ejemplares mostrados en las Figuras 1-10 pueden implementarse en hardware, firmware, o como codigo legible por ordenador en un sistema informatico tal como el sistema informatico 1100. Despues de leer esta descripcion, sera evidente para un experto en la materia como implementar la invencion usando otros sistemas informaticos y/o arquitecturas informaticas.

El sistema informatico 1100 incluye uno o mas procesadores, tales como el procesador 1104. El procesador 1104 puede ser un procesador de fin especial o un procesador de fin general. El procesador 1104 esta conectado a una infraestructura de comunicacion 1106 (por ejemplo, un bus o red).

El sistema informatico 1100 incluye tambien una memoria principal 1108, preferentemente memoria de acceso aleatorio (RAM) y puede incluir tambien una memoria secundaria 1110. La memoria secundaria 1110 puede incluir, por ejemplo, una unidad de disco duro 1112 y/o una unidad de almacenamiento extrafble 1114. La unidad de almacenamiento extrafble 1114 puede comprender una unidad de disco flexible, una unidad de cinta magnetica, una unidad de disco optico, una memoria flash o similares. La unidad de almacenamiento extrafble 1114 lee desde y/o escribe en una unidad de almacenamiento extrafble 1118 de una manera bien conocida. La unidad de almacenamiento extrafble 1118 puede comprender un disco flexible, cinta magnetica, disco optico, etc., que se leen mediante y se escriben en la unidad de almacenamiento extrafble 1114. Como se apreciara por el experto o expertos en la materia, la unidad de almacenamiento extrafble 1118 incluye un medio de almacenamiento usable por ordenador que tiene almacenado en el mismo software informatico y/o datos.

En implementaciones alternativas, la memoria secundaria 1110 puede incluir otros medios similares para permitir que los programas informaticos u otras instrucciones se carguen en el sistema informatico 1100. Tales medios pueden incluir, por ejemplo, una unidad de almacenamiento extrafble 1122 y una interfaz 1120. Ejemplos de tales medios pueden incluir un cartucho de programa e interfaz de cartucho (tales como los encontrados en dispositivos de videojuegos), un chip de memoria extrafble (tal como una EPROM o PROM) y zocalo asociado, y otras unidades de almacenamiento extrafble 1122 e interfaces 1120 que permiten que el software y datos se transfieran desde la unidad de almacenamiento extrafble 1122 al sistema informatico 1100.

El sistema informatico 1100 puede incluir tambien una interfaz de comunicaciones 1124. La interfaz de comunicaciones 1124 permite que el software y datos se transfieran entre sistema informatico 1100 y dispositivos externos. La interfaz de comunicaciones 1124 puede incluir un modem, una interfaz de red (tal como una tarjeta de Ethernet), un puerto de comunicaciones, una ranura y tarjeta PCMCIA, una tarjeta inalambrica o similares. El software y datos transferidos mediante la interfaz de comunicaciones 1124 estan en forma de senales que pueden ser electronicas, electromagneticas, opticas u otras senales que pueden recibirse mediante la interfaz de

5

10

15

20

25

30

35

40

45

50

comunicaciones 1124. Estas senales se proporcionan a la interfaz de comunicaciones 1124 mediante una ruta de comunicaciones 1126. La ruta de comunicaciones 1126 lleva senales y puede implementarse usando alambre o cable, fibra optica, una lmea de telefono, un enlace de telefono celular, un enlace de RF u otros canales de comunicaciones.

En este documento, las expresiones “medio de programa informatico” y “medio usable por ordenador” se usan en general para hacer referencia a medio tal como la unidad de almacenamiento extrafble 1118, unidad de almacenamiento extrafble 1122, un disco duro instalado en la unidad de disco duro 1112, y senales llevadas a traves de la ruta de comunicaciones 1126. Medio de programa informatico y medio usable por ordenador pueden hacer referencia tambien a memorias, tales como la memoria principal 1108 y la memoria secundaria 1110, que pueden ser memorias de semiconductores (por ejemplo, DRAM, etc.). Estos productos de programa informatico son medios para proporcionar software al sistema informatico 1100.

Los programas informaticos (tambien denominados logica de control informatica) se almacenan en memoria principal 1108 y/o memoria secundaria 1110. Los programas informaticos pueden recibirse tambien mediante la interfaz de comunicaciones 1124. Tales programas informaticos, cuando se ejecutan, posibilitan que el sistema informatico 1100 implemente la presente invencion como se analiza en el presente documento. En particular, los programas informaticos, cuando se ejecutan, posibilitan que el procesador 1104 implemente los procesos de la presente invencion, tales como las etapas en los metodos anteriormente descritos. Por consiguiente, tales programas informaticos representan controladores del sistema informatico 1100. Cuando la invencion se implementa usando software, el software puede almacenarse en un producto de programa informatico y cargarse en el sistema informatico 1100 usando la unidad de almacenamiento extrafble 1114, interfaz 1120, disco duro 1112 o interfaz de comunicaciones 1124.

Las realizaciones de la invencion tambien pueden referirse a productos informaticos que comprenden software almacenado en cualquier medio usable por ordenador. Tal software, cuando se ejecuta en uno o mas dispositivos de procesamiento de datos, provocan que un dispositivo o dispositivos de procesamiento de datos operen como se describe en el presente documento. Las realizaciones de la invencion emplean cualquier medio usable o legible por ordenador, conocido ahora o en el futuro. Ejemplos de medios usables por ordenador incluyen, pero sin limitacion, dispositivos de almacenamiento principal (por ejemplo, cualquier tipo de memoria de acceso aleatorio), dispositivos de almacenamiento secundario (por ejemplo, discos duros, disco flexibles, CD ROM, discos ZIP, cintas, dispositivos de almacenamiento magnetico, dispositivos de almacenamiento optico, MEMS, dispositivo de almacenamiento nanotecnologico, etc.), y medios de comunicacion (por ejemplo, redes de comunicaciones cableadas e inalambricas, redes de area local, redes de area extensa, intranets, etc.).

La presente invencion se ha descrito anteriormente con la ayuda de bloques de construccion funcionales que ilustran la implementacion de funciones especificadas y relaciones de las mismas. Los lfmites de estos bloques de construccion funcionales se han definido de manera arbitraria en el presente documento por conveniencia de la descripcion. Pueden definirse lfmites alternativos siempre que las funciones especificadas y relaciones de los mismos se realicen de manera apropiada.

La descripcion anterior de las realizaciones espedficas revelara entonces completamente la naturaleza general de la invencion que otros pueden, aplicando el conocimiento del experto en la materia, modificar facilmente y/o adaptar diversas aplicaciones de tales realizaciones espedficas, sin excesiva experimentacion, sin alejarse del concepto general de la presente invencion. Por lo tanto, tales adaptaciones y modificaciones se pretende que esten dentro del significado y variedad de equivalentes de las realizaciones desveladas, basandose en la ensenanza y grna presentada en el presente documento. Se ha de entender que la fraseologfa o terminologfa en el presente documento es para el fin de descripcion y no de limitacion, de manera que la terminologfa o fraseologfa de la presente memoria descriptiva se ha de interpretar por los expertos en la materia a la luz de las ensenanzas y grna.

La amplitud y alcance de la presente invencion no debenan estar limitados por ninguna de las realizaciones ejemplares anteriormente descritas, sino que debenan definirse unicamente de acuerdo con las siguientes reivindicaciones y sus equivalentes.

Claims

5

10

15

20

25

30

35

40

45

50

55

60

65

REIVINDICACIONES

1. Un metodo implementado por ordenador para seguir objetos en una escena, que comprende:

recibir informacion visual de la escena con un sistema de seguimiento basado en vision (110);

recibir informacion basada en telemetna de la escena con un sistema de seguimiento basado en sistema de localizacion en tiempo real (RTLS) (712); y caracterizado por que:

cuando cada uno del sistema de seguimiento visual (110) y el sistema de seguimiento basado en RTLS (712) no pueden identificar de manera independiente una localizacion e identidad del primer objeto, determinar la localizacion y la identidad de un primer objeto en la escena combinando la informacion visual con la informacion basada en telemetna,

en el que el sistema de seguimiento basado en RTLS (712) predice la localizacion del primer objeto a localizar en al menos un anillo espacial, y

en el que al menos un anillo espacial esta centrado alrededor de al menos un lector de sistema de seguimiento basado en RTLS (130) o al menos un transpondedor.
2. El metodo de la reivindicacion 1, en el que la determinacion comprende adicionalmente usar informacion basada en telemetna para localizar e identificar el primer objeto cuando la informacion visual no puede localizar e identificar el primer objeto en la escena.
3. El metodo de la reivindicacion 1, en el que la determinacion comprende adicionalmente usar informacion visual para localizar e identificar el primer objeto cuando la informacion basada en telemetna no puede localizar e identificar el primer objeto en la escena.
4. Un sistema para seguir objetos (140) en una escena, que comprende:

un receptor de informacion visual (170) configurado para recibir informacion visual de la escena con un sistema de seguimiento basado en vision (110);

un receptor de informacion basada en telemetna (160) configurado para recibir informacion basada en telemetna de la escena con un sistema de seguimiento basado en RTLS (712); y caracterizado por:

un seguidor de objetos (180), implementado en un sistema basado en procesador, configurado para localizar e identificar el primer objeto en la escena combinando la informacion visual con la informacion basada en telemetna cuando cada uno del sistema de seguimiento visual (110) y el sistema de seguimiento basado en RTLS (712) no pueden identificar de manera independiente una localizacion y una identidad del primer objeto; y

en el que el sistema de seguimiento basado en RTLS (712) esta configurado para predecir la localizacion del primer objeto a localizar en al menos un anillo espacial, y

en el que el al menos un anillo espacial esta centrado alrededor de al menos un lector de sistema de seguimiento basado en RTLS (130) o al menos un transpondedor.
5. El sistema (140) de la reivindicacion 4, en el que el seguidor de objetos (180) esta configurado adicionalmente para usar informacion basada en telemetna para localizar e identificar el primer objeto cuando la informacion visual no puede localizar e identificar el primer objeto en la escena.
6. El sistema (140) de la reivindicacion 4, en el que el seguidor de objetos (180) esta configurado adicionalmente para usar informacion visual para localizar e identificar el primer objeto cuando la informacion basada en telemetna no puede localizar e identificar el primer objeto en la escena.
7. El sistema (140) de la reivindicacion 4, en el que el seguidor de objetos (180) esta configurado adicionalmente para:

determinar cuando no hay disponible una lmea de vision (LOS) (416) directa entre el primer objeto y una camara (410) del sistema de seguimiento basado en vision (110); y

determinar que informacion basada en telemetna procedente del sistema de seguimiento basado en RTLS usar para localizar e identificar el primer objeto.
8. El sistema (140) de la reivindicacion 4, en el que el seguidor de objetos (180) esta configurado adicionalmente para:

determinar cuando no hay disponible una lmea de vision (LOS) directa entre una etiqueta de RTLS situada en el primer objeto y un lector (130) del sistema de seguimiento basado en RTLS; y

determinar que informacion visual usar para localizar e identificar el primer objeto.

5