ES2655978T3 - Procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia - Google Patents

Abstract

Procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia, comprendiendo el procedimiento las etapas siguientes: - adquisición (101) de una imagen de referencia representativa de una dirección de referencia del elemento móvil; - adquisición (102) de una imagen actual representativa de la dirección actual del elemento móvil; - identificación (103) de puntos de interés en la imagen de referencia y en la imagen actual; - determinación (104) de al menos dos pares de puntos de interés, estando compuesto un par por un punto de interés de la imagen actual y por un punto de interés que le corresponde en la imagen de referencia; - determinación (105) de la desviación angular entre la dirección actual y la dirección de referencia del elemento móvil utilizando los al menos dos pares de puntos identificados en la etapa anterior; caracterizado porque: - la frecuencia de refresco de la imagen actual está adaptada en función de la distancia media estimada entre los puntos de interés identificados en la imagen actual, aumentándose la frecuencia de refresco cuando los puntos de interés se aproximan entre sí.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia

La invención se refiere a un procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia y se aplica principalmente al campo de la navegación.

Para estimar el rumbo de un elemento móvil tal como un robot, una primera técnica consiste en utilizar su odometría, es decir la medición de su desplazamiento. Para ello, pueden aprovecharse unas mediciones procedentes de los diferentes sensores integrados. De ese modo, para un robot de ruedas es posible utilizar unos odómetros de tipo codificador rotativo situados en las ruedas. Uno de los inconvenientes de esta técnica es que produce una estimación que deriva significativamente con el tiempo.

Una segunda técnica existente consiste en implementar unos sensores métricos tales como un telémetro láser o una cámara 3D para referirlos con relación a un mapa que representa un entorno de navegación. Los procedimientos que se basan en esta técnica se designan por el acrónimo SLAM (Simultaneous Localization And Mapping), siendo el mapa en este caso construido igualmente y enriquecido durante la navegación del robot. Esta solución presenta varios inconvenientes. En efecto, es necesario integrar estos sensores en la arquitectura del robot. Esto implica unos costes de implementación importantes y requiere una potencia de cálculo significativa para generar un mapa y determinar la posición del robot.

Una tercera técnica existente se basa en la utilización de una central inercial de seis ejes. Esta central inercial está compuesta habitualmente por tres giroscopios y tres acelerómetros y puede dar principalmente el rumbo del robot. Dichas centrales padecen igualmente de un fenómeno de deriva de la medición o bien son muy costosas. Esta técnica no está por tanto adaptada para una implementación en un robot de reducido coste de implementación.

Los documentos “Monocular Vision for Mobile Robot Localization and Autonomous Navigation”, Eric Royer et ál. IJCV 2007, así como “A visual compass based on SLAM”, Montiel J.M.M et ál., ICRA 2006 describen unos procedimientos de localización por visión, calculando principalmente una desviación angular a partir de las correspondencias de puntos de interés entre una imagen actual y una imagen de referencia.

Los documentos “Appearance-based localization for mobile robots using digital zoom and visual compass”, Bellotto et ál., Robotics and autonomous systems, 2008, así como “Humanoid robot navigation: From visual SLAM to a visual compass”, Wirbel E. et ál., ICNSC 2013, describen unos procedimientos de localización de robots móviles a partir de las imágenes de una cámara. Así, se revela que los diseñadores de robots no han tenido a su disposición ninguna técnica que les permita obtener una estimación precisa del rumbo en tanto que minimizan los costes de implementación.

Un objetivo de la invención es principalmente paliar los inconvenientes antes mencionados.

Con este fin la invención tiene por objeto un procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia según la reivindicación 1. La utilización del procedimiento de estimación de la desviación angular de un robot con relación a una dirección de referencia permite evitar los errores de estimación propios de la odometría.

Según un aspecto de la invención, los puntos de interés se asocian a unos descriptores que corresponden a unos vectores binarios, siendo implementada la etapa de determinación de los pares mediante la comparación de estos vectores de dos en dos, siendo identificado un par de puntos de interés cuando los dos vectores de los dos puntos de interés se consideran como los más próximos con relación a los otros vectores candidatos asociados a otros puntos de interés.

La desviación angular se determina por ejemplo según los tres ejes X, Y, Z de una referencia ortonormal fija con relación al elemento móvil.

En un modo de realización, el procedimiento comprende una etapa de verificación de la calidad de la estimación de la desviación angular, siendo considerada suficiente la calidad cuando el número de pares de puntos de interés emparejados sobrepasa un valor de umbral predefinido.

Según un aspecto de la invención, se adquiere una nueva imagen de referencia cuando la calidad se considera insuficiente.

Ventajosamente, este control de la calidad permite mantener una estimación fiable de la desviación angular mientras se desplaza el elemento móvil.

La frecuencia de refresco de la imagen de referencia se adapta por ejemplo en función de la calidad de los puntos de interés, siendo estimada dicha calidad a partir de las tasas de puntos de interés correctos y actualizándose la imagen de referencia a partir de que esta tasa sea inferior a un valor de umbral predefinido.

5

10

15

20

25

30

35

40

45

50

55

La frecuencia de refresco de la imagen actual se adapta en función de la distancia media estimada entre los puntos de interés identificados en la imagen actual, incrementándose la frecuencia de refresco cuando los puntos de interés se aproximan entre sí.

La dirección de referencia corresponde por ejemplo a un rumbo objetivo que debe seguir el elemento móvil para desplazarse, determinándose unas órdenes para controlar el movimiento del elemento móvil y aplicándose de manera que se minimice la desviación angular estimada por el procedimiento.

La imagen de referencia se elige por ejemplo de manera que permanezca al menos parcialmente en el campo de visión de un sensor encargado de adquirir la imagen actual con el fin de que puedan emparejar un número mínimo predefinido de puntos de interés.

En un modo de realización, la desviación angular inicialmente estimada es de a radianes con relación a un rumbo objetivo que debe seguir el elemento móvil para desplazarse. La dirección de referencia corresponde a continuación al rumbo objetivo al que se añade una separación angular de -a/2 radianes. Determinándose unas órdenes para controlar el movimiento del elemento móvil y aplicándose de manera que la desviación angular estimada a continuación sea la más próxima posible a +a/2 radianes.

Según un aspecto de la invención, la imagen de referencia se obtiene mediante un sensor de imágenes integrado en el elemento móvil y dirigido en la dirección de referencia en el momento del disparo.

La invención tiene también por objeto un procedimiento de estimación de la posición angular de un elemento móvil en una referencia fija con relación a un espacio de navegación, comprendiendo el procedimiento las etapas siguientes: adquisición de un panorama compuesto por una pluralidad de imágenes que cubren el espacio de navegación, siendo una imagen del panorama representativa de una dirección que parte del elemento móvil; estimación de la posición angular del móvil por odometría; selección de una imagen de referencia entre las imágenes del panorama, correspondiendo dicha imagen a la posición angular estimada en la etapa anterior; estimación afinada de la posición angular del elemento móvil, siendo deducida dicha posición angular de una deriva angular estimada por la aplicación del procedimiento de estimación de la desviación angular.

El elemento móvil es por ejemplo un robot. Este robot puede ser de tipo humanoide.

Alternativamente, el elemento puede ser un automóvil.

La invención tiene por objeto un robot humanoide que comprende unos medios adaptados para implementar el procedimiento descrito anteriormente.

La invención tiene también por objeto un programa de ordenador que incluye unas instrucciones para la ejecución del procedimiento descrito anteriormente, cuando el programa se ejecuta por un módulo de procesamiento de datos.

Surgirán otras características y ventajas de la invención con la ayuda de la descripción que sigue dada a título ilustrativo y no limitativo, realizada con relación a unos dibujos adjuntos entre los que:

- la figura 1 ilustra esquemáticamente el procedimiento de las etapas del procedimiento de estimación de la desviación angular con relación a la dirección de referencia, asociándose dicha dirección de referencia a una imagen de referencia denominada en lo que sigue de la descripción imagen de referencia;

- la figura 2 da un ejemplo técnico de control de la trayectoria de un robot que utiliza el procedimiento de estimación de la deriva angular;

- la figura 3 da un ejemplo de imagen en la que se han detectado unos puntos de interés;

- la figura 4 representa un par de puntos emparejados e ilustra la manera en la que puede determinarse una desviación angular a partir de dos imágenes;

- la figura 5 da un ejemplo del resultado que puede obtenerse mediante la aplicación de una técnica de identificación de pares coherentes tal como RANSAC;

- la figura 6 ilustra de manera simplificada un procedimiento de estimación de la posición angular absoluta de un elemento móvil;

- la figura 7 ilustra esquemáticamente la fase de aprendizaje del procedimiento de estimación de la posición angular absoluta;

- la figura 8 ilustra una manera de elegir una imagen de referencia en un panorama y cómo puede estimarse la posición angular absoluta del robot;

- la figura 9 ilustra una manera de controlar los movimientos de rotación del robot con ayuda de una estimación de la posición angular absoluta;

- la figura 10 representa un robot humanoide.

En la descripción, la invención se describe con el ejemplo de una implementación sobre un robot, y más particularmente sobre un robot humanoide. Sin embargo, la invención es aplicable a cualquier elemento móvil. En particular, la invención es aplicable a cualquier tipo de vehículos, barcos o aeronaves.

5

10

15

20

25

30

35

40

45

50

55

La invención tiene principalmente por objeto un procedimiento de estimación de la desviación angular de un robot con relación a una dirección de referencia. Esta desviación angular relativa se define como el ángulo entre dicha dirección de referencia y la orientación del robot en el momento de la estimación. La orientación del robot en el momento de la estimación se denomina también dirección actual. El valor de este ángulo se determina por ejemplo en el sentido de las agujas de un reloj partiendo de la dirección de referencia.

Ventajosamente, las estimaciones de la desviación angular con relación al robot pueden utilizarse para controlar sus movimientos con precisión, principalmente para efectuar unos giros alrededor de un punto fijo con un ángulo dado o para efectuar un desplazamiento en línea recta en una dirección dada. Además, el procedimiento permite estimar una posición absoluta del robot.

La figura 1 ilustra esquemáticamente las etapas de un procedimiento de estimación de la desviación angular de la orientación de un robot con relación a una dirección de referencia, asociándose dicha dirección de referencia a una imagen denominada en lo que sigue de la descripción imagen de referencia.

En un primer tiempo, se determina 100 un valor del rumbo a alcanzar denominado rumbo objetivo. Este valor de rumbo objetivo corresponde por ejemplo a un ángulo cuando la desviación angular se estima en un sistema de coordenadas de dos dimensiones o bien a un conjunto de dos ángulos que corresponden por ejemplo a una latitud y a una longitud cuando la desviación angular se estima en un sistema de coordenadas de tres dimensiones. En un modo de realización y en el caso de un robot humanoide, el rumbo objetivo puede elegirse como que es la orientación del robot, correspondiendo dicha orientación por ejemplo a un vector perpendicular al torso del robot, que pasa por su centro y dirigido hacia adelante.

Se adquiere 101 a continuación una imagen de referencia. La imagen de referencia puede obtenerse con la ayuda de un sensor de imágenes integrado en el robot. Esta imagen de referencia es representativa de la dirección de referencia con relación a la que se estima mediante el procedimiento la desviación angular relativa del robot. En un modo de realización preferido, la imagen de referencia es una imagen adquirida cuando el sensor de imagen se sitúa en la dirección de referencia.

Se adquiere 102 a su vez una imagen actual en un instante dado denominado instante actual. Esta imagen actual corresponde por ejemplo a una imagen adquirida a partir de un sensor de imágenes integrado en el robot en el instante actual. En el caso de un robot humanoide, este sensor de imágenes puede situarse sobre la cabeza, pudiendo ser dicha cabeza fija o móvil con relación al cuerpo del robot.

Se identifica 103 entonces un conjunto de puntos de interés en la imagen de referencia y en la imagen actual.

Para ello, se utiliza un procedimiento de detección de puntos de interés, siendo designado un procedimiento de ese tipo por la palabra detector en lo que sigue de la descripción. Por otro lado, un punto de una imagen se denomina punto de interés cuando presenta unas características que permiten identificarlo en varias imágenes resultantes de disparos diferentes. En la práctica, un punto de interés corresponde a una zona de varios píxeles identificada por un píxel central y una escala. A título de ejemplo, un punto de interés puede corresponder a una zona de algunos píxeles que presentan un fuerte contraste y que corresponden a un ángulo de un armario.

Cuando se ha identificado un punto de interés mediante el detector, se le puede asociar un descriptor. Un descriptor es un identificador del punto de interés representado habitualmente en forma binaria. Los descriptores permiten principalmente comparar una imagen con otra de los puntos de interés identificados. Un descriptor corresponde por ejemplo a un vector binario.

Los descriptores de la imagen de referencia pueden reagruparse 103 en un índice denominado índice de referencia.

Como para la imagen de referencia, se identifican unos puntos de interés mediante un detector para esta imagen actual, asociándose entonces un descriptor a cada uno de estos puntos.

Una vez identificados y caracterizados 103 los puntos de interés, se implementa una etapa 104 de emparejamiento de los puntos de interés. Esta etapa 104 implementa la búsqueda, para cada uno de los puntos de interés identificados en la imagen actual, de al menos un punto de interés que le corresponde en la imagen de referencia. Para ello, los descriptores de los puntos de interés de la imagen actual pueden compararse con los descriptores memorizados en el índice de referencia.

Para efectuar esta comparación, pueden utilizarse diferentes técnicas como por ejemplo la técnica designada por la sigla KDTree. La técnica KDTree permite comparar rápidamente un vector dado con un índice precalculado. En este caso, para cada punto de interés identificado en la imagen actual, se seleccionan los dos vecinos más próximos. Para un punto de interés de la imagen actual, los vecinos más próximos son unos puntos de interés de la imagen de referencia para los que se minimiza la diferencia entre sus descriptores y el descriptor de un punto de interés de la imagen actual. A continuación, si la distancia al vecino más próximo es significativamente más reducida que la distancia al segundo vecino, se considera que el vecino más próximo se empareja al punto de interés de la imagen actual. Este procedimiento permite eliminar una parte de los pares de puntos erróneos. En efecto, si dos puntos de interés diferentes en la imagen actual tienen unos descriptores próximos, los puntos de interés de la imagen de

5

10

15

20

25

30

35

40

45

50

referencia que se les compararán tendrán unas distancias próximas. Esta técnica permite por tanto reducir el número de emparejamientos identificados, pero permite igualmente evitar que se emparejen mal puntos de interés demasiado numerosos de la imagen actual.

Una etapa 105 tiene a continuación por objetivo estimar la desviación angular con relación a una dirección de referencia. Para ello, se analizan los pares de puntos de interés identificados en la etapa anterior. Se da más adelante la descripción un ejemplo de comparación de dos pares de puntos de interés.

En un modo de realización, la desviación angular se determina según los tres ejes X, Y, Z de una referencia ortonormal fija con relación a los robots. Para ello, se pueden utilizar dos pares de puntos. Para implementar los cálculos, se toma como hipótesis que los puntos de interés se sitúan a una distancia infinita del robot.

Puede tenerse en cuenta igualmente como hipótesis que el robot gira en su sitio. En efecto, un giro alrededor del eje Z se traduce por un desplazamiento de los puntos de izquierda a derecha, alrededor del eje Y mediante un desplazamiento de arriba hacia abajo (lo que pueda verse como un único punto) alrededor del eje X mediante un giro alrededor del centro de la imagen (lo que necesita dos puntos para realizar el cálculo).

Una vez que se ha estimado la desviación angular, se verifica 107 que la calidad de la estimación es suficiente. En un modo de realización, la calidad se considera como suficiente cuando el número de pares de puntos de interés emparejado sobrepasa un valor de umbral predefinido. Si no es este el caso, la calidad de la estimación se considera insuficiente y se adquiere 120 una nueva imagen de referencia para proseguir las estimaciones. Si es este el caso, se considera suficiente la calidad y se adquiere 121 una nueva imagen actual de manera que se siga la evolución de la desviación angular en el transcurso del tiempo.

En lo que respecta a la frecuencia de renovación de la imagen 121 actual, esta debe elegirse en función del entorno de navegación y de la velocidad del robot. La frecuencia de refresco de la imagen actual se adapta en función de la distancia media estimada entre los puntos de interés. Cuanto más próximos están los puntos de interés entre sí, más elevada será la frecuencia de refresco. De ese modo, cuando el robot se desplaza hacia un muro, se aumenta la frecuencia de refresco.

Una de las ventajas fundamentales de la invención es que el cálculo de la desviación necesita una única imagen que representa la dirección de referencia.

En un modo de realización, la imagen de referencia puede actualizarse por refresco. En este caso, la frecuencia de refresco de la imagen de referencia puede adaptarse en el transcurso del funcionamiento y no fijarse a priori. La frecuencia de refresco puede actualizarse en función de la calidad de las referencias visuales y adaptarse automáticamente para conservar una calidad mínima.

Un ejemplo del criterio que permite desencadenar el refresco de la imagen de referencia es estimar la calidad del emparejamiento y renovar la imagen de referencia únicamente si es necesario, y esto antes de que se degrade la calidad. Esta calidad puede estimarse a partir de las tasas de puntos correctos obtenidos después del cálculo realizado mediante el algoritmo RANSAC. A partir del momento en que esa tasa es demasiado reducida, es decir inferior a un umbral fijado a priori, se toma una nueva imagen. De ese modo se refresca la imagen de referencia. El umbral puede elegirse de manera que la imagen anterior sea aún válida, con el fin de no perder jamás la imagen de referencia.

Según el entorno, es posible por tanto que una única imagen de referencia sea suficiente para la totalidad de la trayectoria emprendida por el elemento móvil, por ejemplo en el caso de un giro. La frecuencia de referencia no es por tanto fija, puesto que la imagen de referencia no se actualiza de manera periódica sino únicamente cuando la calidad del emparejamiento se reduce.

Además, la toma de una imagen en una dirección de referencia permite controlar al robot en una dirección desconocida para el robot, debido a la flexibilidad de las referencias. Cuando el robot avanza en una zona desconocida y la referencia se convierte en obsoleta, el refresco automático de la imagen de referencia permite retomar una imagen más adaptada al nuevo entorno.

La figura 2 da un ejemplo técnico de control de la trayectoria de un robot utilizando el procedimiento de estimación de la deriva angular.

En un primer tiempo, se efectúa 200 la estimación de la desviación angular con relación a una dirección de referencia como se ha descrito anteriormente con ayuda de la figura 1.

El objetivo es entonces utilizar la estimación de la desviación angular (etapa 107) con la relación a un objetivo (etapa 100) de manera que se controle la trayectoria del robot.

De ese modo, se determina una diferencia 201 entre el rumbo objetivo y la desviación angular estimada. La diferencia 201 corresponde por ejemplo a un ángulo a que puede utilizarse como orden para controlar la trayectoria del robot.

5

10

15

20

25

30

35

40

45

50

55

Si esta diferencia es nula, esto significa que se ha alcanzado 202 el rumbo objetivo. Si esta diferencia no es nula, debe corregirse 203 la trayectoria del robot de manera que se respete el rumbo objetivo. Se determina 201 entonces de nuevo la diferencia con el fin de verificar si se alcanza el rumbo objetivo.

En el caso en el que el robot efectúe un giro en el sitio, es decir alrededor de un eje vertical que lo atraviesa, puede realizarse un control de la manera siguiente. En un primer tiempo, el robot gira la cabeza con un ángulo igual a a/2 con relación a la posición de la cabeza cuando esta mira hacia adelante del robot. Se adquiere entonces una nueva imagen de referencia. Esta nueva imagen de referencia permitirá garantizar que podrá emparejarse correctamente un máximo de puntos de interés durante el control del giro en el sitio. El robot parte por tanto con una desviación angular equivalente a -a/2 con relación a la nueva dirección de referencia asociada a esta nueva imagen de referencia. Puede controlarse entonces para alcanzar una desviación angular con relación a esta nueva dirección de referencia igual a a/2. Para ello, es suficiente controlar el robot con una orden de rotación en velocidad adaptada y detenerse cuando se alcanza este valor de desviación.

De manera general, para mantener la imagen de referencia en el campo de visión del robot durante su desplazamiento, puede utilizarse la desviación angular estimada para controlar un movimiento de la cabeza y adquirir una imagen de referencia de manera que puedan emparejarse un número mínimo de puntos de interés.

En el caso de un desplazamiento en línea recta del robot, el objetivo es mantener una desviación angular nula con relación al rumbo objetivo. Para ello, el robot gira la cabeza en la dirección correspondiente al rumbo objetivo de manera que adquiera una imagen de referencia. A continuación, se controla el movimiento del robot con la ayuda de las órdenes de velocidad en traslación y/o en el giro de manera que se mantenga la desviación angular nula.

Es posible mantener la posición de la cabeza en la dirección del rumbo objetivo mientras se mueve el cuerpo del robot. En efecto, al ser conocida la posición de la cabeza del robot con relación a su cuerpo, puede deducirse directamente el rumbo del robot.

Ventajosamente, el procedimiento funciona igualmente si la totalidad de los puntos de interés identificados en la imagen de referencia no permanece visible por el sensor que proporciona las imágenes actuales. En efecto, dos pares correctamente emparejados son suficientes en teoría para estimar la desviación angular. Sin embargo, cuanto mayor sea el número de pares correctos, mejor es la estimación de la desviación angular.

Siempre en el caso de un desplazamiento en línea recta, puede utilizarse la odometría del robot para estimar la distancia recorrida y determinar cuándo debe detenerse el robot. En efecto, esto es más fiable que utilizar una estimación de la posición porque en realidad los puntos de interés no están posicionados en el infinito. Cuanto más se aproxima el robot a los puntos de interés, más se dilatan las distancias entre ellos, lo que el modelo no tiene en cuenta. Para compensar este efecto, se supervisa 106 la calidad del modelo en el transcurso del tiempo: a partir de que disminuye significativamente, se renovará la imagen de referencia, lo que permite hacer de nuevo válida la hipótesis de los puntos en el infinito.

La utilización del procedimiento de estimación de la desviación angular de un robot con relación a la dirección de referencia permite evitar los errores de estimación propios de la odometría. Ventajosamente, solo pueden utilizarse unas órdenes de velocidad determinadas en función de la desviación angular.

Se manifiesta que se utiliza una dirección de referencia para la cabeza en el caso del giro en el sitio y del giro. El cuerpo del robot debe seguir igualmente una dirección objetivo que es la misma que la cabeza en el caso de una traslación, y diferente en el caso de una rotación.

En el caso en el que un robot humanoide efectúa una traslación, la dirección de referencia y la orientación de la cabeza pueden ser las mismas. La cabeza y el cuerpo del robot se controlan entonces para seguir esta dirección.

En el caso del giro y si a corresponde al ángulo de giro a efectuar, la dirección de referencia para la cabeza es entonces a/2 con relación a la posición de partida, mientras que la dirección de referencia para el cuerpo es a con relación a la posición de partida. Durante el giro, la cabeza se mantiene en su dirección de referencia con el fin de mantener la misma imagen durante un giro que vaya más allá de 180°, y el cuerpo se controla para alinearlo en la dirección a. Con relación a la cabeza, el cuerpo está por tanto en la partida en la dirección -a/2, y en la llegada en la dirección a/2.

La figura 3 da un ejemplo de imagen en la que se han detectado unos puntos de interés. En este ejemplo, se ha utilizado un descriptor sensible a las zonas de grandes contrastes así como a las esquinas de los objetos.

En el marco del procedimiento según la invención, el detector debe elegirse de manera que puedan encontrarse los mismos puntos de interés de una imagen a otra. Debe por tanto ser robusto a las modificaciones resultantes principalmente de los movimientos del robot. Un ejemplo de modificaciones corresponde a la aplicación de un factor de escala de un disparo a otro cuando el robot está en movimiento, por ejemplo cuando el robot se desplaza en la dirección de la imagen de referencia. Puede introducirse también un efecto de desenfoque resultante del disparo efectuado cuando el robot está en movimiento. Puede intervenir igualmente un cambio en la luminosidad entre dos disparos. Esto puede ocurrir cuando el robot se desplaza de una zona bien iluminada hacia una zona menos

5

10

15

20

25

30

35

40

45

50

iluminada.

En un modo de realización preferido, se utiliza el detector FAST (Features from Accelerated Segment Test) sobre la pirámide de imágenes. Ventajosamente, este detector presenta unas propiedades adaptadas para su utilización en el marco del procedimiento según la invención. Una primera propiedad es que la extracción de los puntos de interés es extremadamente rápida. Es posible así extraer unos centenares de puntos en algunos milisegundos sobre una plataforma de cálculo de bajo coste. La extracción de un gran número de puntos de interés mejora la robustez del procedimiento en caso de obstrucción de los puntos. Otra propiedad del detector FAST es que es robusto en caso de disparo desenfocado y en caso de cambio de luminosidad. Esto es particularmente útil cuando el procedimiento de estimación de la deriva angular se utiliza en movimiento.

Se ha de observar que el detector FAST cuando se utiliza solo no es robusto a los cambios de escala. Este problema se resuelve mediante la construcción de una pirámide de imágenes, es decir una representación multi- resolución de la imagen.

Es igualmente posible utilizar otros detectores que pertenecen al estado de la técnica como el detector Harris, los detectores SURF (Speeded Up Robust Features) y el detector SIFT (Scale Invariant Feature Transform).

Para cada punto significativo identificado por el detector, se determina un descriptor. El tipo de descriptor elegido para implementar el procedimiento de estimación debe permitir emparejar eficazmente unos puntos identificados en dos imágenes. El emparejamiento se considera eficaz cuando permite comparar los descriptores de los puntos de interés identificados en las dos imágenes e identificar unos pares, correspondiendo un par a dos puntos idénticos en dos imágenes diferentes adquiridas en un mismo entorno de navegación.

En un modo de realización preferido, el descriptor es un descriptor ORB (Oriented Fast and Rotated BRIEF). Este descriptor se genera comparando doscientos cincuenta y seis pares de píxeles en la zona definida por el detector, y deduciendo un vector de doscientos cincuenta y seis bits. Ventajosamente, la determinación de un descriptor ORB es rápida de calcular porque este se determina mediante una simple comparación de píxeles. Además, es muy rápido de comparar dos descriptores. En efecto, un descriptor corresponde a un vector binario. Es posible entonces compararlos de dos en dos utilizando unas herramientas simples como por ejemplo la distancia de Hamming. Otra ventaja del descriptor ORB es que es robusto cuando se aplica sobre unas imágenes borrosas y/o en presencia de cambios de luminosidad.

Sin embargo, el procedimiento de estimación de la desviación angular relativa no está limitado a la utilización de descriptores ORB. Pueden utilizarse otros descriptores como los descriptores SIFT y SURF.

La figura 4 representa un par de puntos emparejados e ilustra la manera en la que puede determinarse una desviación angular a partir de dos imágenes.

En este ejemplo, se representan esquemáticamente dos imágenes 400, 401. La primera imagen 400 es una imagen de referencia que comprende dos puntos de interés 402, 403. La segunda imagen 401 es una imagen actual que comprende igualmente dos puntos de interés 405, 406. Estos diferentes puntos de interés se han emparejado (etapa 104). De ese modo, un primer par está compuesto por los puntos 402 y 405 y el segundo par está compuesto por los puntos 403 y 406.

La desviación angular (etapa 105) puede determinarse de la manera siguiente. El objetivo está en un primer tiempo en obtener el desplazamiento angular a partir de las mediciones de los desplazamientos en píxeles entre los dos pares de puntos. Se toma como hipótesis que los dos pares de puntos se han emparejado correctamente y que el desplazamiento del robot entre los dos disparos es el resultado únicamente de giros, es decir que el movimiento real es un giro puro o bien que los puntos están posicionados en el infinito.

El giro según el eje de las X se denota por wx y puede expresarse en radianes utilizando la expresión siguiente:

imagen1

en la que:

z1 y z'1 son unos números complejos que corresponden a las coordenadas del primer par de puntos de interés

402, 405 situados en la imagen 400 de referencia y en la imagen 401 actual respectivamente;

z2 y z'2 son unos números complejos que corresponden a las coordenadas del segundo par de puntos de interés

403, 406 situados en la imagen 400 de referencia y en la imagen 401 actual, respectivamente; arg() representa la función que determina el argumento de un número complejo.

Se determina a continuación una cantidad o utilizando la expresión siguiente:

t . , i6

0= 2,-ZjXe

5

10

15

20

25

30

35

40

45

50

El centro de la imagen se indica por c. d es un número complejo tal como la parte real que corresponde a la desviación según el eje X y la parte imaginaria de la desviación según el eje Y. d puede expresarse por tanto de la siguiente manera:

d = o-\1 - jx c

La apertura angular horizontal de la cámara se indica por Oh y la apertura angular vertical se indica como ov. ih designa la anchura de la imagen e iv designa la altura en píxeles. Los giros wy y wz según los ejes X, Y y Z pueden determinarse utilizando las expresiones siguientes:

imagen2

Sin embargo, es posible que las hipótesis tomadas anteriormente no se verifiquen en la práctica. En efecto, pueden emparejarse unos pares de puntos mientras que no deberían haberlo sido. Estos malos emparejamientos pueden deberse por ejemplo a la aparición de nuevos puntos que eran invisibles en la imagen de referencia por un fenómeno de paralelaje. Estos malos emparejamientos pueden ser igualmente la consecuencia de una precisión imperfecta de los descriptores utilizados o de imprecisiones en la posición de los puntos de interés. Pueden ser debidos también a unos objetos situados demasiado cerca del robot y cuyo desplazamiento de un disparo al otro se produce de manera compleja. Unos objetos en movimiento pueden inducir igualmente malos emparejamientos.

En la descripción, el conjunto compuesto por un punto de interés de la imagen de referencia y por un punto de interés de la imagen actual que se le empareja pero corresponde en realidad a otro punto se designa en lo que sigue de la descripción por la expresión pareja incoherente. Por el contrario, una pareja se denomina coherente cuando los puntos de interés se han emparejado correctamente.

Con el fin de extraer entre el conjunto de los pares de puntos identificados en la etapa 106 los pares coherentes, puede utilizarse la técnica siguiente. Considerando que el conjunto de los pares identificados contiene al menos un par coherente y que los pares coherentes son tales que un modelo calculado sobre uno de entre ellos dará buenos resultados en todos los otros pares coherentes y malos resultados con los pares incoherentes. Por el contrario, un modelo calculado sobre unos pares incoherentes no dará buenos resultados más que sobre muy pocos de los pares de puntos correspondientes al azar. Este principio se implementa principalmente por el algoritmo RANSAC (RANdom Sample Consensus). Permite encontrar entre un conjunto de puntos de datos el modelo que da buenos resultados sobre un máximo de los puntos. En el marco del procedimiento según la invención, el modelo puede implementarse principalmente gracias a las ecuaciones dadas anteriormente. La cualificación de los resultados se basa entonces en la determinación de la distancia entre los puntos predichos por el modelo a partir de los puntos de interés de la imagen de referencia y los puntos emparejados en la imagen actual.

Ventajosamente, la utilización de la técnica RANSAC requiere pocos recursos de cálculo porque los procesamientos se efectúan sobre un número mínimo de puntos, por ejemplo sobre dos pares de puntos.

La figura 5 da un ejemplo del resultado que puede obtenerse mediante la aplicación de la técnica de identificación de pares coherentes tal como RANSAC.

Se representa una imagen 530 de referencia y la imagen 520 actual así como unos pares 500 a 508 coherentes y unos pares 509 a 513 incoherentes. El robot ha avanzado entre las dos imágenes. Se presenta que los pares incoherentes corresponden a un mal emparejamiento y que los pares coherentes muestran una desviación global de izquierda a derecha.

La figura 6 ilustra de manera simplificada un procedimiento de estimación de la posición angular absoluta de un elemento móvil.

El procedimiento descrito a continuación tiene por objetivo estimar la posición angular absoluta de un robot. A diferencia del procedimiento de estimación descrito anteriormente, este procedimiento permite determinar la orientación del robot no ya con relación al rumbo objetivo asociado a una imagen de referencia dada, sino de manera absoluta en un espacio de navegación, es decir en el espacio de desplazamiento del robot. Este procedimiento permite igualmente controlar el movimiento del robot de manera que se alcance una posición angular absoluta principalmente cuando el robot gira en su sitio.

El procedimiento de estimación de la posición angular absoluta comprende una fase 600 de aprendizaje, una fase 601 de elección de una imagen de referencia entre una pluralidad de imágenes candidatas y una fase 602 de estimación de la posición angular.

5

10

15

20

25

30

35

40

45

50

En un modo de realización preferido, la fase 602 de estimación de la posición angular repite las etapas del procedimiento de estimación de la desviación angular relativa tal como se ha descrito anteriormente.

La figura 7 ilustra esquemáticamente la fase de aprendizaje del procedimiento de estimación de la posición angular absoluta.

La fase de aprendizaje consiste en un primer tiempo en capturar unas imágenes 700 de referencia representativas del espacio de navegación.

A título de ejemplo, puede controlarse un sensor de imágenes integrado para efectuar un movimiento de giro de trescientos sesenta grados alrededor del robot, y esto en un plano horizontal.

El conjunto de las imágenes tomadas durante esta fase de aprendizaje se denomina panorama en lo que sigue de la descripción.

A título de ejemplo, puede utilizarse para esto un sensor de imágenes de gran ángulo o panorámico. Sin embargo, se ha de observar que este tipo de sensor necesita unas lentes especiales y que estas deforman la imagen. Además, deben colocarse en la parte superior del robot para no quedar obstaculizados por el robot en sí.

Para superar estas limitaciones, es posible utilizar un sensor de imágenes que tenga un ángulo de disparo más limitado que los de los sensores descritos anteriormente.

En el caso de un robot humanoide, el sensor de imágenes puede integrarse en su cabeza adaptada para poder girar trescientos sesenta grados. Las imágenes que componen el panorama se adquirirán sobre el conjunto del campo requerido aprovechando la capacidad del robot para girar la cabeza e implementando un giro controlado de la cabeza por ejemplo aplicando el procedimiento de estimación de la desviación angular relativa.

Alternativamente, los movimientos de la cabeza pueden sustituirse por un giro en el sitio del robot. Esto puede ser útil principalmente cuando la cabeza del robot no puede girar trescientos sesenta grados.

Las imágenes de referencia se adquieren de manera que se solapen parcialmente de dos en dos. A título de ejemplo, dos imágenes de referencia vecinas en el panorama pueden solaparse en la mitad. En otros términos, estas dos imágenes tienen en este caso una semi-imagen en común. Esta característica implica que una imagen de referencia dada tiene potencialmente uno o varios puntos de interés en común con una o varias de otras imágenes de referencia. Ventajosamente, cuanto mayores sean las zonas de solapamiento, más fiable es la estimación.

Para cada imagen de referencia del panorama, pueden extraerse y/o memorizarse 701 unos datos que le están asociados. Estos datos corresponden por ejemplo a los puntos de interés y a sus descriptores, a la posición angular de las imágenes de referencia con relación a la posición inicial del robot. La posición angular inicial del robot puede servir en efecto de referencia. Las imágenes de referencia que componen el panorama pueden memorizarse en una memoria interna en el vehículo.

Las imágenes de referencia que componen el panorama se comparan 702 entre sí a continuación. Para ello, los puntos de interés extraídos de las diferentes imágenes del panorama se emparejan como se ha descrito anteriormente. A título de ejemplo, el resultado de estas comparaciones puede memorizarse en una matriz denominada matriz de confusión. Esta matriz está adaptada de manera que cada una de sus casillas comprenda un número entero igual al número de puntos emparejados para dos imágenes del panorama que se hayan comparado. Es posible entonces verificar cuál es el nivel de similitud entre las imágenes del panorama.

El registro de las imágenes del panorama en una memoria no volátil permite liberar la memoria volátil de tipo RAM por ejemplo. Para un acceso rápido, pueden mantenerse solo en la memoria volátil los descriptores de los puntos de interés. Además, la memorización de las imágenes del panorama en una memoria no volátil permite conservar un panorama dado de manera duradera incluso después de un reinicio del robot.

La figura 8 ilustra una manera de elegir una imagen de referencia en un panorama y cómo puede estimarse la posición angular absoluta del robot.

Después de la fase de aprendizaje, la posición angular absoluta del robot puede estimarse a partir de la imagen actual y de la odometría del robot.

En un primer tiempo, se adquiere 800 una imagen actual.

A continuación, se estima la posición angular actual del robot (etapa 801) a partir de la estimación de posición angular anterior y de la medida del desplazamiento mediante la odometría. Esta estimación no es forzosamente precisa pero permite lanzar la búsqueda de una mejor imagen de referencia que permitirá estimar lo más precisamente posible la posición absoluta del robot.

La imagen del panorama asociada a la posición angular considerada como la más próxima a la posición angular estimada 801 se selecciona como la imagen de referencia candidata y sus puntos de interés se emparejan con los

5

10

15

20

25

30

35

40

45

50

puntos de interés de la imagen actual (etapa 802).

Se aplica a continuación una prueba 804, teniendo por función dicha prueba comparar el número de pares identificados en la etapa 802 con un número de pares obtenidos en la iteración anterior, es decir con otra imagen de referencia candidata que se haya seleccionado anteriormente si es necesario.

Si el número de pares identificados en la etapa 802 corresponde a un porcentaje inferior o igual a un valor P predefinido, se selecciona 805 a su vez una imagen de referencia vecina en el panorama de la imagen de referencia utilizado para este emparejamiento, como imagen de referencia candidata. A título de ejemplo, P = 30 %. Esta nueva imagen de referencia candidata se elige en el panorama de manera que se alejen cada vez más de una iteración a otra de la imagen del panorama seleccionada inicialmente mediante el procedimiento. Se aplica entonces de nuevo la etapa 802.

Si el resultado de la prueba 804 da un número de pares que corresponden a un porcentaje superior al valor P predefinido, la imagen de referencia candidata se considera como satisfactoria y se denomina imagen I.

Una vez que se ha encontrado una imagen de referencia candidata I juzgada como satisfactoria, se compara 806 la imagen actual con la imagen Ig situada a la izquierda de I en el panorama.

Si el número de puntos de interés emparejados es mayor que para la imagen I 807, entonces la nueva imagen candidata es la imagen Ig 808, es decir I = Ig.

Si el número de puntos de interés emparejados es más reducido con la imagen Ig que con la imagen I, la imagen actual se compara 809 con la imagen Id situada a la derecha de I en el panorama.

Si el número de puntos de interés emparejados es mayor que para la imagen I 10 de referencia, entonces la nueva imagen candidata es la imagen Id 811, es decir I = Id.

Una vez que se ha seleccionado una imagen I de referencia, se determina 812 la posición angular absoluta utilizando el procedimiento de estimación de la desviación angular relativa descrito anteriormente tomando como entradas la imagen actual y la imagen de referencia I seleccionada en el panorama. Este procedimiento estima un desplazamiento angular con relación a una posición angular inicial. La posición absoluta puede determinarse entonces sin ambigüedad porque la posición angular inicial se asocia a la imagen I de referencia y puede expresarse en una referencia fija con relación al entorno de navegación. El desfase angular permite deducir la posición absoluta del robot de la posición angular inicial.

La figura 9 ilustra una manera de controlar los movimientos de giro del robot con la ayuda de la estimación de posición angular absoluta.

Para esto, se efectúa la estimación 900 de la posición absoluta como se ha descrito anteriormente (figura 8).

A continuación, se determinan 901 los parámetros que permiten controlar el movimiento del robot de la manera habitual con el fin de alcanzar un destino previamente elegido.

Se selecciona 902 la imagen del panorama asociada al rumbo a emprender para implementar el movimiento.

Se dirige 903 el sensor de imágenes integrado en la dirección del rumbo mencionado anteriormente de manera que adquiera las imágenes actuales. Si el sensor está integrado en la cabeza móvil de un robot humanoide, es la cabeza la que efectúa este movimiento.

En tanto que puedan emparejarse unos puntos de la imagen actual con unos puntos de la imagen objetivo, se implementa 904 el movimiento del robot con control de la deriva angular. Si el control del movimiento por compensación de la deriva angular no es eficaz, el movimiento puede controlarse con la ayuda de la odometría del robot.

La figura 10 representa un robot humanoide que puede implementar las diferentes técnicas de estimación de la deriva angular, de determinación de la posición angular relativa y absoluta y del control del movimiento tales como se han descrito anteriormente. El ejemplo elegido para esta figura es un robot NAO (marca registrada) de la sociedad Aldebaran Robotics. El robot comprende dos sensores 1000, 1001 integrados en una cabeza que puede efectuar un movimiento circular de trescientos sesenta grados.

La cabeza permite dotar a los robots de las capacidades sensoriales y de expresiones que se utilizan en la implementación de la presente invención.

El robot comprende por ejemplo dos cámaras CMOS 640x 480 capaces de captar hasta treinta imágenes por segundo, por ejemplo unas cámaras cuyo sensor es de la marca Omnivision™ de referencia 0V7670 (sensor CMOS de 1/6° de pulgada: píxeles de 3,6 pm). La primera cámara 1000 colocada a la altura de la frente, esta apuntada hacia su horizonte, mientas que la segunda 1001 colocada a la altura de la boca, escruta su entorno inmediato. El software permite adquirir unas fotos de lo que ve el robot así como el flujo de video. En este ejemplo, la primera

cámara 1000 puede utilizarse para adquirir las imágenes actuales y las imágenes de referencia para la implementación de los procedimientos de estimación de la posición angular relativa y absoluta del robot así como para la implementación de los procedimientos de control del movimiento descritos anteriormente.

En la descripción, se han descrito esos procedimientos en el marco de una implementación sobre un robot, y más 5 particularmente en un robot humanoide. Sin embargo, la invención es aplicable para determinar la posición angular de cualquier elemento móvil. En particular, la invención es aplicable a cualquier tipo de vehículos, barcos o aeronaves.

A título de ejemplo, la invención puede aplicarse para un vehículo que comprenda un receptor GPS (Global Positioning System) que se haya adaptado para implementar la invención. Ventajosamente, las estimaciones de 10 deriva angular y/o de posición angular absoluta permiten corregir unas mediciones GPS, principalmente cuando es visible por parte de dicho receptor un número demasiado reducido de satélites.

Claims (15)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   REIVINDICACIONES

   1. Procedimiento de estimación de la desviación angular de un elemento móvil con relación a una dirección de referencia, comprendiendo el procedimiento las etapas siguientes:

   - adquisición (101) de una imagen de referencia representativa de una dirección de referencia del elemento móvil;

   - adquisición (102) de una imagen actual representativa de la dirección actual del elemento móvil;

   - identificación (103) de puntos de interés en la imagen de referencia y en la imagen actual;

   - determinación (104) de al menos dos pares de puntos de interés, estando compuesto un par por un punto de interés de la imagen actual y por un punto de interés que le corresponde en la imagen de referencia;

   - determinación (105) de la desviación angular entre la dirección actual y la dirección de referencia del elemento móvil utilizando los al menos dos pares de puntos identificados en la etapa anterior; caracterizado porque:

   - la frecuencia de refresco de la imagen actual está adaptada en función de la distancia media estimada entre los puntos de interés identificados en la imagen actual, aumentándose la frecuencia de refresco cuando los puntos de interés se aproximan entre sí.
2. 2. Procedimiento según la reivindicación 1, en el que los puntos de interés se asocian a unos descriptores que corresponden a unos vectores binarios, implementándose la etapa (104) de determinación de los pares mediante la comparación de estos vectores de dos en dos, identificándose un par de puntos de interés cuando los dos vectores de los dos puntos de interés se consideran como los más próximos con relación a otros vectores candidatos asociados a otros puntos de interés.
3. 3. Procedimiento según una de las reivindicaciones anteriores, en el que se determina (105) la desviación angular según los tres ejes X, Y, Z de una referencia ortonormal fija con relación al elemento móvil.
4. 4. Procedimiento según una de las reivindicaciones anteriores, que comprende una etapa (106) de verificación de la calidad de la estimación de la desviación angular, considerándose suficiente la calidad cuando el número de pares de puntos de interés emparejados (104) sobrepasa un valor de umbral predefinido.
5. 5. Procedimiento según la reivindicación 4, en el que se adquiere (120) una nueva imagen de referencia cuando la calidad se considera insuficiente.
6. 6. Procedimiento según una de las reivindicaciones anteriores, en el que la frecuencia de refresco de la imagen de referencia está adaptada en función de la calidad de los puntos de interés, estimándose dicha calidad a partir de las tasas de puntos de interés correctos y actualizándose la imagen de referencia a partir de que la tasa sea inferior a un valor de umbral predefinido.
7. 7. Procedimiento según una de las reivindicaciones anteriores, en el que la dirección de referencia corresponde a un rumbo objetivo que debe seguir el elemento móvil para desplazarse, determinándose unas órdenes para controlar (203) el movimiento del elemento móvil y aplicándose de manera que la desviación (200) angular estimada por el procedimiento se minimice (201, 202).
8. 8. Procedimiento según una de las reivindicaciones anteriores, en el que la imagen de referencia se elige de manera que permanezca al menos parcialmente en el campo de visión de un sensor encargado de adquirir la imagen actual con el fin de que puedan emparejarse un número mínimo predefinido de puntos de interés.
9. 9. Procedimiento según una de las reivindicaciones anteriores, en el que la desviación angular inicialmente estimada es de a radianes con relación a un rumbo objetivo que debe seguir el elemento móvil para desplazarse, correspondiendo la dirección de referencia a continuación al rumbo objetivo al que se añade una separación angular de -a/2 radianes, determinándose unas órdenes para controlar el movimiento del elemento móvil y aplicándose de manera que la desviación angular estimada a continuación sea lo más próxima posible a +a/2 radianes.
10. 10. Procedimiento según una de las reivindicaciones anteriores, en el que la imagen de referencia se obtiene mediante un sensor (1000) de imágenes integrado en el elemento móvil y dirigido en la dirección de referencia en el momento del disparo.
11. 11. Procedimiento de estimación de la posición angular de un elemento móvil en una referencia fija con relación a un espacio de navegación, comprendiendo el procedimiento las etapas siguientes:

    - adquisición (600, 700) de un panorama compuesto por una pluralidad de imágenes que cubren el espacio de navegación, siendo representativa una imagen del panorama de la dirección que parte del elemento móvil;

    - estimación de la posición angular del móvil por odometría;

    - selección (601) de una imagen de referencia entre las imágenes del panorama, correspondiendo dicha imagen a la posición angular estimada en la etapa anterior;

    - estimación (602) afinada de la posición angular del elemento móvil, deduciéndose dicha posición angular de una deriva angular estimada mediante la aplicación del procedimiento según una de las reivindicaciones anteriores con la imagen de referencia seleccionada.
12. 12. Procedimiento según una de las reivindicaciones anteriores, en el que el elemento móvil es un robot de tipo humanoide.
13. 13. Procedimiento según una de las reivindicaciones anteriores, en el que el elemento móvil es un vehículo.
14. 14. Robot humanoide que comprende unos medios adaptados para implementar el procedimiento según una 5 cualquiera de las reivindicaciones 1 a 13.
15. 15. Programa de ordenador que incluye unas instrucciones para la ejecución del procedimiento según una cualquiera de las reivindicaciones 1 a 13, cuando el programa se ejecuta mediante un módulo de procesamiento de datos.