FR2847699A1 - Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui - Google Patents
Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui Download PDFInfo
- Publication number
- FR2847699A1 FR2847699A1 FR0306170A FR0306170A FR2847699A1 FR 2847699 A1 FR2847699 A1 FR 2847699A1 FR 0306170 A FR0306170 A FR 0306170A FR 0306170 A FR0306170 A FR 0306170A FR 2847699 A1 FR2847699 A1 FR 2847699A1
- Authority
- FR
- France
- Prior art keywords
- autonomous vehicle
- information
- orientation
- movement
- vehicle according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Un véhicule autonome (100) mesure son orientation en utilisant un capteur d'accélération (131) et un capteur de flux magnétique (132), et extrait une information géométrique épipolaire en utilisant l'information d'orientation mesurée. Du fait que les points correspondants entre des images nécessaires pour extraire l'information géométrique épipolaire peuvent être réduits à deux, il est possible d'obtenir plus aisément et correctement une information de mouvement du véhicule autonome et une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome.
Description
La présente invention concerne la détection et la poursuite d'un objet en
utilisant un système de traitement d'image embarqué dans un système automatique ou un système de véhicule intelligent. La présente invention concerne plus particulièrement un véhicule autonome, et de façon plus spécifique un appareil et un procédé pour estimer le mouvement d'un véhicule autonome tel qu'un robot mobile et détecter une information tridimensionnelle (3D) d'un objet
apparaissant devant le véhicule autonome en mouvement.
A l'heure actuelle, avec le développement constant de l'intérêt porté aux robots, diverses sortes de robots sont proposées et développées de façon active. Bien que les robots soient fabriqués pour de nombreuses applications, la commande de mouvement est une exigence pour toute application de robotique. En particulier, pour commander de façon précise le mouvement d'un véhicule autonome tel qu'un robot mobile, il est nécessaire d'avoir non seulement une information concernant le mouvement du véhicule autonome lui-même, pour une prévision de chemin et une localisation exactes du véhicule autonome, mais également une information tridimensionnelle (3D) d'un objet, par exemple un obstacle, en ce qui concerne une distance entre le véhicule autonome et l'objet, une forme tridimensionnelle de l'objet, etc., pour permettre au véhicule autonome
d'éviter l'obstacle apparaissant devant lui.
Il a été proposé une variété de procédés pour estimer le mouvement d'un véhicule autonome et obtenir une information 3D concernant un objet apparaissant devant le véhicule autonome en mouvement. Habituellement, cette information 3D est extraite d'une image bidimensionnelle (2D) obtenue par l'intermédiaire d'une caméra. Cependant, les procédés qui extraient une information 3D d'une image 2D ont fondamentalement des restrictions dans l'obtention
d'une information géométrique épipolaire correcte.
Pour résoudre le problème décrit ci-dessus, le brevet des E.U.A. nO 6 430 304 délivré à Hanna et al. le 6 aot 2002 et intitulé "Method and Apparatus for Processing Images to Compute Image Flow Information", le brevet des E.U.A. nO 6 421 961 délivré à Hicks le 2 juillet 2002, et intitulé "Rectifying Mirror", le brevet des E.U.A. n0 6 393 144 délivré à Rogina et al. le 21 mai 2002 et intitulé "Image Transformation and Synthesis Methods", ou autres, proposent des procédés pour calculer de façon plus exacte une information géométrique épipolaire en éliminant du bruit. Cependant, malgré le fait qu'une information géométrique épipolaire plus exacte puisse être obtenue, il demeure nécessaire de considérer de nombreuses hypothèses et restrictions dans le calcul du mouvement d'un véhicule autonome tel qu'un robot mobile, et par conséquent il y a encore de nombreuses restrictions lorsqu'on applique ces
procédés classiques.
La présente invention procure un appareil et un procédé pour obtenir de façon plus exacte et plus simple une information de mouvement d'un véhicule autonome luimême, ainsi qu'une information tridimensionnelle concernant un objet qui existe dans un chemin de déplacement du
véhicule autonome.
Selon un aspect de la présente invention, celle-ci procure un véhicule autonome incluant une unité de détection de points correspondants pour obtenir une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; une unité de mesure d'orientation pour calculer une information d'orientation du véhicule autonome; une unité de calcul épipolaire pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; une unité d'analyse de mouvement pour analyser le mouvement du véhicule autonome sur la base de l'information géométrique épipolaire calculée; et une unité d'analyse d'information tridimensionnelle (3D) pour analyser une information 3D d'un objet qui se trouve devant le véhicule autonome, sur la base de l'information
géométrique épipolaire calculée.
Selon un autre aspect de la présente invention, celle-ci procure un appareil pour estimer le mouvement d'un véhicule autonome, qui comprend une unité de détection de points correspondants pour obtenir une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; une unité de mesure d'orientation pour calculer une information d'orientation du véhicule autonome; une unité de calcul épipolaire pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; et une unité d'analyse de mouvement pour analyser le mouvement du véhicule autonome sur la base de
l'information géométrique épipolaire calculée.
Selon un autre aspect de la présente invention, celle-ci procure un appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome, qui comprend une unité de détection de points correspondants pour obtenir une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; une unité de mesure d'orientation pour calculer une information d'orientation du véhicule autonome; une unité de calcul épipolaire pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; et une unité d'analyse d'information 3D pour analyser une information 3D de l'objet se trouvant devant le véhicule autonome, sur la base de l'information
géométrique épipolaire calculée.
Selon un autre aspect de la présente invention, celle-ci procure un procédé pour commander le mouvement d'un véhicule autonome, qui comprend les étapes suivantes (a) on obtient une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; (b) on calcule une information d'orientation du véhicule autonome; (c) on calcule une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; (d) on analyse le mouvement du véhicule autonome sur la base de l'information géométrique épipolaire calculée; et (e) on analyse une information tridimensionnelle d'un objet qui se trouve devant le véhicule autonome sur la base de l'information
géométrique épipolaire calculée.
Selon un autre aspect de la présente invention, celle-ci procure un procédé pour estimer le mouvement d'un véhicule autonome, qui comprend les étapes suivantes: (a) on obtient une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; (b) on calcule une information d'orientation du véhicule autonome; (c) on calcule une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; et (d) on analyse le mouvement du véhicule autonome sur la base de l'information
géométrique épipolaire calculée.
Selon un autre aspect de la présente invention, celle-ci procure un procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome, qui comprend les étapes suivantes: (a) on obtient une information concernant des points correspondants entre des images provenant d'au moins deux images obtenues par une caméra; (b) on calcule une information d'orientation du véhicule autonome; (c) on calcule une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; et (d) on analyse une information 3D de l'objet se trouvant devant le véhicule autonome sur la base de l'information géométrique
épipolaire calculée.
D'autres caractéristiques et avantages de l'invention seront mieux compris à la lecture de la
description qui va suivre de modes de réalisation préférés,
donnés à titre d'exemples non limitatifs. La suite de la
description se réfère aux dessins annexés, dans lesquels:
La figure 1 est un schéma synoptique d'un véhicule autonome incorporant un système pour estimer le mouvement du véhicule autonome et détecter une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome, conforme à un mode de réalisation préféré de la présente invention; la figure 2 illustre des configurations géométriques épipolaires de deux images obtenues de façon consécutive par la caméra représentée sur la figure 1; la figure 3 illustre une disposition des capteurs inclus dans l'unité de mesure d'orientation représentée sur la figure 1, et les coordonnées des capteurs; la figure 4 illustre les angles d'Euler correspondant aux coordonnées de la caméra représentée sur la figure 1; la figure 5 illustre la relation entre les coordonnées fixes, liées au sol, et les coordonnées des capteurs représentés sur la figure 1; la figure 6 est un organigramme d'un procédé pour estimer le mouvement d'un véhicule autonome et pour détecter une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome, conforme à un mode de réalisation préféré de la présente invention; et les figures 7a à 7c sont des illustrations photographiques montrant des points correspondants et une information géométrique épipolaire obtenus par un système pour détecter une information tridimensionnelle d'un objet se trouvant devant un véhicule autonome, conforme à la
présente invention.
La figure 1 est un schéma synoptique d'un véhicule autonome 100 incorporant un système pour estimer le mouvement du véhicule autonome et détecter une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome, conforme à un mode de réalisation préféré de la présente invention. En se référant à la figure 1, on note que le véhicule autonome 100 comprend une caméra 110, une unité de traitement d'image 120, une unité de mesure d'orientation 130, une unité de commande principale 140 et
une unité de commande de mouvement 150.
La caméra 110 est fixée sur le véhicule autonome et obtient continuellement des images de la région située devant le véhicule autonome 100, avec une cadence d'images prédéterminée. Bien que ceci ne soit pas représenté sur la figure 1, on suppose que la caméra 110 et
le véhicule autonome 100 ont les mêmes coordonnées.
L'unité de traitement d'image 120 est connectée à la caméra 110 et remplit la fonction d'un dispositif de capture d'images pour capturer des images d'entrée en un format d'image prédéterminé. Les images traitées au passage par l'unité de traitement d'image 120 sont fournies à l'unité de commande principale 140 pour analyser le mouvement du véhicule autonome 100 et une information tridimensionnelle (3D) d'un objet se trouvant devant le véhicule autonome 100. Bien qu'une seule caméra 110 soit représentée sur la figure 1, de façon que le véhicule autonome 100 puisse être réalisé avec une structure simple et de façon peu coteuse, on notera qu'il est possible d'utiliser une caméra stéréoscopique pour obtenir deux
images en même temps, ou au moins deux caméras.
L'unité de mesure d'orientation 130 mesure l'orientation du véhicule autonome 100. Dans ce but, l'unité de mesure d'orientation comprend un capteur d'accélération 131, pour détecter l'accélération du véhicule autonome 100, et un capteur de flux magnétique 132. Ici, le capteur d'accélération 131 est également utilisé pour mesurer la gravité, tandis que le capteur de flux magnétique 132 est utilisé pour mesurer le magnétisme terrestre. L'unité de mesure d'orientation 130 calcule une information d'orientation du véhicule autonome 100 par rapport aux coordonnées terrestres fixes, en utilisant les valeurs absolues des valeurs obtenues par le capteur
d'accélération 131 et le capteur de flux magnétique 132.
L'unité de commande principale 140 commande le fonctionnement d'ensemble du véhicule autonome 100. Ainsi, l'unité de commande principale 140 analyse le mouvement du véhicule autonome 100 et une information 3D d'un objet se trouvant devant le véhicule autonome 100, pour commander efficacement le véhicule autonome 100. Dans ce but, l'unité de commande principale 140 comprend une unité de détection de points correspondants 141, une unité de calcul épipolaire 142, une unité d'analyse de mouvement 143 et une
unité d'analyse d'information 3D 144.
L'unité de détection de points correspondants 141 détecte des points correspondants placés dans l'environnement à partir de deux images consécutives obtenues par la caméra 110, à une cadence d'images prédéterminée. L'unité de calcul épipolaire 142 calcule une information géométrique épipolaire sur la base de l'information d'orientation R du véhicule autonome 100 fournie par l'unité de mesure d'orientation 130, et de l'information de points correspondants fournie par l'unité de détection de points correspondants 141. Sur la base de l'information géométrique épipolaire calculée par l'unité de calcul épipolaire 142, l'unité d'analyse de mouvement 143 analyse le mouvement du véhicule autonome 100. En outre, sur la base de l'information géométrique épipolaire calculée par l'unité de calcul épipolaire 142, l'unité d'analyse d'information 3D 144 analyse l'information 3D d'un objet apparaissant devant le véhicule autonome 100 en mouvement, c'est-à-dire une information concernant une distance entre le véhicule autonome 100 et l'objet, une information sur une forme 3D de l'objet, etc. L'unité de commande de mouvement 150 commande le mouvement du véhicule autonome 100 en réponse à une instruction de commande
provenant de l'unité de commande principale 140.
La figure 2 illustre des configurations géométriques épipolaires de deux images obtenues consécutivement au moyen de la caméra 110 représentée sur la figure 1. Ainsi, en référence à la figure 2, on voit deux images obtenues consécutivement au moyen de la caméra représentée sur la figure 1, à une cadence d'images prédéterminée. On notera que sauf si le véhicule autonome s'arrête, les deux images obtenues au moyen de la
caméra 110 sont à deux emplacements différents.
En se référant à nouveau à la figure 2, on note que des systèmes de coordonnées centrés au milieu de l'objectif de la caméra 110 placée aux deux emplacements différents sont définis de la façon suivante: C1 = (X1, Y1, Z1) et C2 = (X2, Y2, Z2)... (1) En relation avec les systèmes de coordonnées définis ci-dessus, les plans images projetés sont définis de la façon suivante U, = (ul, v1, f) et U2 = (u2, v2, f)... (2) avec les notations suivantes: UL est un point image projeté sur une image précédente, U2 est un point image projeté sur une image suivante, u et v sont des coordonnées x et y des plans images correspondants, et f est une
distance focale de la caméra.
La relation entre la caméra 100 à un emplacement et celle à l'autre emplacement est définie par la relation suivante: X2 = R12 (Xl - T1)... (3) dans laquelle R12 représente une information d'orientation entre deux images, et T1 représente une information de
translation par rapport à l'image précédente.
La relation entre le système de coordonnées de la caméra 110 et celui des images par rapport à un point arbitraire j, peut être représentée de la façon suivante U__ f Xlj et U2j fX2j (4) Jij z2j Pour simplifier l'Equation (4), on définit une matrice arbitraire Q de la façon suivante Q = RS, et
0 T3 -T2
S= -T3 0 Tl... (5)
T2 - TI O
avec les notations suivantes R est une matrice de rotation et S est un vecteur de translation dans une représentation matricielle. La relation Q entre le système de coordonnées de la caméra 110 et celui des images est déterminée par la multiplication de la matrice de rotation R par le vecteur de translation S. L'Equation (5) peut être généralisée de la façon suivante: Siv = FîvaTa... (6) Ici, si les valeurs de (k, v, à) ne sont pas une
permutation de (1, 2, 3), SXv est égal à zéro.
En utilisant les équations ci-dessus, on peut obtenir XTQ12X2 de la façon suivante = [Rk (Xk - Tk)]T Rlk__2_Tc5X2 = (Xx - T) **-(7)
Ici, du fait que Egva a une caractéristique anti-
symétrique, on peut obtenir l'équation suivante: X2TQ12Xl = (8) L'Equation (8) peut être représentée de la façon suivante: -x2 -T- [q Y2 q2l Z2 - -q31 q,2 q,3 XlI q22 q23 YI = O q32 q33_ Lz, j
*-- (9)
i façon L'Equation (9) suivante: peut être arrangée de lU XIX2 1X2 ZYX2 X1Y2 YI Y2 ZxY2 X1Z2 Y1Z2 1ZZ2 T q11 q12 q13 q21 q22 q23 q31 q32 _q33 _ =O (10) Si q33 est égal à 1 dans l'Equation (10), et l'Equation (4) représentant la relation entre la caméra 110 et les images est appliquée à l'Equation (10), l'Equation (10) peut alors être exprimée de la façon suivante: u1u2 v1u2 fU2 ulv2 fV2 f 1 fri- T q1j q12 q13 q21 q22 q23 q31 q32 - =0 (11) 1l Comme il ressort de 1'Equation (11), une information portant sur au moins huit points correspondants est exigée pour obtenir l'information géométrique épipolaire. Cependant, pour obtenir huit points correspondants à partir d'un plan image et pour sélectionner et utiliser leur information de façon appropriée, il est nécessaire de respecter de nombreuses restrictions géométriques épipolaires. En outre, pour extraire séparément les composantes de la matrice de rotation R et du vecteur de translation S, à partir de l'information géométrique épipolaire, de nombreuses restrictions et hypothèses sont exigées. Par conséquent, conformément à la présente invention, on calcule l'information géométrique épipolaire, la matrice de rotation R et le vecteur de translation S en utilisant les composantes de la matrice de rotation mesurées par l'unité de mesure d'orientation 130, au lieu d'extraire l'information géométrique épipolaire et la matrice de rotation R en utilisant des équations mathématiques telles
que l'Equation (11).
La figure 3 illustre une disposition des capteurs inclus dans l'unité de mesure d'orientation représentée sur la figure 1, et les coordonnées des capteurs. La figure 4 illustre les angles d'Euler correspondant aux coordonnées de la caméra représentée sur la figure 1, et la figure 5 illustre la relation entre les coordonnées fixes liées au sol et les coordonnées des capteurs représentés sur la figure 1. On décrira en référence aux figures 3 à 5 un procédé conforme à la présente invention pour mesurer
l'orientation du véhicule autonome 100.
Comme décrit ci-dessus en référence à la figure 1, l'unité de mesure d'orientation 130 comprend un capteur d'accélération 131 et un capteur de flux magnétique 132. En référence aux figures 3 à 5, on note que le capteur d'accélération 131 détecte et calcule un angle 4 autour de l'axe z, c'est-à-dire l'angle entre le plan x-y du véhicule autonome 100 et le plan x-y du système de coordonnées fixe lié au sol (le système de coordonnées absolues), conformément à l'équation suivante
0 = rI1a2 + i2ay + 13a.
0 = r2la, + r2ay + r2,aa... (12)
-G= r3,a.,+r,2ay+ r,,a.
Dans l'Equation (12) ci-dessus, rij est un élément de la matrice de rotation R, et la matrice de rotation R peut être représentée de la façon suivante [cXbc9 cçXs9sç-sçXc cçSsOcqp+sçzsfp R= sbsO sbs6sço+cbcço s s0c9cçsçp..I(13) L -5sO C.S O COCcO De façon similaire, le capteur de flux magnétique 132 calcule un angle p autour de l'axe x, c'est-à-dire l'angle entre le plan y-z du véhicule autonome 100 et le plan y-z du système de coordonnées fixe lié au sol, conformément à l'équation suivante:
M = r,1m.+ r12mY + r3m.
O = r2Im, + r22mY + r23m2 O = r31M. + r32MY + r3,M.... (14) Dans le cas de la mesure de la matrice de rotation R en utilisant l'Equation (14) et l'angle d'Euler comme représenté sur la figure 14, l'information géométrique épipolaire peut être représentée simplement de la façon suivante: Q12U2 = UrRI2SU2=...0(15) Si l'on suppose que la matrice de rotation R12 est connue dans l'Equation (15), on peut obtenir l'équation suivante
UR12SU2 = USU2=0...=(16)
D'après l'Equation (16), on voit que UT=-UrRR2, et l'Equation (16) peut être écrite de la façon suivante USU2.4vIjT T2][U2] UiTSU2 VI [v l3 TI;] v] =0o f v-f2 1FT fVI - fV2 TI UTSU2= u1 -fU2 IlT2 = ... (17) UIV2-vIu2 jTj Si T3 est égal à 1 dans 1'Equation (17), on peut obtenir l'équation suivante fVu][T1= rUM-VIU2]...(18) Comme il ressort de l'Equation (18), conformément à la présente invention, il est possible d'obtenir correctement l'information géométrique épipolaire en utilisant au moins deux points correspondants. En comparaison avec ceci, on note que les procédés classiques exigent au moins huit points correspondants. Ainsi, il est possible de résoudre plus simplement les problèmes de configuration géométrique épipolaire qui ont été difficilement résolus et qui sont sujets à de nombreuses restrictions. En particulier, du fait qu'au moins deux points correspondants sont exigés conformément à la présente invention, il est possible d'obtenir une information géométrique épipolaire en utilisant des procédés plus variés et vérifiés. De ce fait, les points correspondants peuvent être mesurés de façon plus exacte, et par conséquent il est possible d'analyser plus simplement et plus exactement le mouvement d'un véhicule autonome et une information 3D d'un objet se trouvant devant le véhicule autonome. La figure 6 est un organigramme d'un procédé pour estimer le mouvement d'un véhicule autonome et détecter une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome, conforme à un mode de réalisation préféré de la présente invention. En premier lieu, deux images consécutives sont obtenues au moyen de la caméra 110 (ETAPE 1100). A moins que le véhicule autonome 100 s'arrête, les deux images sont obtenues à deux emplacements différents. Lorsque les deux images consécutives sont obtenues à l'ETAPE 1100, l'unité de mesure d'orientation 130 détecte les directions de la gravité et du magnétisme terrestre en utilisant respectivement le capteur d'accélération 131 et le capteur de flux magnétique 132, et elle calcule l'orientation du véhicule autonome 100 par rapport au système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs détectées par les capteurs
respectifs (ETAPE 1300).
Ensuite, l'unité de détection de points correspondants incluse dans l'unité de commande principale extrait au moins deux points correspondants des deux
images consécutives obtenues à l'ETAPE 1100 (ETAPE 1410).
Ensuite, l'unité de calcul épipolaire 142 calcule une information géométrique épipolaire sur la base de la matrice de rotation R du véhicule autonome 100, fournie par l'unité de mesure d'orientation 130, et de l'information de points correspondants extraite par l'unité de détection de
points correspondants 141 (ETAPE 1420).
Les figures 7a à 7c sont des illustrations photographiques montrant des points correspondants et une information géométrique épipolaire obtenus par un système pour détecter une information 3D d'un objet se trouvant devant un véhicule autonome, conforme à la présente invention. Plus spécifiquement, la figure 7a montre les résultats d'extraction des points correspondants à partir de deux images consécutives, et la figure 7B montre les résultats d'extraction d'une information géométrique épipolaire des points correspondants représentés sur la figure 7a. En outre, la figure 7c montre les résultats de l'élimination de points aberrants dans les images représentées sur la figure 7b. Comme il ressort des figures 7a à 7c, conformément à la présente invention, l'information géométrique épipolaire peut être obtenue de manière exacte en utilisant seulement deux points correspondants, sans aucun effet négatif d à diverses restrictions dans le calcul de l'information géométrique épipolaire. Il est donc possible d'analyser plus exactement le mouvement d'un véhicule autonome et une information 3D concernant un objet se trouvant devant le véhicule autonome. En se référant à nouveau à la figure 6, on note qu'après que l'information géométrique épipolaire a été calculée à l'ETAPE 1420, l'unité d'analyse de mouvement 143 analyse le mouvement du véhicule autonome 100 sur la base de l'information géométrique épipolaire (ETAPE 1430), et l'unité d'analyse d'information 3D 244 analyse l'information 3D d'un objet se trouvant devant le véhicule
autonome 100 (ETAPE 1440).
Comme décrit ci-dessus, conformément à la présente invention, il est possible d'obtenir correctement l'information géométrique épipolaire à partir de deux points correspondants seulement, et de résoudre plus simplement les problèmes de configuration géométrique épipolaire qui sont difficiles à résoudre en utilisant des procédés classiques. En outre, il est possible d'analyser plus simplement et plus exactement le mouvement d'un véhicule autonome et une information 3D d'un objet se trouvant devant le véhicule autonome, en utilisant une information portant seulement sur deux points correspondants. La présente invention peut être mise en oeuvre sous la forme d'un code lisible par ordinateur, se trouvant sur
un support d'enregistrement et exécuté sur un ordinateur.
Le support d'enregistrement peut inclure n'importe quelle sorte de dispositifs d'enregistrement dans lesquels des données sont stockées. Des exemples du support d'enregistrement comprennent une mémoire morte, une mémoire vive, un CD-ROM, une bande magnétique, des disques durs, des disquettes, une mémoire flash, des dispositifs de stockage de données optiques et même une onde porteuse, par exemple une transmission sur l'Internet. En outre, le support d'enregistrement peut être réparti parmi des systèmes informatiques qui sont interconnectés par un réseau, et la présente invention peut être stockée et mise
en oeuvre sous la forme d'un code de calcul dans le réseau.
Il va de soi que de nombreuses modifications peuvent être apportées au dispositif et au procédé décrits
et représentés, sans sortir du cadre de l'invention.
Claims (47)
1. Véhicule autonome, caractérisé en ce qu'il comprend: une unité de détection de points correspondants (141) pour détecter des points correspondants à partir d'au moins deux images consécutives obtenues au moyen d'une caméra (110); une unité de mesure d'orientation (130) pour calculer une information d'orientation du véhicule autonome (100); une unité de calcul épipolaire (142) pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information concernant des points correspondants; une unité d'analyse de mouvement (143) pour analyser le mouvement du véhicule autonome (100) sur la base de l'information géométrique épipolaire calculée; et une unité d'analyse d'information tridimensionnelle (3D) (144) pour analyser une information 3D d'un objet se trouvant devant le véhicule autonome (100), sur la base de l'information géométrique épipolaire calculée.
2. Véhicule autonome selon la revendication 1, caractérisé en ce que la caméra (110) a les mêmes axes de
coordonnées que le véhicule autonome (100).
3. Véhicule autonome selon la revendication 1, caractérisé en ce que les images sont obtenues au moyen d'une seule caméra (110), à une cadence d'images
prédéterminée.
4. Véhicule autonome selon la revendication 1, caractérisé en ce que des images sont obtenues simultanément au moyen d'une caméra stéréoscopique ou au
moins par deux caméras, ou plus.
5. Véhicule autonome selon la revendication 1, caractérisé en ce que l'unité de mesure d'orientation (130) comprend un capteur d'accélération (131) pour mesurer la gravité et un capteur de flux magnétique (132) pour mesurer le magnétisme terrestre, et en ce que l'information d'orientation du véhicule autonome (100) est calculée par rapport à un système de coordonnées fixe lié au sol en utilisant les valeurs absolues des valeurs obtenues au moyen du capteur d'accélération (131) et du capteur de flux
magnétique (132).
6. Véhicule autonome selon la revendication 1, caractérisé en ce que l'unité de calcul épipolaire (142) calcule l'information géométrique épipolaire sur la base de l'information d'orientation calculée par l'unité de mesure d'orientation (130) et de l'information concernant au moins
deux points correspondants.
7. Véhicule autonome selon la revendication 6, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: f-l fU2 j[T2] avec les notations suivantes: f est une distance focale de la caméra, T1 et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, ul et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et V2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
8. Véhicule autonome selon la revendication 1, caractérisé en ce que l'information 3D de l'objet situé devant le véhicule autonome (100) comprend une information concernant une distance entre le véhicule autonome (100) et l'objet, et une information concernant une forme 3D de l'objet.
9. Appareil pour estimer le mouvement d'un véhicule autonome, caractérisé en ce qu'il comprend: une unité de détection de points correspondants (141) pour détecter des points correspondants à partir d'au moins deux images consécutives obtenues au moyen d'une caméra (110); une unité de mesure d'orientation (130) pour calculer une information d'orientation du véhicule autonome (100); une unité de calcul épipolaire (142) pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information sur des points correspondants; et une unité d'analyse de mouvement (143) pour analyser le mouvement du véhicule autonome (100) sur la base de l'information géométrique épipolaire
calculée.
10. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 9, caractérisé en ce que la caméra (110) a les mêmes axes de coordonnées que
le véhicule autonome (100).
11. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 9, caractérisé en ce que les images sont obtenues au moyen d'une seule caméra
(110) à une cadence d'images prédéterminée.
12. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 9, caractérisé en ce que des images sont obtenues simultanément par une caméra stéréoscopique ou au moins par deux caméras, ou plus.
13. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 9, caractérisé en ce que l'unité de mesure d'orientation (130) comprend un capteur d'accélération (131) pour mesurer la gravité et un capteur de flux magnétique (132) pour mesurer le magnétisme terrestre, et en ce que l'information d'orientation du véhicule autonome (100) est calculée par rapport à un système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs obtenues au moyen du capteur d'accélération (131) et du capteur de flux magnétique
(132).
14. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 9, caractérisé en ce que l'unité de calcul épipolaire (142) calcule l'information géométrique épipolaire sur la base de l'information d'orientation calculée par l'unité de mesure d'orientation (130) et de l'information concernant au moins deux points correspondants.
15. Appareil pour estimer le mouvement d'un véhicule autonome selon la revendication 14, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: fu fu2 J[T2] 12V1U2] avec les notations suivantes: f est une distance focale de la caméra, T1 et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, u1 et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et v2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
16. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome, caractérisé en ce qu'il comprend: une unité de détection de points correspondants (141) pour détecter des points correspondants à partir d'au moins deux images consécutives obtenues au moyen d'une caméra (110); une unité de mesure d'orientation (130) pour calculer une information d'orientation du véhicule autonome (100); une unité de calcul épipolaire (142) pour calculer une information géométrique épipolaire sur la base de l'information d'orientation et de l'information sur des points correspondants; et une unité d'analyse d'information 3D (144) pour analyser une information 3D de l'objet se trouvant devant le véhicule autonome (100), sur la base de
l'information géométrique épipolaire calculée.
17. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que la caméra (110) a les mêmes axes de coordonnées que
le véhicule autonome (100).
18. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que les images sont obtenues au moyen d'une seule caméra
(110) à une cadence d'images prédéterminée.
19. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que des images sont obtenues simultanément par une caméra stéréoscopique ou au moins par deux caméras, ou plus.
20. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que l'unité de mesure d'orientation (130) comprend un capteur d'accélération (131) pour mesurer la gravité et un capteur de flux magnétique (132) pour mesurer le magnétisme terrestre, et en ce que l'information d'orientation du véhicule autonome (100) est calculée par rapport à un système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs obtenues au moyen du capteur d'accélération (131) et du capteur de flux magnétique
(132).
21. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que l'unité de calcul épipolaire (142) calcule l'information géométrique épipolaire sur la base de l'information d'orientation calculée par l'unité de mesure d'orientation (130) et de l'information concernant au moins
deux points correspondants.
22. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 21, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: [ 7 fv-fV2 TI =riV2-I2 fu -fu2 [T2] j avec les notations suivantes: f est une distance focale de la caméra, T1 et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, u1 et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et v2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
23. Appareil pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 16, caractérisé en ce que l'information 3D de l'objet situé devant le véhicule autonome (100) comprend une information concernant une distance entre le véhicule autonome (100) et l'objet, et
une information concernant une forme 3D de l'objet.
24. Procédé pour commander le mouvement d'un véhicule autonome, caractérisé en ce qu'il comprend les étapes suivantes: (a) on détecte des points correspondants (1410) à partir d'au moins deux images consécutives obtenues au moyen d'un caméra (110); (b) on calcule une information d'orientation du véhicule autonome (100); (c) on calcule une information géométrique épipolaire (1420) sur la base de l'information d'orientation et de l'information concernant des points correspondants; (d) on analyse le mouvement du véhicule autonome (1430) sur la base de l'information géométrique épipolaire calculée; et (e) on analyse (1440) une information tridimensionnelle d'un objet se trouvant devant le véhicule autonome (100) , sur la base de l'information géométrique épipolaire calculée.
25. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, caractérisé en ce que la caméra (110) a les mêmes axes de coordonnées que
le véhicule autonome (100).
26. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, caractérisé en ce que les images sont obtenues au moyen d'une seule caméra
(110) à une cadence d'images prédéterminée.
27. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, caractérisé en ce que des images sont obtenues simultanément par une caméra stéréoscopique ou au moins par deux caméras, ou plus.
28. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, caractérisé en ce que l'étape (b) comprend (b1) la mesure de la gravité; (b-2) la mesure du magnétisme terrestre; et (b-3) le calcul de l'information d'orientation du véhicule autonome par rapport à un système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs obtenues aux
étapes (b-1) et (b-2).
29. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, dans lequel l'étape (c) comprend le calcul de l'information géométrique épipolaire (1420) sur la base de l'information d'orientation calculée à l'étape (b) et de l'information
concernant au moins deux points correspondants.
30. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 29, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: fu1 - fU2 J[T2] avec les notations suivantes: f est une distance focale de la caméra, Tl et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, ul et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et v2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
31. Procédé pour commander le mouvement d'un véhicule autonome selon la revendication 24, caractérisé en ce que l'information 3D de l'objet situé devant le véhicule autonome (100) comprend une information concernant une distance entre le véhicule autonome (100) et l'objet, et
une information concernant une forme 3D de l'objet.
32. Procédé pour estimer le mouvement d'un véhicule autonome, caractérisé en ce qu'il comprend les étapes suivantes: (a) on détecte des points correspondants (1410) à partir d'au moins deux images consécutives obtenues au moyen d'un caméra (110); (b) on calcule une information d'orientation du véhicule autonome (100); (c) on calcule une information géométrique épipolaire (1420) sur la base de l'information d'orientation et de l'information concernant des points correspondants; et (d) on analyse le mouvement du véhicule autonome (1430) sur la base de
l'information géométrique épipolaire calculée.
33. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 32, caractérisé en ce que la caméra (110) a les mêmes axes de coordonnées que le
véhicule autonome (100).
34. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 32, caractérisé en ce que les images sont obtenues par une seule caméra (110) à une
cadence d'images prédéterminée.
35. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 32, caractérisé en ce que des images sont obtenues simultanément par une caméra
stéréoscopique ou au moins par deux caméras, ou plus.
36. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 32, caractérisé en ce que l'étape (b) comprend (b-1) la mesure de la gravité; (b-2) la mesure du magnétisme terrestre; et (b-3) le calcul de l'information d'orientation du véhicule autonome par rapport à un système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs obtenues aux
étapes (b-1) et (b-2).
37. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 32, dans lequel l'étape (c) comprend le calcul de l'information géométrique épipolaire (1420) sur la base de l'information d'orientation calculée à l'étape (b) et de l'information concernant au moins deux
points correspondants.
38. Procédé pour estimer le mouvement d'un véhicule autonome selon la revendication 37, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: [Ul -fu2 1FT2 i E"v2 VIU2] avec les notations suivantes: f est une distance focale de la caméra, Tl et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, u1 et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et v2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
39. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome, caractérisé en ce qu'il comprend les étapes suivantes: (a) on détecte des points correspondants (1410) à partir d'au moins deux images consécutives obtenues au moyen d'un caméra (110); (b) on calcule une information d'orientation du véhicule autonome (100); (c) on calcule une information géométrique épipolaire (1420) sur la base de l'information d'orientation et de l'information concernant des points correspondants; et (d) on analyse une information 3D de l'objet se trouvant devant le véhicule autonome, sur la base de l'information
géométrique épipolaire calculée.
40. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que la caméra (110) a les mêmes axes de coordonnées que
le véhicule autonome (100).
41. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que les images sont obtenues par une seule caméra (110)
à une cadence d'images prédéterminée.
42. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que des images sont obtenues simultanément par une caméra stéréoscopique ou au moins par deux caméras, ou plus.
43. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que l'étape (b) comprend (b-1) la mesure de la gravité; (b-2) la mesure du magnétisme terrestre; et (b-3) le calcul de l'information d'orientation du véhicule autonome par rapport à un système de coordonnées fixe lié au sol, en utilisant les valeurs absolues des valeurs obtenues aux
étapes (b-1) et (b-2).
44. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que l'étape (c) comprend le calcul de l'information géométrique épipolaire (1420) sur la base de l'information d'orientation calculée à l'étape (b) et de l'information
concernant au moins deux points correspondants.
45. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 44, caractérisé en ce que l'information géométrique épipolaire est calculée conformément aux équations suivantes, s'il est possible de mesurer une matrice exprimant l'orientation du véhicule autonome (100) en relation avec deux images consécutives quelconques: [fv -f7v2 -Tl =[7 fu - fu2 iLT2] 2V1U2] avec les notations suivantes: f est une distance focale de la caméra, T1 et T2 sont des éléments de vecteur de translation représentant une information de translation entre les deux images consécutives, u1 et v1 sont des coordonnées x et y sur un plan de l'image obtenue antérieurement parmi les deux images consécutives, et u2 et v2 sont des coordonnées x et y sur un plan de l'image
obtenue postérieurement parmi les deux images consécutives.
46. Procédé pour détecter une information tridimensionnelle (3D) d'un objet se trouvant devant un véhicule autonome selon la revendication 39, caractérisé en ce que l'information 3D de l'objet situé devant le véhicule autonome (100) comprend une information concernant une distance entre le véhicule autonome (100) et l'objet, et
une information concernant une forme 3D de l'objet.
47. Support d'enregistrement lisible par ordinateur, caractérisé en ce qu'il stocke un programme d'ordinateur pour mettre en oeuvre un procédé selon la
revendication 24, 32 ou 39.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0072696A KR100446636B1 (ko) | 2002-11-21 | 2002-11-21 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2847699A1 true FR2847699A1 (fr) | 2004-05-28 |
| FR2847699B1 FR2847699B1 (fr) | 2007-03-09 |
Family
ID=32291809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0306170A Expired - Fee Related FR2847699B1 (fr) | 2002-11-21 | 2003-05-22 | Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7440585B2 (fr) |
| KR (1) | KR100446636B1 (fr) |
| DE (1) | DE10326943B4 (fr) |
| FR (1) | FR2847699B1 (fr) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3433204B2 (ja) * | 2000-04-27 | 2003-08-04 | 株式会社東北テクノアーチ | ３次元モデル構成装置 |
| US7802193B1 (en) | 2001-12-19 | 2010-09-21 | Sandia Corporation | Controlling motion using a human machine interface |
| US7376262B2 (en) * | 2003-08-04 | 2008-05-20 | American Gnc Corporation | Method of three dimensional positioning using feature matching |
| US8275193B2 (en) * | 2004-08-04 | 2012-09-25 | America Gnc Corporation | Miniaturized GPS/MEMS IMU integrated board |
| US8121392B2 (en) * | 2004-10-25 | 2012-02-21 | Parata Systems, Llc | Embedded imaging and control system |
| JP4480083B2 (ja) * | 2005-02-23 | 2010-06-16 | アイシン精機株式会社 | 物体認識装置 |
| SE530384C2 (sv) * | 2006-02-17 | 2008-05-20 | Totalfoersvarets Forskningsins | Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost |
| US8826959B2 (en) * | 2006-06-29 | 2014-09-09 | Graphic Packaging International, Inc. | Heat sealing systems and methods, and related articles and materials |
| US20080075323A1 (en) * | 2006-09-25 | 2008-03-27 | Nokia Corporation | System and method for distance functionality |
| US7974460B2 (en) * | 2007-02-06 | 2011-07-05 | Honeywell International Inc. | Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles |
| KR100952574B1 (ko) * | 2007-12-24 | 2010-04-12 | 중앙대학교 산학협력단 | 로봇 기반 입체 디스플레이 장치 및 방법 |
| US8332134B2 (en) * | 2008-04-24 | 2012-12-11 | GM Global Technology Operations LLC | Three-dimensional LIDAR-based clear path detection |
| US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
| US8611585B2 (en) * | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
| US8421859B2 (en) * | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
| US8452053B2 (en) * | 2008-04-24 | 2013-05-28 | GM Global Technology Operations LLC | Pixel-based texture-rich clear path detection |
| US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| US8428305B2 (en) * | 2008-04-24 | 2013-04-23 | GM Global Technology Operations LLC | Method for detecting a clear path through topographical variation analysis |
| US8634593B2 (en) * | 2008-04-24 | 2014-01-21 | GM Global Technology Operations LLC | Pixel-based texture-less clear path detection |
| US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
| US8890951B2 (en) * | 2008-04-24 | 2014-11-18 | GM Global Technology Operations LLC | Clear path detection with patch smoothing approach |
| US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
| US8487991B2 (en) * | 2008-04-24 | 2013-07-16 | GM Global Technology Operations LLC | Clear path detection using a vanishing point |
| US8803966B2 (en) * | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
| JP5107154B2 (ja) * | 2008-06-23 | 2012-12-26 | アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ | 運動推定装置 |
| DE102011113265B3 (de) * | 2011-09-13 | 2012-11-08 | Audi Ag | Verfahren zur Bildverarbeitung von mit einem optischen Sensor in einem Kraftfahrzeug aufgenommenen Bilddaten und Kraftfahrzeug |
| US8559727B1 (en) * | 2012-04-09 | 2013-10-15 | GM Global Technology Operations LLC | Temporal coherence in clear path detection |
| US9025859B2 (en) | 2012-07-30 | 2015-05-05 | Qualcomm Incorporated | Inertial sensor aided instant autofocus |
| US8903163B2 (en) * | 2012-08-09 | 2014-12-02 | Trimble Navigation Limited | Using gravity measurements within a photogrammetric adjustment |
| ES2478700B1 (es) * | 2013-01-21 | 2015-06-30 | Idneo Technologies, S.L. | Sistema y método para la detección de obstáculos |
| DE102013203404A1 (de) | 2013-02-28 | 2014-08-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds |
| US9070202B2 (en) * | 2013-03-14 | 2015-06-30 | Nec Laboratories America, Inc. | Moving object localization in 3D using a single camera |
| US9201424B1 (en) | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
| US9989967B2 (en) | 2014-03-04 | 2018-06-05 | Cybernet Systems Corporation | All weather autonomously driven vehicles |
| JP6312519B2 (ja) * | 2014-05-13 | 2018-04-18 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| DE102014110201B3 (de) * | 2014-07-21 | 2015-08-13 | Miele & Cie. Kg | Selbstfahrender Roboter und Verfahren zur Hinderniserkennung bei einem selbstfahrenden Roboter |
| DE102015205088C5 (de) * | 2015-03-20 | 2024-09-26 | Kuka Deutschland Gmbh | Verfahren zum Ermitteln eines Kalibrierungsparameters eines Fahrzeuges sowie Fahrzeug hierzu |
| US10101747B2 (en) | 2015-12-11 | 2018-10-16 | Uber Technologies, Inc. | Formatting sensor data for use in autonomous vehicle communications platform |
| US9537956B1 (en) | 2015-12-11 | 2017-01-03 | Uber Technologies, Inc. | System for acquiring time-synchronized sensor data |
| US9785150B2 (en) | 2015-12-11 | 2017-10-10 | Uber Technologies, Inc. | Formatting sensor data for use in autonomous vehicle communications platform |
| US9596666B1 (en) * | 2015-12-11 | 2017-03-14 | Uber Technologies, Inc. | System for processing asynchronous sensor data |
| US10114103B2 (en) | 2016-03-31 | 2018-10-30 | Uber Technologies, Inc. | System and method for sensor triggering for synchronized operation |
| US10288458B2 (en) | 2016-06-29 | 2019-05-14 | GM Global Technology Operations LLC | Systems and methods for sensor platform |
| US10482559B2 (en) | 2016-11-11 | 2019-11-19 | Uatc, Llc | Personalizing ride experience based on contextual ride usage data |
| US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
| US10552691B2 (en) * | 2017-04-25 | 2020-02-04 | TuSimple | System and method for vehicle position and velocity estimation based on camera and lidar data |
| US10386857B2 (en) * | 2017-07-05 | 2019-08-20 | Qualcomm Incorporated | Sensor-centric path planning and control for robotic vehicles |
| EP3682429B1 (fr) | 2017-09-13 | 2023-07-26 | Alarm.com Incorporated | Système et procédé de surveillance de porte lors du départ ou de l'arrivée d'un véhicule autonome |
| US10872433B2 (en) | 2018-04-18 | 2020-12-22 | Mobileye Vision Technologies Ltd. | Vehicle environment modeling with a camera |
| US10909866B2 (en) | 2018-07-20 | 2021-02-02 | Cybernet Systems Corp. | Autonomous transportation system and methods |
| KR102627453B1 (ko) * | 2018-10-17 | 2024-01-19 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
| CN109902725A (zh) * | 2019-01-31 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 移动目标的检测方法、装置及电子设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0158984A3 (fr) * | 1984-04-13 | 1989-03-01 | Hitachi, Ltd. | Méthode pour déterminer une paire de points correspondants entre images |
| JPH07218251A (ja) * | 1994-02-04 | 1995-08-18 | Matsushita Electric Ind Co Ltd | ステレオ画像計測方法およびステレオ画像計測装置 |
| US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
| US5644651A (en) * | 1995-03-31 | 1997-07-01 | Nec Research Institute, Inc. | Method for the estimation of rotation between two frames via epipolar search for use in a three-dimensional representation |
| US6122078A (en) * | 1995-08-24 | 2000-09-19 | Vexcel Imaging Gmbh | Self calibrating scanner with single or multiple detector arrays and single or multiple optical systems |
| JP3765862B2 (ja) * | 1996-02-15 | 2006-04-12 | 本田技研工業株式会社 | 車両用環境認識装置 |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| FR2767404B1 (fr) * | 1997-08-12 | 1999-10-22 | Matra Systemes Et Information | Procede de production de donnees cartographiques par stereovision |
| JP3720972B2 (ja) * | 1998-01-22 | 2005-11-30 | 株式会社小松製作所 | 地形形状計測装置 |
| JP3732335B2 (ja) | 1998-02-18 | 2006-01-05 | 株式会社リコー | 画像入力装置及び画像入力方法 |
| JPH11306356A (ja) * | 1998-04-21 | 1999-11-05 | Hitachi Ltd | 画像による３次元計測方法および装置、並びに該方法に係るプログラムを記憶した記憶媒体 |
| US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| US6412961B1 (en) * | 2000-05-30 | 2002-07-02 | Robert Andrew Hicks | Rectifying mirror |
| US6421961B1 (en) | 2000-07-11 | 2002-07-23 | Ernesto Mallozzi | Modular organizer |
| US6730926B2 (en) * | 2001-09-05 | 2004-05-04 | Servo-Robot Inc. | Sensing head and apparatus for determining the position and orientation of a target object |
| KR100837776B1 (ko) * | 2001-12-24 | 2008-06-13 | 주식회사 케이티 | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 |
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| WO2004001332A1 (fr) * | 2002-06-19 | 2003-12-31 | Canesta, Inc. | Systeme et procede permettant de determiner des coordonnees tridimensionnelles d'une surface au moyen d'une matrice codee |
-
2002
- 2002-11-21 KR KR10-2002-0072696A patent/KR100446636B1/ko not_active Expired - Fee Related
-
2003
- 2003-05-02 US US10/427,973 patent/US7440585B2/en not_active Expired - Lifetime
- 2003-05-22 FR FR0306170A patent/FR2847699B1/fr not_active Expired - Fee Related
- 2003-06-05 DE DE10326943.6A patent/DE10326943B4/de not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
Non-Patent Citations (4)
| Title |
|---|
| DERROUICH S ET AL: "A combination of monocular CCD camera and inertial-sensor for range estimation", IECON-2002. PROCEEDINGS OF THE 28TH. ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY. SEVILLA, SPAIN, NOV. 5 - 8, 2002, ANNUAL CONFERENCE OF THE IEEE INDUSTRIAL ELECTRONICS SOCIETY, NEW YORK, NY : IEEE, US, vol. VOL. 1 OF 4. CONF. 28, 5 November 2002 (2002-11-05), pages 2191 - 2196, XP010633051, ISBN: 0-7803-7474-6 * |
| LOBO J ET AL: "Segmentation of dense depth maps using inertial data a real-time implementation", PROCEEDINGS OF THE 2002 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS. (IROS 2002). LAUSANNE, SWITZERLAND, SEPT. 30 - OCT. 4, 2002, IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, NEW YORK, NY : IEEE, US, vol. VOL. 1 OF 3, 30 September 2002 (2002-09-30), pages 92 - 97, XP010609234, ISBN: 0-7803-7398-7 * |
| MUKAI T ET AL: "The recovery of object shape and camera motion using a sensing system with a video camera and a gyro sensor", COMPUTER VISION, 1999. THE PROCEEDINGS OF THE SEVENTH IEEE INTERNATIONAL CONFERENCE ON KERKYRA, GREECE 20-27 SEPT. 1999, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 1, 20 September 1999 (1999-09-20), pages 411 - 417, XP010350414, ISBN: 0-7695-0164-8 * |
| OKATANI T ET AL: "Robust estimation of camera translation between two images using a camera with a 3D orientation sensor", PATTERN RECOGNITION, 2002. PROCEEDINGS. 16TH INTERNATIONAL CONFERENCE ON QUEBEC CITY, QUE., CANADA 11-15 AUG. 2002, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 1, 11 August 2002 (2002-08-11), pages 275 - 278, XP010613327, ISBN: 0-7695-1695-X * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040101161A1 (en) | 2004-05-27 |
| DE10326943A1 (de) | 2004-06-17 |
| DE10326943B4 (de) | 2019-09-12 |
| FR2847699B1 (fr) | 2007-03-09 |
| US7440585B2 (en) | 2008-10-21 |
| KR100446636B1 (ko) | 2004-09-04 |
| KR20040044621A (ko) | 2004-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2847699A1 (fr) | Vehicule autonome, et procede et appareil pour estimer son mouvement et detecter une information tridimensionnelle d'un objet apparaissant devant lui | |
| US11393173B2 (en) | Mobile augmented reality system | |
| WO2013052781A1 (fr) | Procédé et dispositif pour déterminer des informations de profondeur relatives à une scène voulue | |
| EP3658921B1 (fr) | Procédé de calibration d'un magnetometre | |
| EP2947628B1 (fr) | Procédé de traitement d'informations locales | |
| EP3072108A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
| FR3091777A1 (fr) | Méthode de détermination d’un rayon de protection d’un système de navigation basé sur la vision | |
| US10706564B2 (en) | Systems, methods, and media for determining object motion in three dimensions from light field image data | |
| US9886763B2 (en) | Visual navigation method, visual navigation device and robot | |
| FR3013488A1 (fr) | Procede d'estimation de la vitesse de deplacement d'une camera | |
| EP3698554B1 (fr) | Systeme d'imagerie de sources acoustiques environnementales | |
| WO2015150129A1 (fr) | Procede de geo-localisation de l'environnement d'un porteur | |
| WO2014060657A1 (fr) | Procédé de conception d'un imageur monovoie passif capable d'estimer la profondeur de champ | |
| EP3070643B1 (fr) | Procédé et système de reconnaissance d'objets par analyse de signaux d'image numérique d'une scène | |
| EP3384462B1 (fr) | Procede de caracterisation d'une scene par calcul d'orientation 3d | |
| EP2577225B1 (fr) | Dispositif et procede de determination d'une information de profondeur a partir d'un capteur optique susceptible d'etre en deplacement | |
| CA2914360A1 (fr) | Systemes de reperage de la position de la camera de tournage pour le tournage de films video | |
| US11756215B2 (en) | Image processing device, image processing method, and image processing program | |
| CN119104050A (zh) | 载体位置的确定方法、装置、计算机设备及存储介质 | |
| AU2011265379A1 (en) | Single shot image based depth mapping | |
| CN114677425B (zh) | 确定物体景深的方法与装置 | |
| FR3096499A1 (fr) | Dispositif de traitement de prise de vue | |
| FR3032053A1 (fr) | Procede d'affichage d'au moins une fenetre d'une scene tridimensionnelle, produit programme d'ordinateur et systeme d'affichage associes | |
| Pham | Integrating a Neural Network for Depth from Defocus with a Single MEMS Actuated Camera | |
| Aldelgawy et al. | Semi‐automatic reconstruction of object lines using a smartphone’s dual camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 14 |
|
| PLFP | Fee payment |
Year of fee payment: 15 |
|
| PLFP | Fee payment |
Year of fee payment: 16 |
|
| PLFP | Fee payment |
Year of fee payment: 17 |
|
| PLFP | Fee payment |
Year of fee payment: 18 |
|
| ST | Notification of lapse |
Effective date: 20220105 |