[go: up one dir, main page]

FR3060115A1 - Localisation d'un vehicule - Google Patents

Localisation d'un vehicule Download PDF

Info

Publication number
FR3060115A1
FR3060115A1 FR1662420A FR1662420A FR3060115A1 FR 3060115 A1 FR3060115 A1 FR 3060115A1 FR 1662420 A FR1662420 A FR 1662420A FR 1662420 A FR1662420 A FR 1662420A FR 3060115 A1 FR3060115 A1 FR 3060115A1
Authority
FR
France
Prior art keywords
data
vision
vehicle
location
constraints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1662420A
Other languages
English (en)
Other versions
FR3060115B1 (fr
Inventor
Yoann Dhome
Mathieu Carrier
Vincent Gay-Bellile
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Priority to FR1662420A priority Critical patent/FR3060115B1/fr
Priority to PCT/FR2017/053551 priority patent/WO2018109384A1/fr
Priority to US16/469,013 priority patent/US20190331496A1/en
Priority to EP17821992.9A priority patent/EP3555566A1/fr
Publication of FR3060115A1 publication Critical patent/FR3060115A1/fr
Application granted granted Critical
Publication of FR3060115B1 publication Critical patent/FR3060115B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)

Abstract

Procédé de localisation d'un véhicule comportant au moins un capteur de vision et au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, le procédé comportant une étape de : - localisation par vision (E1) à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte une étape de : - filtrage bayésien (E2) prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.

Description

Titulaire(s) : COMMISSARIAT A L'ENERGIE ATOMIQUE ET AUX ENERGIES ALTERNATIVES Etablissement public.
Demande(s) d’extension
Mandataire(s) : BREVALEX Société à responsabilité limitée.
104/ LOCALISATION D'UN VEHICULE.
FR 3 060 115 - A1 (5/) Procédé de localisation d'un véhicule comportant au moins un capteur de vision et au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, le procédé comportant une étape de :
- localisation par vision (E1) à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte une étape de:
- filtrage bayésien (E2) prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
E1
E2
LOCALISATION D'UN VEHICULE
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne la localisation d'un véhicule en temps réel.
Les applications de l'invention sont par exemple l'aide à la conduite de véhicule, la conduite autonome ou encore la réalité augmentée.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
Dans le domaine ferroviaire, des modules de localisation présentés dans l'article : « Simultaneous Localization and Mapping for Path-Constrained Motion » de Carsten Hasberg, Stefan Hensel, et Christoph Stiller, IEEE Transactions on intelligent Transportation Systems, Vol. 03, N° 2, juin 2012, ou dans l'article : « Bayesian Train Localization Method Extended By 3D Géométrie Railway Track Observations From Inertial Sensors » de Oliver Heirich, Patrick Robertson, Adrian Cardalda Garcia et Thomas Strang, 2012, ou encore dans l'article: « RaiISLAM - Localization of Rail Vehicles and Mapping of Géométrie Railway Tracks » de Oliver Heirich, Patrick Robertson et Thomas Strang, IEEE International Conférence on Robotics and Automation (ICRA), mai 2013, ont pour objectif de géo-localiser des trains afin d'éviter accidents et collisions. La localisation fournie par ces approches est basée sur la fusion de données issues de capteurs GPS et de capteurs odométriques à travers un filtre bayésien intégrant des contraintes fournies par un modèle polynomiale représentant les voies de chemin de fer.
Ces méthodes n'offrent pas suffisamment de précision pour pouvoir réaliser une application de réalité augmentée ou d'automatisation partielle ou totale de conduite d'un véhicule. En effet, elles reposent principalement sur le capteur GPS et ne compensent pas les incertitudes de positionnement en ville de ce capteur dues aux phénomènes de multi-échos, d'occultations d'une partie de la constellation satellitaire, ou d'effet « canyon ».
Des applications de réalité augmentée sont présentées par exemple dans EP 2 731084. L'article « Scalable 6-DOF Localization on Mobile Devices », de Sven Middelberg, Torsten Sattler, Ole Untzelmann et Leif Kobbelt, 2014, ainsi que FR 2 976 107 offrent une solution précise de localisation basée sur un capteur vision et un algorithme de type SLAM (Simultaneous Localisation And Mapping). La méthode triangule des points de l'environnement, appelés points d'intérêt, pour calculer le déplacement de la caméra entre deux images successives. À l'aide d'un ajustement de faisceaux, elle réalise un calcul robuste remettant en cause localement la trajectoire parcourue. Ce type d'approche, calculant des déplacements relatifs entre images, accumule au cours du temps incertitudes et erreurs.
Pour limiter ce phénomène, FR 2976 107 exploite un modèle de la scène pour introduire des contraintes au sein de l'étape d'ajustement de faisceaux.
Toutefois le gain en robustesse et en précision de cet apport est fortement dépendant du point de vue, de la complexité de(s) objet(s) décrit(s) dans le modèle ainsi que des contraintes déduites.
L'article « Scalable 6-DOF Localization on Mobile Devices » utilise un module de reconnaissance de point de vue exploitant une base d'amers visuels géoréférencés pour limiter le phénomène de dérive décrit ci-dessus.
Cependant, le module de reconnaissance de point de vue est très sensible aux occultations et à la robustesse de la signature des amers visuels (variations liées à la météo, aux changements d'illumination, aux saisons...).
Ainsi, ces méthodes n'offrent pas une robustesse suffisante pour une localisation absolue précise d'un véhicule, par exemple pour un long trajet en voiture.
Des applications de localisation de véhicule utilisent une localisation à partir d'un capteur de vision.
Ainsi, l'article: « Vision-Based Differential GPS: Improving VSLAM / GPS Fusion in Urban Environment with 3D Building Models » de Dorra Larnaout, Vincent GayBelllile, Steve Bourgeois et Michel Dhome, Second international Conférence on 3D Vision, 2014, utilise un algorithme de type SLAM (Simultaneous Localisation And Mapping). L'algorithme est ici complété par deux éléments : l'ajout d'un module de correction des biais du capteur GPS par l'intermédiaire d'un modèle de scène et l'intégration de contraintes au niveau de l'étape d'ajustement de faisceau à partir de données issues du capteur GPS.
L'article « Collaborative Methods for Real-time Localization in Urban Centers » de S. Peyraud et al., International Journal of Advanced Robotic Systems, 2015, expose un procédé de localisation de véhicule dans un environnement urbain.
Ce procédé comporte tout d'abord une localisation visuelle basée sur une reconnaissance de points de vue à partir d'une base d'amers visuels géo-référencés. Ce module comporte une étape de détection et d'appariement de points d'intérêts suivie d'un ajustement de faisceaux contraints par la base d'amers visuels.
Lorsque le résultat de la localisation visuelle n'est pas satisfaisant, une localisation alternative comporte un filtrage bayésien contraint par un modèle de voies de circulation et fusionnant des données GPS et odométriques.
Ce procédé s'appuie sur deux modules relativement fragiles et les exploite en alternance ce qui n'est pas une vraie source de fiabilité.
La fiabilité de la reconnaissance de points de vue est liée à la robustesse de la signature des amers visuels identifiés par rapport aux variations de la météo, de la luminosité, aux occultations de la scène et aux différences de position et d'angles de prises de vues.
Le module de filtre bayésien fusionne des données issues des capteurs odométriques et des données GPS. Or un capteur odométrique est connu pour dériver dans le temps pour des raisons extrinsèques (glissements des roues sur le sol) et intrinsèques (intégration temporelle de mouvement relatif). Le capteur GPS, lui, est connu pour rencontrer des problèmes en milieu urbain (multi-échos, occultations d'une partie de la constellation satellitaire, effet « canyon »). Même avec un système GPS de très grande précision, par exemple de type GPS-RTK, il est fort probable de rencontrer des erreurs de positionnement de plusieurs mètres en zone urbaine.
EXPOSÉ DE L'INVENTION
L'invention vise à résoudre les problèmes de la technique antérieure en fournissant un procédé de localisation d'un véhicule comportant au moins un capteur de vision et au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, le procédé comportant une étape de :
localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte une étape de :
filtrage bayésien prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
Grâce à l'invention, la localisation d'un véhicule est déterminée de manière absolue, précise, robuste et en temps réel.
La localisation est absolue, car elle fournit un positionnement géoréférencé et orienté. La localisation est précise, car elle fournit la position et l'orientation du véhicule avec une précision de quelques centimètres et quelques dixièmes de degrés.
Le filtrage bayésien prend en compte des données issues de capteurs de différents types.
Selon une caractéristique préférée, l'étape de localisation par vision comporte des étapes de :
- détermination de contraintes de vision à partir de données d'images produites par le capteur de vision équipant le véhicule,
- ajustement de faisceaux contraints prenant en compte
- les contraintes de vision,
- des contraintes définies à partir du modèle de scène,
- des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle et le module satellitaire de navigation.
L'ajustement de faisceaux prend en compte des données issues de capteurs de différents types.
Selon une caractéristique préférée, l'étape de détermination des contraintes de vision comporte des étapes de :
- détermination de contraintes relatives par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision, et
- détermination de contraintes absolues par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels.
Selon une caractéristique préférée, l'étape de détermination de contraintes relatives comporte des étapes de :
- détection et mise en correspondance de points d'intérêt dans des images fournies par l'au moins un capteur de vision,
- calcul de la pose du capteur vision à partir de la mise en correspondance de points d'intérêt,
- sélection d'images clé,
- triangulation de points 3D.
L'invention concerne aussi un dispositif de localisation d'un véhicule comportant au moins un capteur de vision, au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, et des moyens de :
localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte des moyens de filtrage bayésien prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène, pour produire des secondes données de localisation du véhicule.
Le dispositif présente des avantages analogues à ceux précédemment présentés.
Dans un mode particulier de réalisation, les étapes du procédé selon l'invention sont mises en œuvre par des instructions de programme d'ordinateur.
En conséquence, l'invention vise aussi un programme d'ordinateur sur un support d'informations, ce programme étant susceptible d'être mis en œuvre dans un ordinateur, ce programme comportant des instructions adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions de programme d'ordinateur adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus.
Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé selon l'invention.
BRÈVE DESCRIPTION DES DESSINS
D'autres caractéristiques et avantages apparaîtront à la lecture de la description suivante d'un mode de réalisation préféré, donné à titre d'exemple non limitatif, décrit en référence aux figures dans lesquelles :
La figure 1 représente un mode de réalisation de dispositif de localisation de véhicule selon la présente invention,
La figure 2 représente un mode de réalisation de procédé de localisation de véhicule selon la présente invention,
La figure 3 représente un mode de réalisation d'une étape de localisation par vision du véhicule, incluse dans le procédé de la figure 1, et
La figure 4 représente un mode de réalisation d'une étape de filtrage bayésien, incluse dans le procédé de la figure 1.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Selon un mode de réalisation préféré, représenté à la figure 1, un dispositif de localisation d'un véhicule comporte un ensemble de capteurs installés sur le véhicule. Ces capteurs sont :
au moins un capteur de vision 1 qui fournit des données d'images de l'environnement du véhicule, un module satellitaire de navigation 2 dit GNSS d'après l'anglais « Global Navigation Satellite System », un capteur odométrique 3, et une centrale inertielle 4.
En particulier, le capteur de vision 1 est une caméra monoculaire perspective dont les paramètres intrinsèques sont connus et fixes.
Il est à noter que le module satellitaire de navigation 2, le capteur odométrique 3 et la centrale inertielle 4 sont des équipements optionnels. Le dispositif de localisation de véhicule peut donc comporte, seulement deux d'entre eux, ou encore un seul d'entre eux. Le module satellitaire de navigation 2 est par exemple un module GPS (Global Positionning System).
Ces capteurs sont reliés à un module de traitement de données qui a la structure générale d'un ordinateur. II comporte notamment un processeur 100 exécutant un programme d'ordinateur mettant en œuvre le procédé selon l'invention, une interface d'entrée 101, une mémoire 102 et une interface de sortie 103.
Ces différents éléments sont classiquement reliés par un bus 105.
L'interface d'entrée 101 est destinée à recevoir les données fournies par les capteurs équipant le véhicule.
Le processeur 100 exécute les traitements exposés dans la suite. Ces traitements sont réalisés sous la forme d'instructions de code du programme d'ordinateur qui sont mémorisées par la mémoire 102 avant d'être exécutées par le processeur 100.
Un modèle de scène MS est mémorisé dans la mémoire 102. Le modèle de scène MS est un modèle des connaissances a priori de l'environnement dans lequel va évoluer le véhicule. II peut s'agir d'un modèle de voies de circulation et/ou d'un modèle 3D de bâtiments.
L'interface de sortie 103 fournit la position et l'orientation temps réel absolue du véhicule.
Selon un mode de réalisation préféré, représenté à la figure 2, le procédé de localisation de véhicule comporte deux étapes principales El et E2.
L'étape El est une localisation par vision du véhicule. La localisation par vision exploite les données d'images fournies par le capteur de vision 1 pour produire des premières données de localisation du véhicule.
L'étape El est suivie de l'étape E2 qui est un filtrage bayésien d'un ensemble de données pour produire des secondes données de localisation du véhicule qui sont plus précisément la position et l'orientation en temps réel du véhicule. Ainsi, les premières données de localisation du véhicule font partie de l'ensemble de données traitées par le filtrage bayésien. Cet ensemble de données comporte également des données du modèle de scène MS et des données fournies par au moins un des autres capteurs 2, 3 et 4 équipant le véhicule.
Les étapes El et E2 sont détaillées dans la suite.
La figure 3 représente un mode de réalisation de l'étape El de localisation par vision du véhicule. L'étape El comporte des étapes Eli à E14.
L'étape Eli prend en compte des données d'images fournies par le capteur de vision 1 qui équipe le véhicule. L'étape Eli est une détermination de contraintes relatives, effectuée sur la base d'une méthode de localisation et cartographie simultanées, dite SLAM d'après l'anglais « Simultaneous Localization And Mapping », appliquée aux données d'images. L'étape Eli a pour résultat des correspondances 2D-3D entre images clé. Ces correspondances constituent des contraintes relatives sur le déplacement de la caméra 1.
Plus précisément, la méthode SLAM détermine la position de la caméra 1 et son orientation à différents instants d'une séquence, ainsi que la position d'un ensemble de points 3D observés tout au long de la séquence.
L'étape Eli comporte une détection de points d'intérêt dans les images fournies par le capteur de vision 1, puis une mise en correspondance des points d'intérêt d'une image à l'autre. La mise en correspondance est effectuée par une comparaison d'une image à l'autre de descripteurs, ou vecteurs caractéristiques, de zones d'intérêt correspondant à des points d'intérêt.
Ensuite, à partir des correspondances de points d'intérêt, on détermine la position et l'orientation de la caméra (calibrée) à partir de points 3D déjà reconstruits et leurs coordonnées 2D dans l'image courante. II s'agit donc de déterminer la pose de la caméra à partir de correspondances 3D/2D. Pour cela, la mesure utilisée est l'erreur de reprojection. Elle consiste à mesurer la distance 2D entre l'observation d'un point 3D dans l'image, c'est à dire la position 2D du point d'intérêt, et la projection du point 3D reconstruit dans cette même image.
Un sous-échantillonnage temporel est ensuite effectué et certaines images sont sélectionnées automatiquement en tant qu'imagés clef pour une triangulation des points 3D. Les images clef sont sélectionnées de manière à être suffisamment distantes entre elles afin de maximiser la qualité de la triangulation mais pas trop distantes pour pouvoir assurer leur mise en correspondance.
La triangulation de points 3D a pour but de retrouver la position 3D de points détectés puis appariés dans au moins deux images de la vidéo.
La méthode opère de manière incrémentale et, lorsqu'une nouvelle image clef est ajoutée, de nouveaux points 3D sont reconstruits.
L'article intitulé Generic and Real-Time Structure from Motion, de E. Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser, et P. Sayd, BMVC 2007 - British Machine Vision Conférence, expose les étapes précédentes.
L'étape E12 prend également en compte des données d'image fournies par le capteur de vision 1 qui équipe le véhicule. L'étape E12 exploite une base d'amers visuels géo-référencés et effectue une reconnaissance de points de vue. L'étape E12 a pour résultat des correspondances 2D-3D qui constituent des contraintes absolues.
Des points d'intérêt détectés dans une image sont comparés avec les amers de la base d'amers géo-référencés. Leur géo-référencement permet ensuite de déterminer un positionnement absolu du capteur de vision ayant acquis l'image étudiée.
Les étapes Eli et E12 sont suivies d'une étape E13 d'optimisation par ajustement de faisceaux contraints.
L'étape E13 d'optimisation est un ajustement de faisceaux contraints qui prend en compte les contraintes déterminées aux étapes Eli et E12, ainsi que des contraintes définies à partir du modèle de scène MS, et des contraintes définies à partir de données issues d'au moins un équipement parmi la centrale inertielle 4 et le module satellitaire de navigation 2 qui équipent le véhicule.
L'étape E13 a pour résultat des premières données de localisation de véhicule.
L'ajustement de faisceaux est un processus d'optimisation non linéaire qui consiste à raffiner les positions du capteur de vision 1 en mouvement et de points 3D en mesurant l'erreur de re-projection. Cette étape est très coûteuse en temps de calcul puisque le nombre de variable à optimiser peut être très grand. Afin de rester compatible avec la contrainte temps réel, l'ajustement de faisceaux est effectué localement afin d'optimiser uniquement les dernières positions de la caméra 1, associées à titre d'exemple aux trois dernières images clés et les points 3D observées par la caméra depuis ces positions. La complexité du problème est ainsi réduite sans perte de précision notable par rapport à un ajustement de faisceaux réalisé sur toutes les positions de capteur de vision et tous les points 3D.
La prise en compte du modèle de scène MS se traduit par l'association des points d'intérêts précédemment détectés à l'étape Eli à des éléments du modèle de scène MS. L'ajustement de faisceaux est donc réalisé en tenant compte d'une cohérence d'ensemble des points d'intérêt et d'éléments du modèle de scène MS.
Les contraintes définies à partir de données issues d'au moins un équipement parmi la centrale inertielle 4 et le module satellitaire de navigation 2 sont utilisées pour tester la cohérence du processus.
La centrale inertielle 4 et le module satellitaire de navigation 2 fournissent des données de localisation qui sont susceptibles d'être biaisées. L'étape E14 de correction des biais de capteurs est effectuée en parallèle de l'étape E13.
De manière générale, un biais de module satellitaire de navigation se traduit par une erreur temporelle continue, pouvant valoir plusieurs secondes, de la localisation fournie suivant une direction. Les amers visuel géo-référencés et le modèle de scène sont utilisés pour détecter et corriger ce biais. Par exemple, pour un véhicule restant sur une voie de circulation, si le module satellitaire de navigation fournit des données de position correspondant à l'intérieur des bâtiments, on peut estimer l'erreur et la compenser.
Pour la centrale inertielle, il s'agit plutôt de dérive en statique ou de biais en angle sur une trajectoire « réelle ». Ces biais sont identifiables et corrigeables par l'utilisation des amers visuels et du modèle de scène.
La figure 4 représente un mode de réalisation de l'étape E2 de filtrage bayésien de l'ensemble de données.
Le filtrage bayésien est un filtre de Kalman qui est un estimateur récursif comportant classiquement deux phases : prédiction et innovation ou mise à jour.
Les données d'entrée comportent :
les premières données de localisation du véhicule fournies par l'étape El, des données du modèle de scène.
Les données d'entrée comportent également des données parmi : des données issues du module satellitaire de navigation 2, des données issues du capteur odométrique 3, des données issues de la centrale inertielle 4.
Les premières données de localisation du véhicule fournies par l'étape El, les données du modèle de scène, et éventuellement les données issues du module satellitaire de navigation 2 sont utilisées dans la phase d'innovation.
Les données issues du capteur odométrique 3 et/ou les données issues de la centrale inertielle 4 sont utilisées dans la phase de prédiction du filtre bayésien. Si les données de ces capteurs ne sont pas disponibles, un modèle prédictif est utilisé dans la phase de prédiction du filtre bayésien. Le modèle prédictif est par exemple défini par : vitesse constante ou accélération constante.
La phase de prédiction utilise l'état estimé de l'instant précédent pour produire une estimation de l'état courant. Dans la phase d'innovation, les observations de l'état courant sont utilisées pour corriger l'état prédit dans le but d'obtenir une estimation plus précise.

Claims (7)

  1. REVENDICATIONS
    1. Procédé de localisation d'un véhicule comportant au moins un capteur de vision (1) et au moins un équipement parmi une centrale inertielle (4), un module satellitaire de navigation (2) et un capteur odométrique (3), le procédé comportant une étape de :
    localisation par vision (El) à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte une étape de :
    filtrage bayésien (E2) prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
  2. 2. Procédé de localisation d'un véhicule selon la revendication 1, caractérisé en ce que l'étape de localisation par vision comporte des étapes de :
    - détermination (Eli, E12) de contraintes de vision à partir de données d'images produites par le capteur de vision (1) équipant le véhicule,
    - ajustement de faisceaux contraints (E13) prenant en compte
    - les contraintes de vision,
    - des contraintes définies à partir du modèle de scène (MS),
    - des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle (4) et le module satellitaire de navigation (2).
  3. 3. Procédé de localisation d'un véhicule selon la revendication 2, caractérisé en ce que l'étape de détermination des contraintes de vision comporte des étapes de :
    - détermination (Eli) de contraintes relatives par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision (1), et
    - détermination (E12) de contraintes absolues par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels.
  4. 4. Procédé de localisation d'un véhicule selon la revendication 3, caractérisé en ce que l'étape de détermination (Eli) de contraintes relatives comporte des étapes de :
    - détection et mise en correspondance de points d'intérêt dans des images fournies par l'au moins un capteur de vision (1),
    - calcul de la pose du capteur vision à partir de la mise en correspondance de points d'intérêt,
    - sélection d'images clé,
    - triangulation de points 3D.
  5. 5. Dispositif de localisation d'un véhicule comportant au moins un capteur de vision (1), au moins un équipement parmi une centrale inertielle (4), un module satellitaire de navigation (2) et un capteur odométrique (3), et des moyens de :
    localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce qu'il comporte des moyens de filtrage bayésien prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
  6. 6. Programme d'ordinateur comportant des instructions pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 4 lorsque ledit programme est exécuté par un ordinateur.
  7. 7. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 4.
    S.61032
    1 /2
    12 3 4
    101 103
FR1662420A 2016-12-14 2016-12-14 Localisation d'un vehicule Active FR3060115B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR1662420A FR3060115B1 (fr) 2016-12-14 2016-12-14 Localisation d'un vehicule
PCT/FR2017/053551 WO2018109384A1 (fr) 2016-12-14 2017-12-13 Localisation d'un vehicule
US16/469,013 US20190331496A1 (en) 2016-12-14 2017-12-13 Locating a vehicle
EP17821992.9A EP3555566A1 (fr) 2016-12-14 2017-12-13 Localisation d'un vehicule

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1662420A FR3060115B1 (fr) 2016-12-14 2016-12-14 Localisation d'un vehicule
FR1662420 2016-12-14

Publications (2)

Publication Number Publication Date
FR3060115A1 true FR3060115A1 (fr) 2018-06-15
FR3060115B1 FR3060115B1 (fr) 2020-10-23

Family

ID=58779092

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1662420A Active FR3060115B1 (fr) 2016-12-14 2016-12-14 Localisation d'un vehicule

Country Status (4)

Country Link
US (1) US20190331496A1 (fr)
EP (1) EP3555566A1 (fr)
FR (1) FR3060115B1 (fr)
WO (1) WO2018109384A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683618A (zh) * 2018-12-28 2019-04-26 广州中国科学院沈阳自动化研究所分所 一种航行信号识别系统及其识别方法
CN111596329A (zh) * 2020-06-10 2020-08-28 中国第一汽车股份有限公司 车辆定位方法、装置、设备及车辆

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967018B (zh) * 2019-11-25 2024-04-12 斑马网络技术有限公司 停车场定位方法、装置、电子设备及计算机可读介质
JP2022042630A (ja) 2020-09-03 2022-03-15 本田技研工業株式会社 自己位置推定方法
CN113405545B (zh) * 2021-07-20 2024-06-28 阿里巴巴创新公司 定位方法、装置、电子设备及计算机存储介质
CN114719843B (zh) * 2022-06-09 2022-09-30 长沙金维信息技术有限公司 复杂环境下的高精度定位方法
CN115143952B (zh) * 2022-07-12 2025-08-08 智道网联科技(北京)有限公司 基于视觉辅助的自动驾驶车辆定位方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976107A1 (fr) * 2011-05-30 2012-12-07 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US20140139635A1 (en) * 2012-09-17 2014-05-22 Nec Laboratories America, Inc. Real-time monocular structure from motion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2998080A1 (fr) 2012-11-13 2014-05-16 France Telecom Procede d'augmentation de la realite

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976107A1 (fr) * 2011-05-30 2012-12-07 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US20140139635A1 (en) * 2012-09-17 2014-05-22 Nec Laboratories America, Inc. Real-time monocular structure from motion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SÉBASTIEN PEYRAUD ET AL: "Collaborative Methods for Real-Time Localization in Urban Centers", INTERNATIONAL JOURNAL OF ADVANCED ROBOTIC SYSTEMS, vol. 12, no. 11, 6 November 2015 (2015-11-06), pages 154, XP055403693, ISSN: 1729-8814, DOI: 10.5772/61371 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683618A (zh) * 2018-12-28 2019-04-26 广州中国科学院沈阳自动化研究所分所 一种航行信号识别系统及其识别方法
CN111596329A (zh) * 2020-06-10 2020-08-28 中国第一汽车股份有限公司 车辆定位方法、装置、设备及车辆

Also Published As

Publication number Publication date
US20190331496A1 (en) 2019-10-31
FR3060115B1 (fr) 2020-10-23
EP3555566A1 (fr) 2019-10-23
WO2018109384A1 (fr) 2018-06-21

Similar Documents

Publication Publication Date Title
FR3060115A1 (fr) Localisation d'un vehicule
Wen et al. 3D LiDAR aided GNSS NLOS mitigation in urban canyons
Hsu et al. Hong Kong UrbanNav: An open-source multisensory dataset for benchmarking urban navigation algorithms
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
CN110411462B (zh) 一种gnss/惯导/车道线约束/里程计多源融合方法
FR2960082A1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
JP2009266224A (ja) リアルタイム・ビジュアル・オドメトリの方法およびシステム
FR2976355A1 (fr) Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
FR2886501A1 (fr) Procede et dispositif de localisattion d'un terminal dans un reseau local sans fil
Yin et al. Ground-fusion: A low-cost ground slam system robust to corner cases
WO2018142057A1 (fr) Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar
Platinsky et al. Collaborative augmented reality on smartphones via life-long city-scale maps
FR3068777A1 (fr) Procede de planification de trajet d'un vehicule automobile equipe d'un systeme de conduite automatisee et vehicule mettant en œuvre le procede
EP3447654B1 (fr) Procédé de détermination de la trajectoire d'un objet mobile, programme et dispositif aptes à la mise en oeuvre de ce procédé
FR3043237A1 (fr) Procede et dispositif pour localiser un vehicule dans un parking
Gao et al. Fully automatic large-scale point cloud mapping for low-speed self-driving vehicles in unstructured environments
Wang et al. UGV‐UAV robust cooperative positioning algorithm with object detection
WO2015150129A1 (fr) Procede de geo-localisation de l'environnement d'un porteur
WO2023094347A1 (fr) Système et procédé de navigation autonome base vision d'un satellite
US20190293444A1 (en) Lane level accuracy using vision of roadway lights and particle filter
Tao et al. Tightly coupling GPS with lane markings for autonomous vehicle navigation
Rahman et al. Improving multisensor positioning of land vehicles with integrated visual odometry for next‐generation self‐driving cars
Park et al. Uncertainty‐aware LiDAR‐based localization for outdoor mobile robots
Marais et al. Accurate localisation based on GNSS and propagation knowledge for safe applications in guided transport
Ragab et al. Leveraging vision-based structure-from-motion for robust integrated land vehicle positioning systems in challenging GNSS environments

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180615

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9