FR3078667A1 - Procede et systeme d'assistance au stationnement par vision active a lumiere structuree - Google Patents
Procede et systeme d'assistance au stationnement par vision active a lumiere structuree Download PDFInfo
- Publication number
- FR3078667A1 FR3078667A1 FR1852102A FR1852102A FR3078667A1 FR 3078667 A1 FR3078667 A1 FR 3078667A1 FR 1852102 A FR1852102 A FR 1852102A FR 1852102 A FR1852102 A FR 1852102A FR 3078667 A1 FR3078667 A1 FR 3078667A1
- Authority
- FR
- France
- Prior art keywords
- structured light
- vehicle
- image
- area
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un procédé d'assistance au stationnement par vision active à lumière structurée pour un véhicule roulant à une vitesse inférieure à un seuil bas prédéterminé, ledit procédé étant caractérisé en ce qu'il comprend : - une étape (E1a) d'envoi d'impulsion de lumière structurée éclairant une zone - une étape (E2a) d'acquisition de ladite zone éclairée - une étape (E3a) d'analyse de l'image ainsi acquise de ladite zone éclairée - une étape (E2b) d'acquisition de ladite zone sans éclairage - une étape (E3b) d'analyse de l'image ainsi acquise de ladite zone sans éclairage - une étape (E4) de détection d'emplacement de stationnement disponible en utilisant les résultats des étapes d'analyse précédentes.
Description
DOMAINE TECHNIQUE DE L’INVENTION
L’invention se rapporte aux domaines de l’automobile et des aides à la conduite, notamment au stationnement. Elle trouve une application avantageuse sous la forme d’un procédé et d’un système d’assistance au stationnement par vision à lumière structurée pour un véhicule automobile.
ETAT DE LA TECHNIQUE
Dans le domaine de l’automobile, la qualité de la perception de l’environnement autour du véhicule est une étape fondamentale pour le déploiement de prestations autonomes ou en partie autonomes. Pour les prestations d’assistance au stationnement, le véhicule doit être capable de détecter les obstacles qui l’entourent, de les identifier et de réaliser une carte en trois dimensions de son environnement proche. Pour mesurer toutes ces informations, les technologies actuellement utilisées sont basées sur les capteurs suivants : caméras (simples, stéréoscopiques, multiples), ultrasons, radars et lidars.
Cependant, chaque capteur présente ses propres inconvénients, comme par exemple une portée insuffisante, une résolution spatiale faible ou encore une charge importante en calculs. Les capteurs actuellement utilisés dans l’automobile pour « cartographier » en 3 dimensions l’environnement autour du véhicule présentent en effet chacun différents inconvénients :
Un système à base de capteurs caméras fonctionne avec un calculateur chargé d’analyser les images capturées pour détecter des points d’intérêt. Le calculateur effectue ensuite une mise en correspondance de ces points sur au moins deux images. A partir de cette mise en correspondance et connaissant la relation géométrique entre les référentiels (centre optique) de chaque caméra, une carte de profondeur de la scène peut être estimée par triangulation. Cette solution ne peut donc fonctionner que dans la mesure ou des points d’intérêt existent dans l’image (cette solution n’est pas opérationnelle avec un stationnement enneigé, ou alors sans voitures ni lignes blanches par exemple). De plus, les images utilisées doivent représenter des points de vue différents de la même scène, avec un recouvrement suffisant permettant d’apparier les points d’intérêt et obtenir une information pertinente.
Dans le cas d’un système mono caméra, il est nécessaire que cette dernière soit en mouvement par rapport à la scène et que les images utilisées soient décalées temporellement (ce qui implique que l’environnement ne change pas brusquement d’une image à l’autre, comme par exemple un stationnement souterrain à l’éclairage défectueux qui clignote). De plus, il est nécessaire de calculer en continu la transformation géométrique entre les deux positions de la caméra (t, t+1) pour estimer la carte de distance. Cette transformation géométrique est généralement obtenue par un moyen extérieur au système (par exemple un moyen dOdométrie embarqué du véhicule).
Dans le cas d’un système à deux ou plusieurs caméras, la transformation géométrique entre les différents capteurs est généralement estimée une seule fois par des méthodes de calibrage.
Ces systèmes à base de caméras (mono ou stéréoscopique) nécessitent une puissance de calcul importante pour l’extraction de points d’intérêt et la mise en correspondance par des techniques de traitement d’images et sont sensibles aux conditions de l’environnement.
Un système basé sur des ultrasons est constitué d’un émetteur et d’un récepteur d’ondes ultrasonores. Lorsque les ondes ultrasonores émises à intervalles réguliers rencontrent un objet, elles se réfléchissent et reviennent sous forme d’écho au récepteur du capteur. La distance entre l’objet et le capteur est alors estimée à partir du temps écoulé entre l’émission du signal sonore et la réception de l’écho. Les capteurs ultrason ont actuellement une portée réduite d’environ 5 à 6 m et possèdent une zone morte (comprise généralement entre 0 et 20 cm) dans laquelle ils ne peuvent détecter des obstacles. De plus, il est difficile avec ces systèmes d’identifier le type d’objet détecté ou des marquages au sol par exemple. La mesure obtenue via les ultrasons peut être fortement détériorée en fonction de la forme de l’objet (dispersion des ondes) ou encore de sa texture (matériaux faiblement échogènes).
Un système radar est constitué d’un émetteur et d’un récepteur d’ondes radio. Le principe est similaire à celui des systèmes basés sur les ultrasons. La position et la vitesse d’un objet détecté sont estimées en fonction du temps écoulé (temps de vol) entre l’émission des ondes radio et leur réception après réflexion sur une cible. Les radars disposent d’une longue portée de mesure mais ne permettent pas d’identifier précisément un objet détecté. Les inconvénients des radars sont similaires à ceux décrits précédemment pour les capteurs ultrasons.
Les lidars utilisent quant à eux la lumière issue d’un laser pour mesurer une distance entre un objet et le capteur selon le même principe du temps de vol. Ils demeurent les plus précis mais leur prix conséquent reste un frein à leur déploiement. De plus, pour avoir une bonne résolution du champ de détection, il est nécessaire d’utiliser un dispositif mécanique permettant d’assurer un balayage de faisceau de lumière. L’utilisation de pièces électromécaniques peut être problématique pour des applications automobiles (vibrations importantes), des systèmes alternatifs sans dispositif mécanique existent sur le marché mais offrent actuellement une faible résolution.
Ainsi, dans le cadre de l’assistance au stationnement, à la première étape consistant à scanner autour du véhicule afin d’identifier des emplacements de stationnement disponible, l’utilisation des différents systèmes décrits peuvent entraîner des difficultés dans l’appréciation d’un emplacement de stationnement disponible et donc dans la définition d’une stratégie pour l’assistance au stationnement, puisque par exemple les capteurs ultrason ont une courte portée de détection et les mesures issues des caméras peuvent être sujettes à des erreurs de classification. Deux principaux scenarii critiques illustrent les problématiques :
- Pour la recherche de place en bataille, si plusieurs emplacements sont disponibles (>=2), il est possible que le système puisse vouloir déclencher une manoeuvre en créneau. De plus la faible portée des ultrasons limite la détection d’éventuels obstacles (pouvant être des objets mobiles, par exemple, piétons) présents dans l’emplacement ;
- Pour la recherche de place en épi, les ultrasons ne permettent pas de scanner en profondeur l’emplacement pour y détecter d’éventuels obstacles.
La présente invention a donc pour but d’améliorer la perception des obstacles et de l’environnement autour du véhicule tout en ayant une consommation économe des ressources de calcul. Elle est basée sur l’utilisation d’une caméra couplée à un projecteur de lumière structurée afin de réaliser une carte tridimensionnelle de l’environnement du véhicule avec une précision permettant la détection et l’identification d’éventuels obstacles sans nécessiter une puissance de calcul importante.
RESUME DE L’INVENTION
Un des buts de l'invention est de remédier à au moins une partie des inconvénients de la technique antérieure en fournissant un procédé d’assistance au stationnement et un système associé, utilisant en combinaison un projecteur de lumière structurée et une caméra pour détecter les emplacements de stationnement disponibles dans l’environnement du véhicule.
A cette fin, l'invention propose un procédé d’assistance au stationnement par vision active à lumière structurée pour un véhicule roulant à une vitesse inférieure à un seuil bas prédéterminé, ledit procédé étant caractérisé en ce qu’il comprend :
- une étape d’envoi d’impulsion de lumière structurée éclairant une zone
- une étape d’acquisition de ladite zone éclairée
- une étape d’analyse de l’image ainsi acquise de ladite zone éclairée
- une étape d’acquisition de ladite zone sans éclairage
- une étape d’analyse de l’image ainsi acquise de ladite zone sans éclairage
- une étape de détection d’emplacement de stationnement disponible en utilisant les résultats des étapes d’analyse précédentes.
Grâce à l'invention, la détection des emplacements de stationnement disponibles est réalisable avec une puissance de calcul inférieure à celle nécessaire dans le cadre de l’utilisation de capteur stéréo caméra, lidar ou radar, car la technique pour caractériser le relief de la scène, dans le cas de la lumière structurée, permet d’éviter les étapes complexes d’extraction de caractéristiques dans l’image puisque les points du faisceau de lumière structurée sont indentifiables directement.
Selon une caractéristique avantageuse, l’étape d’analyse de l’image acquise de ladite zone éclairée extrait:
- des distances entre le véhicule et les différents objets de ladite zone éclairée
- des volumes des différents objets détectés dans ladite zone éclairée.
Cette caractéristique permet notamment d’extraire les caractéristiques essentielles des informations en trois dimensions issues de l’image acquise de la zone éclairée par lumière structurée et notamment de détecter des objets sur toute la profondeur de l’image acquise et particulièrement les objets au sol, en les localisant précisément.
Selon une autre caractéristique avantageuse, l’étape d’analyse de l’image acquise de ladite zone sans éclairage extrait:
- des lignes au sol détectées dans ladite zone sans éclairage.
Cette caractéristique permet notamment d’extraire les caractéristiques essentielles des informations en deux dimensions issues de l’image acquise de la zone sans éclairage par lumière structurée et notamment de détecter les lignes au sol.
Selon une autre caractéristique avantageuse, le procédé comprend également une étape de mémorisation des dernières images acquises, ce qui permet de détecter des emplacements plus grands que le champ du capteur de la caméra.
Selon une autre caractéristique avantageuse, la fréquence d’acquisition de la caméra est synchronisée avec la fréquence de projection d’impulsions de lumière structurée de manière à ce que la fréquence d’acquisition de la caméra soit au moins deux fois plus rapide que la fréquence de projection, notamment la fréquence d’acquisition est d’au moins 10 images par secondes, préférentiellement de 20 images par secondes ou variable en fonction de la vitesse dudit véhicule. L’avantage de cette caractéristique est de permettre l’appairage entre un flux d’image sans éclairage d’une part, et un flux d’image avec éclairage d’autre part assurant préférentiellement un recouvrement dès une profondeur correspondant à la mi-largeur d’un véhicule, ce qui permet de ne pas perdre d’information.
Selon une autre caractéristique avantageuse, le seuil bas prédéterminé de vitesse du véhicule est de 30 km/h, préférentiellement 15 km/h, ce qui permet d’activer l’assistance dans une gamme large de vitesse, ce seuil pouvant être modifié par l’utilisateur.
L'invention concerne également un système d’assistance au stationnement par vision active à lumière structurée pour un véhicule roulant à une vitesse inférieure à un seuil prédéterminé, ledit système étant caractérisé en ce qu’il comprend au moins:
- un moyen d’envoi d’impulsions de lumière structurée éclairant une zone
- un moyen d’acquisition de ladite zone éclairée
- un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone éclairée
- un moyen d’acquisition de ladite zone sans éclairage
- un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone sans éclairage
- un moyen de détection d’emplacement de stationnement disponible en utilisant les sorties desdits moyens d’analyse. Ce système présente des avantages analogues à ceux du procédé.
Selon une autre caractéristique avantageuse, ledit moyen d’envoi d’impulsions de lumière structurée est un projecteur de lumière structurée émettant un champ de projection de lumière structurée de portée minimale de 15 mètres, et préférentiellement 20 mètres, et ledit moyen d’acquisition d’images est une caméra à champ grand angle et ledit champ de projection de lumière structurée est positionné dans le champ de la caméra. Ces caractéristiques permettent notamment d’éviter les confusions entre des emplacements de stationnement en épi et en créneau.
Selon une autre caractéristique avantageuse, le système comporte deux ensembles comportant chacun un moyen d’envoi d’impulsions et un moyen d’acquisition d’images, chaque ensemble étant orienté sensiblement horizontalement vers l’extérieur et apte à être positionné de chaque côté latéral du véhicule, préférentiellement au niveau des rétroviseurs extérieurs dudit véhicule, ce qui permet de détecter les emplacements de chaque côté du véhicule.
Selon une autre caractéristique avantageuse, ledit champ angulaire de lumière structurée est d’au moins 50° par 30° et d’une résolution angulaire d’un point tous les 0,0725° soit une matrice d’au moins 690 x 414 points, ce qui permet de détecter un objet critique tel qu’un poteau qui se serait situé dans la profondeur de la zone éclairée.
BREVE DESCRIPTION DES FIGURES
D'autres caractéristiques et avantages apparaîtront à la lecture d'un mode de réalisation préféré décrit en référence aux figures dans lesquelles:
la figure 1 représente un exemple de procédé apte à la mise en œuvre du procédé selon l’invention ; et, la figure 2 est une vue d’oiseau d’un exemple de situation de mise en œuvre du procédé illustrant les paramètres de dimensionnement d’un système conforme à l’invention.
Dans l’ensemble du texte les directions et orientations sont désignées en référence à un repère orthonormé direct XYZ classiquement utilisé en conception automobile, dans lequel X désigne la direction longitudinale du véhicule, dirigé vers l’avant, Y est la direction transversale au véhicule, dirigé vers la gauche et Z est la direction verticale dirigée vers le haut. Les notions « avant » et « arrière » sont indiquées en référence au sens de marche normal vers l’avant du véhicule. Dans l’ensemble de la description le terme « sensiblement » signifie qu’un léger écart peut être admis par rapport à une position ou orientation nominale déterminée, par exemple « sensiblement horizontal » signifie qu’un écart de l’ordre de 10° par rapport à une orientation strictement horizontale est admis dans le cadre de l’invention. Pour plus de clarté, les éléments identiques ou similaires sont repérés par des signes de référence identiques sur l’ensemble des figures.
DESCRIPTION DETAILLEE DES FIGURES
Une solution pour résoudre les problèmes évoqués est donc d’utiliser un système composé d’un projecteur de lumière structurée et d’une caméra grand angle.
En effet, l’utilisation d’un projecteur de lumière structurée combiné à une caméra permet de reconstruire une information tridimensionnelle d’un objet ou d’un environnement avec une précision inférieure au millimètre. L’usage de projecteur de lumière structurée était jusqu’à présent problématique en extérieur, en raison de la pollution lumineuse du soleil et du manque de sensibilité des capteurs de caméra dans le proche infrarouge. De nouvelles technologies de capteurs permettant de gagner en sensibilité dans ces longueurs d’ondes offrent désormais la possibilité d’envisager ce type d’utilisation permettant d’obtenir des résultats supérieurs à ceux d’un Lidar standard d’un point de vue du ratio performance/coûts (puissance de calcul réduite, moins onéreux), et ce quelles que soient les conditions d’ensoleillement. Les performances actuelles en terme de résolution spatiale et temporelle permettent d’atteindre 4096 pixels de large avec une résolution de 3840x2160 correspond au format UHD (Ultra Haute Définition) à 30 images par secondes avec une portée de 20m, améliorable jusqu’à 100 m pour des conditions d’ensoleillement critiques , c’est-à-dire des conditions de forte luminosité émise par le soleil dans les longueurs d’ondes de la lumière du projecteur qui masqueraient les points de son faisceau, cela pouvant avoir lieu à différents moments de la journée, de l’année, et dépendant de la météo.
Le principe des systèmes basés sur la lumière structurée est similaire à ceux de dispositifs stéréoscopiques. En stéréovision, la mise en correspondance de deux points en deux dimensions (2D) extraits dans les images fournies par chaque caméra permet d’estimer la position en trois dimensions (3D) du point associé à ces deux points par triangulation géométrique.
Dans le cadre d’un système de vision active à lumière structurée, un projecteur de motifs visuels (lignes, grille ou matrice de points) dans le proche infrarouge remplace une des caméras. L’ensemble des motifs visuels projetés couvre le champ de vision de la caméra facilitant ainsi la mise en correspondance. Le calcul des coordonnées 3D est obtenu par triangulation grâce à la détection des motifs visuels projetés dans l’image de la caméra et la connaissance de la transformation géométrique entre la caméra et le projecteur. Un nuage de points représentatif de l’information tridimensionnelle de la scène est alors extrait pour chaque acquisition de la caméra. La perception des systèmes de vision active à lumière structurée couvre actuellement des distances d’environ 20 m, ce qui correspond à la profondeur des emplacements de stationnement, y compris en bataille. Un mode de réalisation préférentiel de l’invention est que le système se compose de deux ensembles, chaque ensemble comprenant un projecteur de lumière structurée et d’une caméra grand angle, chaque ensemble étant localisé de chaque côté du véhicule au niveau des rétroviseurs extérieurs. Cette configuration assure la possibilité de scanner en profondeur les emplacements de stationnement quel que soit le type d’emplacement. La perception longue distance à 20 mètres permet d’identifier dans le cas d’un stationnement en bataille, qu’il s’agit bien d’un emplacement de stationnement en bataille et d’éviter la confusion avec la détection d’un emplacement en créneau.
De plus, pour tous les types de stationnement, la solution proposée permet de détecter précisément la présence d’un obstacle ainsi que l’infrastructure autour de l’emplacement de stationnement : piétons, trottoirs, barrières, panneaux et divers obstacles.
Le procédé selon un premier mode de réalisation de l'invention est représenté à la figure 1.
Dans l’étape E0 les conditions d’activation de mise en œuvre de l’assistance au stationnement par vision active à lumière structurée sont vérifiées. Il s’agit de vérifier que la vitesse du véhicule est inférieure à un seuil bas prédéterminé. Ce seuil bas prédéterminé est fixé entre 5 à 30 km/h et vaut préférentiellement 15 km/h. Ce seuil d’activation peut aussi être modifié par l’utilisateur dans la gamme de 5 à 30 km/h préfixée.
Une fois ces conditions vérifiées, l’assistance au stationnement commence avec l’étape E1a qui consiste en un envoi d’une impulsion de lumière structurée. Cette première impulsion est émise par un projecteur de lumière structurée. Pendant cette étape E1a d’envoi d’impulsion de lumière structurée, se déroule aussi l’étape E2a d’acquisition par la caméra de l’image de la scène éclairée par la lumière structurée projetée. Plus précisément, l’image acquise par la caméra est un nuage de points représentatif de l’information tridimensionnelle de la scène, c’est-à-dire de la zone éclairée. Puis une analyse tridimensionnelle de l’image acquise a lieu dans l’étape E3a. Cette analyse permet d’extraire les informations portant sur les distances entre le véhicule et les différents objets de la zone éclairée, mais aussi les volumes des différents objets détectés dans la zone éclairée. Ces informations permettent de placer précisément les objets perçus dans l’environnement du véhicule.
Parallèlement à cette étape E1a, plus précisément entre les envois consécutifs d’impulsions, qui se font à une fréquence donnée, se déroule l’étape E2b d’acquisition par la caméra d’une image de la scène sans éclairage de lumière structurée. La fréquence élevée permet donc de pouvoir apparier les images acquises avec et sans lumière structurée. En effet, la fréquence d’acquisition de la caméra est synchronisée avec la fréquence de projection d’impulsions de lumière structurée de manière à ce que la fréquence d’acquisition de la caméra soit au moins deux fois plus rapide que la fréquence de projection permettant ainsi l’appairage entre un flux d’image sans éclairage d’une part, et un flux d’image avec éclairage d’autre part. Ainsi, par exemple, pour 15 impulsions par secondes, il faut une acquisition de la caméra de 30 images par secondes ce qui permet d’avoir deux flux vidéo de images par secondes, un avec éclairage et l’autre sans éclairage. Néanmoins, avec une vitesse maximale de 30 km/h, à partir d’une fréquence de 10 impulsions par seconde et d’acquisition de 20 images par seconde pour la caméra, on obtient suffisamment de recouvrement d’une image à l’autre puisqu’on obtient alors un recouvrement dès une profondeur correspondant à la mi-largeur d’un véhicule. Plus on augmente la fréquence d’acquisition, plus l’estimation de place sera fine, mais engendrera un coût de calcul plus important. Il s’agit donc d’un compromis entre la puissance et la précision. Puis une analyse bidimensionnelle de l’image acquise sans éclairage a lieu dans l’étape E3b. Cette analyse permet d’extraire les informations portant sur les lignes au sol détectées dans la zone non éclairée, mais aussi les obstacles, notamment mobiles, détectés dans la zone non éclairée.
Puis, dans l’étape E4 de détection d’emplacement de stationnement, les sorties des deux analyses sont combinées puisque la fréquence de projection le permet étant donné que le laps de temps entre les deux images n’est pas significatif. En effet, par essence les mouvements des piétons sont lents et l’allure du véhicule lui-même est réduite puisqu’il roule à vitesse faible. Dans cette étape E4 de détection une fusion des données issues des deux étapes E3a et E3b d’analyse permet de reconstituer en trois dimensions l’environnement du véhicule à un temps donné de manière robuste avec la classification des objets détectés dans cet environnement au moyen d’algorithmes connus. Les obstacles extraits via l’image éclairée par la lumière structurée (information tridimensionnelle, vitesse...) peuvent être caractérisés via l’image non éclairée. Cette étape de reconnaissance est toutefois facultative, car le volume et la position de l’obstacle peuvent être suffisants pour la manœuvre.
L’étape E4 de détection d’emplacement de stationnement estime donc le type d’emplacement de stationnement détecté dans l’environnement du véhicule (épi, créneau ou bataille), ainsi que leur disponibilité et les éventuels objets à risques pour la manœuvre de stationnement.
Enfin, si un ou plusieurs emplacements disponibles sont détectés dans l’étape E5 de décision, les informations issues de l’étape E4 sont transmises lors de l’étape E6 au système de calcul de trajectoire pour guider le véhicule dans son déplacement jusqu’à l’emplacement de stationnement déterminé selon des algorithmes connus. Si plusieurs emplacements disponibles sont détectés, ils peuvent être indiqués via une interface à l’utilisateur qui choisit lui-même lequel il veut utiliser. Si aucun emplacement de stationnement disponible n’a été détecté, le procédé est recommencé tant que les conditions d’activation de l’étape E0 sont vérifiées.
Une étape de mémorisation des dernières images acquises, non représentée pour plus de clarté, est interne à l’étape E4 de détection, ainsi un emplacement de stationnement pouvant être à cheval sur plusieurs images, c’est lors de cette étape E4 de détection qu’à chaque itération les nouvelles données sont combinées aux données précédentes. Cela permet d’être en mesure de détecter des emplacements plus grands que le champ de vue du capteur de la caméra.
Sur la figure 2 est représenté un cas pratique de mise en œuvre du procédé illustrant les paramètres de dimensionnement d’un système conforme à l’invention. Sur cette figure, le trièdre X, Y, Z a été représenté, les véhicules Veh, V1, V2 sont représentés sous la forme d’un rectangle comportant un triangle dans la partie à l’avant et dont la pointe illustre le sens d’avancement du véhicule. Un véhicule Veh est représenté roulant sur une voie à allure réduite V suivant l’axe X. Ce véhicule Veh est donc considéré par le procédé à la recherche d’un emplacement de stationnement d’après l’étape E0 précédemment décrite. Ce véhicule Veh roule le long d’emplacements de stationnement, situés le long d’un trottoir T sur la gauche du véhicule Veh, les emplacements sont matérialisés par des lignes continues et discontinues sur la figure. Dans ces emplacements de stationnements sont déjà garés des véhicules V1 et V2. Il apparaît donc deux emplacements disponibles entre ces deux véhicules V1 et V2 néanmoins sur un des emplacements disponibles est positionné un obstacle O. Cet obstacle O a une dimension D donnée. Ce cas pratique sert à illustrer les besoins pour le dimensionnement du système. Les données d’entrées fondamentales pour réaliser ce dimensionnement sont :
La profondeur minimale de détection Pmin et la profondeur maximale de détection Pmax.
La profondeur Pmin permet de dimensionner le champ de vue du projecteur et de la caméra. Il faut s’assurer que la lumière structurée projetée atteint le sol à une distance inférieure ou égale à Pmin. Le champ de la caméra doit également permettre de constituer une image complète du faisceau du projecteur. Ces données sont dépendantes de la position du système sur le véhicule. Cette implantation doit être prise en compte dans le dimensionnement, sachant que le positionnement préférentiel est la localisation du projecteur et de la caméra au niveau des rétroviseurs extérieurs (non représentés) du véhicule Veh.
Les données de profondeur maximale de détection Pmax et de dimension D minimale des objets à détecter permettent de définir la résolution du système, c’est-à-dire le nombre de points du projecteur et leur répartition spatiale ainsi que le nombre de pixels de la caméra. La caméra doit donc être en mesure de capturer chaque point lumineux du projecteur entre Pmin et Pmax. Préférentiellement Pmin vaut donc 1 m et Pmax vaut de 15 à 20 m, ce qui correspond à la taille des chaussées et des emplacements de stationnement, tout en respectant les profondeurs maximales de projection des projecteurs actuels qui sont de 20 m.
La vitesse V maximale du véhicule Veh à laquelle la détection d’emplacement de stationnement doit être réalisée. Préférentiellement la vitesse V maximale du véhicule Veh est de 30 km/h.
La donnée de vitesse V maximale du véhicule Veh permet de dimensionner la fréquence d’acquisition du système. La puissance du projecteur ainsi que le temps d’acquisition de l’image doivent être choisis afin de limiter le flou de mouvement tout en restant inoffensif pour l’œil. En effet, en fonction des caractéristiques du capteur de la caméra, le temps d’acquisition de l’image peut engendrer une réduction de la sensibilité de la caméra, et donc nécessiter une augmentation de la puissance du projecteur, la puissance du projecteur doit alors être limitée pour ne pas présenter de risques pour les yeux (notamment selon la règlementation de l’Union Européenne (directive 2006/25/CE du journal officiel) ou des autres réglementations en fonction du pays de commercialisation).
La dimension D minimale des objets O que l’on souhaite détecter
Par dimension D minimale est ici entendu aussi bien la hauteur, la largeur que la profondeur, il s’agit d’une dimension minimale de détection. A été considéré comme obstacle critique de référence un poteau. En effet, les poteaux fins, classiquement de 76 mm de diamètre, positionnés sur les emplacements de stationnement constituent un danger majeur et doivent être pris en compte par le procédé d’assistance au stationnement. De fait, la dimension D minimale des objets à détecter vaut ici 76 mm. Bien entendu, un autre objet de dimension différente pourrait être choisi comme obstacle critique de référence.
La dimension D de cet objet critique de référence à détecter devient alors la dimension D minimale à détecter et permet alors de dimensionner les paramètres minimaux d’acquisition du projecteur et de la caméra.
Ainsi, la résolution minimale du projecteur et de la caméra pour capturer cette dimension D minimale doivent être de
0,29 *
Si on considère une caméra de résolution 1920 x 1080 pixels avec une taille d’un pixel de 3 pm x 3 pm, en appliquant la modélisation par le principe du sténopé, pour que la dimension apparente de l’objet critique (poteau de 76 mm de diamètre) soit d’au moins 10 pixels, soit 30 pm sur la surface du capteur, il faut alors une focale d’environ 6 mm avec un angle de champ angulaire d’environ 50° en horizontal et 30° en vertical.
De la même manière, le champ de projection de lumière structurée doit donc être d’au moins 50° par 30° et positionné dans le champ de la caméra. Si on fixe à 4 le nombre de points minimum devant être projetés dans la largeur de notre objet critique, on obtient une résolution angulaire minimale d’un point tous les 0,0725° soit une matrice d’environ 690 x 414 points pour un projecteur de 50° par 30°. La déformation du motif est analysée image par image, ce qui permet d’en extraire une information 3D dynamique de la scène avec la position dans l’espace des différents objets.
La caméra étant préférentiellement placée de façon orthogonale à l’axe X du véhicule Veh, ainsi à 30km/h, le véhicule Veh se déplace de 8,3 m/s, le champ de la caméra définie précédemment à la distance Pmin = 1 000 mm équivaut alors à 960 mm de largeur. Une vitesse d’acquisition de 20 images par secondes permet alors d’obtenir un recouvrement dès une profondeur de 868 mm, c’est à dire suffisamment de recouvrement à Pmin pour ne pas perdre d’informations. En variante la vitesse d’acquisition peut aussi être variable en fonction de la vitesse V du véhicule Veh, ce qui permet de consommer en mémoire une quantité d’information optimisée.
Le système selon l’invention comporte donc préférentiellement au niveau de chaque rétroviseur extérieur un ensemble comportant préférentiellement:
Un moyen d’acquisition, c’est-à-dire une caméra de résolution minimale de 0,29° dont le champ est d’au moins 50° en horizontal par 30° en vertical pour une focale maximale par exemple de 6 mm avec une fréquence d’acquisition par exemple de 20 images par seconde.
Un moyen d’envoi d’impulsions de lumière structurée éclairant une zone, c’est-à-dire un projecteur de lumière structurée de résolution angulaire minimale d’un point tous les 0,0725°, de portée minimale de 20 m et dont le champ est d’au moins 50° en horizontal par 30° en vertical, avec une fréquence de projection par exemple de 10 impulsions par seconde et positionné dans le champ de la caméra,
- un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone éclairée un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone sans éclairage un moyen de détection d’emplacement de stationnement disponible en utilisant les sorties desdits moyens d’analyse, un moyen de mémorisation.
Les moyens d’analyse, de détection et de mémorisation de chaque ensemble, voire des deux ensembles latéraux, pouvant être regroupés dans un unique calculateur, dédié ou existant.
Claims (10)
- REVENDICATIONS1. Procédé d’assistance au stationnement par vision active à lumière structurée pour un véhicule (Veh) roulant à une vitesse (V) inférieure à un seuil bas prédéterminé, ledit procédé étant caractérisé en ce qu’il comprend :- une étape (E1a) d’envoi d’impulsion de lumière structurée éclairant une zone- une étape (E2a) d’acquisition de ladite zone éclairée- une étape (E3a) d’analyse de l’image ainsi acquise de ladite zone éclairée- une étape (E2b) d’acquisition de ladite zone sans éclairage- une étape (E3b) d’analyse de l’image ainsi acquise de ladite zone sans éclairage- une étape (E4) de détection d’emplacement de stationnement disponible en utilisant les résultats des étapes d’analyse précédentes.
- 2. Procédé selon la revendication précédente caractérisé en ce que l’étape (E3a) d’analyse de l’image acquise de ladite zone éclairée extrait:- des distances entre le véhicule (Veh) et les différents objets de ladite zone éclairée- des volumes des différents objets détectés dans ladite zone éclairée.
- 3. Procédé selon l’une quelconque des revendications précédentes caractérisé en ce que l’étape (E3b) d’analyse de l’image acquise de ladite zone sans éclairage extrait:- des lignes au sol détectées dans ladite zone sans éclairage.
- 4. Procédé selon l’une quelconque des revendications précédentes caractérisé en ce qu’il comprend également une étape de mémorisation des dernières images acquises.
- 5. Procédé selon l’une quelconque des revendications précédentes caractérisé en ce que la fréquence d’acquisition de la caméra est synchronisée avec la fréquence de projection d’impulsions de lumière structurée de manière à ce que la fréquence d’acquisition de la caméra soit au moins deux fois plus rapide que la fréquence de projection d’impulsions, notamment la fréquence d’acquisition est d’au moins 10 images par secondes, préférentiellement de 20 images par secondes ou variable en fonction de la vitesse (V) dudit véhicule (Veh).
- 6. Procédé selon l’un quelconque des revendications précédentes selon lequel ledit seuil bas prédéterminé de vitesse (V) du véhicule (Veh) est de 30 km/h, préférentiellement 15 km/h.
- 7. Système d’assistance au stationnement par vision active à lumière structurée pour un véhicule (Veh) roulant à une vitesse (V) inférieure à un seuil prédéterminé, ledit système étant caractérisé en ce qu’il comprend au moins:- un moyen d’envoi d’impulsions de lumière structurée éclairant une zone- un moyen d’acquisition de ladite zone éclairée- un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone éclairée- un moyen d’acquisition de ladite zone sans éclairage- un moyen d’analyse de l’image acquise par le moyen d’acquisition de ladite zone sans éclairage- un moyen de détection d’emplacement de stationnement disponible en utilisant les sorties desdits moyens d’analyse.
- 8. Système selon la revendication précédente caractérisé en ce que ledit moyen d’envoi d’impulsions de lumière structurée est un projecteur de lumière structurée émettant un champ de projection de lumière structurée de portée minimale de 15 mètres, et préférentiellement 20 mètres, et en ce que ledit moyen d’acquisition d’images est une caméra à champ grand angle et en ce que ledit champ de projection de lumière structurée est positionné dans le champ de la caméra.
- 9. Système selon l’une quelconque des revendications 7 ou 8 caractérisé en ce qu’il comporte deux ensembles comportant chacun un moyen d’envoi d’impulsions et un moyen d’acquisition d’images, chaque ensemble étant orienté sensiblement horizontalement vers l’extérieur et apte à être positionné de chaque côté latéral du véhicule (Veh), préférentiellement au niveau des rétroviseurs extérieurs dudit véhicule (Veh).
- 10. Système selon l’une quelconque des revendications 7 à 9 caractérisé en ce que ledit champ angulaire du moyen d’envoi d’impulsions de lumière structurée est d’au moins 50° par 30° et d’une résolution angulaire d’un point tous les 0,0725° soit une matrice d’au moins 690 x 414 points.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1852102A FR3078667B1 (fr) | 2018-03-12 | 2018-03-12 | Procede et systeme d'assistance au stationnement par vision active a lumiere structuree |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1852102A FR3078667B1 (fr) | 2018-03-12 | 2018-03-12 | Procede et systeme d'assistance au stationnement par vision active a lumiere structuree |
| FR1852102 | 2018-03-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3078667A1 true FR3078667A1 (fr) | 2019-09-13 |
| FR3078667B1 FR3078667B1 (fr) | 2020-09-11 |
Family
ID=62017557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1852102A Active FR3078667B1 (fr) | 2018-03-12 | 2018-03-12 | Procede et systeme d'assistance au stationnement par vision active a lumiere structuree |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3078667B1 (fr) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240734A (zh) * | 2021-06-01 | 2021-08-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 |
| EP4141804A1 (fr) * | 2021-08-23 | 2023-03-01 | Beijing Xiaomi Mobile Software Co., Ltd. | Procédé de commande de véhicule |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016150732A1 (fr) * | 2015-03-23 | 2016-09-29 | Philips Lighting Holding B.V. | Guidage de stationnement au moyen d'un luminaire |
-
2018
- 2018-03-12 FR FR1852102A patent/FR3078667B1/fr active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016150732A1 (fr) * | 2015-03-23 | 2016-09-29 | Philips Lighting Holding B.V. | Guidage de stationnement au moyen d'un luminaire |
Non-Patent Citations (2)
| Title |
|---|
| HO GI JUNG ET AL: "Light-Stripe-Projection-Based Target Position Designation for Intelligent Parking-Assist System", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, vol. 11, no. 4, 1 December 2010 (2010-12-01), pages 942 - 953, XP011336968, ISSN: 1524-9050, DOI: 10.1109/TITS.2010.2057426 * |
| SUHR JAE KYU ET AL: "Automatic Parking Space Detection and Tracking for Underground and Indoor Environments", IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, IEEE SERVICE CENTER, PISCATAWAY, NJ, USA, vol. 63, no. 9, 1 September 2016 (2016-09-01), pages 5687 - 5698, XP011619198, ISSN: 0278-0046, [retrieved on 20160809], DOI: 10.1109/TIE.2016.2558480 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240734A (zh) * | 2021-06-01 | 2021-08-10 | 深圳市捷顺科技实业股份有限公司 | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 |
| CN113240734B (zh) * | 2021-06-01 | 2024-05-17 | 深圳市捷顺科技实业股份有限公司 | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 |
| EP4141804A1 (fr) * | 2021-08-23 | 2023-03-01 | Beijing Xiaomi Mobile Software Co., Ltd. | Procédé de commande de véhicule |
| US12491869B2 (en) | 2021-08-23 | 2025-12-09 | Beijing Xiaomi Mobile Software Co., Ltd. | Method for controlling vehicle, vehicle and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3078667B1 (fr) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12352591B2 (en) | Apparatus for acquiring 3-dimensional maps of a scene | |
| CN105393083B (zh) | 周围环境感测系统 | |
| IL282691B2 (en) | TOF sensor with built-in light illumination | |
| JP6678605B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| FR2899332A1 (fr) | Dispositif de mesure de champ de visibilite pour vehicule et systeme d'assistance a la conduite pour vehicule | |
| FR2822547A1 (fr) | Releve en trois dimensions de l'environnement, notamment d'un vehicule routier | |
| FR2953313A1 (fr) | Systeme optronique et procede d'elaboration d'images en trois dimensions dedies a l'identification | |
| WO2017021601A1 (fr) | Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile | |
| US20250028047A1 (en) | Detection of hidden object using non-line-of-sight (nlos) imaging | |
| FR3056530B1 (fr) | Detection d'obstacles par fusion d'objets pour vehicule automobile | |
| FR3078667A1 (fr) | Procede et systeme d'assistance au stationnement par vision active a lumiere structuree | |
| EP2924458A2 (fr) | Procédé de détection et de visualisation des obstacles artificiels d'un aéronef à voilure tournante | |
| FR3056531B1 (fr) | Detection d'obstacles pour vehicule automobile | |
| FR2938228A1 (fr) | Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile | |
| EP3167406B1 (fr) | Estimation de la distance de visibilite meteorologique | |
| WO2022033902A1 (fr) | Procédé d'alignement d'au moins deux images formées de points tridimensionnels | |
| WO2017216465A1 (fr) | Procédé et dispositif de traitement d'images acquises par une caméra d'un véhicule automobile | |
| FR3118253A1 (fr) | Système et procédé de calcul d’une image finale d’un environnement d’un véhicule | |
| FR3161784A1 (fr) | Procédé et dispositif d’apprentissage d’un modèle de prédiction de profondeur à partir de bandes verticales d’images. | |
| FR3111713A1 (fr) | Procédé et dispositif de contrôle du déplacement d’un véhicule | |
| Grisleri et al. | Perception and data fusion on autonomous vehicles: the TerraMax™ experience | |
| FR3038802A1 (fr) | Systeme de communication par sources d'impulsions lumineuses entre un vehicule automobile et une cible | |
| FR3082485A1 (fr) | Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule | |
| FR3006799A1 (fr) | Procede et systeme correspondant de suivi d'objets en mouvement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20190913 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| CA | Change of address |
Effective date: 20221005 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |