FR2874300A1 - Procede de calibration automatique d'un systeme de stereovision - Google Patents

Abstract

Le procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile consiste à acquérir (610) dans un premier et deuxième dispositif d'acquisition, une image gauche et une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, à rechercher (620) dans l'image gauche et l'image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, et en cas de détection desdites au moins deux lignes de fuite, à déterminer (640) pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, à déterminer (650) l'erreur de tangage et l'erreur de lacet, sous forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet, à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite.

Description

PROCEDE DE CALIBRATION AUTOMATIQUE D'UN SYSTEME DE STEREOVISION

L'invention concerne un procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile.

Les systèmes de détection d'obstacle utilisés dans les véhicules automobiles, intégrant des systèmes de stéréovision à deux caméras droite et gauche doivent être calibrés très précisément pour être opérationnels. En effet une erreur de calibration c'est-à-dire une erreur d'alignement des axes des caméras de l'ordre de 0,1 peut provoquer un dysfonctionnement du système de détection. Or une telle précision est très difficile à atteindre mécaniquement. Une procédure de calibration dite électronique doit donc être envisagée qui consiste à déterminer l'erreur d'alignement des axes des caméras et à corriger les mesures effectuées à partir des images détectées par les caméras en fonction de l'erreur d'alignement déterminée.

Les méthodes connues de calibration nécessitent l'utilisation de mires qu'il faut placer en face du système de stéréovision. Elles nécessitent donc de la main d'oeuvre, une immobilisation du véhicule en vue d'une intervention en atelier et sont d'autant plus coûteuses que la calibration doit être effectuée à intervalles de temps réguliers, car on ne peut garantir que les déplacements d'une caméra l'une par rapport à l'autre ne soient inférieurs à -1:0,10 dans le cycle de vie du véhicule automobile.

La thèse de doctorat de l'université de Paris 6, soutenue le 2 avril 2004 par J. DOURET, propose une méthode de calibration sans mire, basée sur la détection sur la route de marquages au sol et sur une connaissance a priori des contraintes géométriques imposées à ces marquages (positions individuelles, espacement et/ou structure globale). Cette méthode s'avère complexe d'une part du fait que son application suppose de disposer dans le champ de vision d'un marquage ayant des caractéristiques prédéfinies et de codifier les contraintes géométriques imposées à un tel marquage, et d'autre part du fait qu'elle suppose d'une part de disposer d'une matérialisation de lignes par des marquages de la chaussée et d'autre part d'établir la correspondance entre les positions de plusieurs points de marquage, représentatifs des positions latérales et longitudinales des marquages, détectés respectivement dans une image droite et une image gauche.

L'invention vise donc à fournir un procédé de calibration d'un système de stéréovision destiné à être embarqué dans un véhicule automobile, qui permette d'obtenir une précision de calibration inférieure à 0,1 , qui soit simple et automatique, ne nécessitant notamment ni l'utilisation d'une mire, ni une intervention humaine, ni l'immobilisation du véhicule.

Dans ce but, l'invention a pour objet un procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile et comprenant au moins deux dispositifs d'acquisition d'image, dont un premier dispositif d'acquisition pour l'acquisition d'une première image dite "gauche" et un deuxième dispositif d'acquisition pour l'acquisition d'une deuxième image dite "droite", ledit procédé consistant à a) acquérir dans le premier dispositif d'acquisition et dans le deuxième dispositif d'acquisition, une image gauche, respectivement une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, b) déterminer l'erreur de calibration, c) effectuer une rectification des images gauche et droite à partir ladite erreur de calibration, remarquable en ce que l'étape b) dudit procédé consiste à b1) rechercher dans ladite image gauche et dans ladite image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, notamment des lignes de délimitation ou des lignes de marquage de la bande de roulement, b2) déterminer pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, b3) déterminer l'erreur de calibration en déterminant l'erreur de tangage et l'erreur de lacet sous la forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite, et en ce que ladite rectification desdites images gauche et droite est effectuée en fonction de ladite erreur de tangage et ladite erreur de lacet.

Par bande de roulement, on entend ici de manière large aussi bien la route elle-même (comprenant la chaussée et les bas-côtés), la chaussée uniquement ou une voie de roulement matérialisée sur une route à plusieurs voies.

Le procédé selon l'invention tire profit du fait qu'une bande de roulement comprend des lignes approximativement parallèles, soit des lignes de délimitation correspondant aux bords de la bande de roulement soit des lignes de marquages de la bande de roulement. En outre, contrairement à l'état de la technique présenté plus haut, les lignes de marquages ne doivent pas nécessairement être présentes ni présenter un espacement prédéfini. Enfin, la seule détermination des points de fuite dans l'image droite et dans l'image gauche permet de déterminer l'erreur de calibration, notamment l'erreur de tangage et l'erreur de lacet.

Selon un mode de réalisation particulièrement avantageux, l'erreur de tangage et l'erreur de lacet sont déterminées en supposant que l'angle de roulis est compris dans un intervalle prédéterminé, par exemple entre -5 et +5 .

Du fait que le procédé s'effectue sans intervention humaine, il peut s'effectuer sans surcoût de manière répétée, dès lors que le véhicule emprunte une voie de roulement suffisamment plane. De préférence le procédé sera effectué à intervalles de temps réguliers, selon une périodicité prédéterminée. En outre le procédé ne nécessite pas l'immobilisation du véhicule et est adapté pour s'effectuer pendant le déplacement du véhicule. Ceci garantit par exemple, qu'en cas de "décalibration" mécanique des caméras, la calibration peut s'effectuer à nouveau automatiquement et électroniquement dès lors que le véhicule emprunte à nouveau une voie de roulement suffisamment plane.

Selon un mode de réalisation particulièrement avantageux du procédé selon l'invention, le procédé consiste en outre: - à déterminer un encadrement des paramètres des équations des lignes de fuite déterminées pour l'image gauche et pour l'image droite; - à déterminer un encadrement des coordonnées des points de fuite de l'image gauche et de l'image droite à partir de l'encadrement des paramètres des équations des lignes de fuite, et - à déterminer un encadrement de l'erreur de tangage et de lacet à partir de l'encadrement des coordonnées du point de fuite.

D'autres avantages et particularités de l'invention apparaîtront à la lumière de la description qui va suivre. Dans les dessins auxquels il est fait référence: la figure 1 est un schéma simplifié d'un véhicule équipé d'un système de stéréovision, les figures 2a et 2b représentent des exemples d'images acquises par une caméra placée dans un véhicule en position sur une bande de roulement, les figures 3a, 3b et 3c sont une illustration géométrique en trois dimensions du modèle géométrique utilisé dans le procédé selon l'invention; les figures 4a et 4b illustrent le mode de calcul de certains paramètres utilisés dans le procédé selon l'invention, - la figure 5 est un organigramme simplifié du procédé selon l'invention.

Dans ce qui suit on considère comme illustré par la figure 1, un véhicule automobile V, vu de dessus, en mouvement ou à l'arrêt sur une bande de roulement B. La bande de roulement est supposée approximativement plane. Elle comporte donc des lignes approximativement parallèles, consistant soit en lignes de délimitation LB de la bande de roulement elle-même (ses bords droit et gauche) soit en lignes de marquage latérales L1, L2 ou centrales LM. Les lignes de marquage L1 et L2 délimitent la chaussée proprement dite, tandis que les lignes L1 et LM (ou L2 et LM) délimitent une voie de roulement sur cette chaussée. II est à noter qu'un marquage de la route n'est pas nécessaire pour l'exécution du procédé selon l'invention, dans la mesure où les bords LB de la route sont utilisables en tant que lignes parallèles, dès lors qu'ils sont suffisamment rectilignes et présentent un contraste suffisant par rapport à l'environnement immédiat de la route. En effet un contraste de luminosité ou un contraste colorimétrique même faible peut suffire pour rendre détectables ces bords sur une prise de vue de la route et de son environnement immédiat.

Le véhicule est équipé d'un système de stéréovision comportant deux caméras droite CD et gauche CG, placées à distance l'une de l'autre. Ces caméras sont typiquement des caméras CCD permettant de faire l'acquisition d'une image numérique. Les images sont traitées par un système central S de traitement et de calcul, en communication avec les deux caméras et recevant les images qu'elles numérisent. Les images gauche et droite sont tout d'abord, comme cela est usuel, transformées avec leurs paramètres de calibration intrinsèques pour se ramener au modèle trou d'épingle (ou pinhole en anglais) dans lequel un point de l'espace se projette sur le point du plan focal de la caméra qui correspond à l'intersection de ce plan focal avec la droite joignant le point de l'espace au centre optique de la caméra.

(Voir par exemple le chapitre 3 du document Computer Vision, A modern approach , de Forsyth et Ponce, aux éditions Prentice Hall). Les images peuvent ensuite faire l'objet après acquisition d'un filtrage ou d'un prétraitement, de manière par exemple à en améliorer le contraste ou la définition, ce qui facilitera l'étape ultérieure de détection des lignes de l'image.

Chaque caméra CD et CG placée dans le véhicule fait l'acquisition d'une image telle que celles représentées en figure 2a ou 2b. L'image 2a correspond à une situation où le véhicule emprunte une voie de roulement rectiligne. Dans cette image, les lignes L1 et L2 de marquage de la bande de roulement sont parallèles et convergent vers le point de fuite de l'image. L'image 2b correspond elle à une situation où le véhicule emprunte un virage en ville. Les lignes L1 et L2 détectables dans cette image sont de très courts segments de droite.

Le procédé selon l'invention sera maintenant décrit étape par étape par référence à la figure 5 en combinaison avec les figures 3a, 3b 3c et 4a, 4b illustrant chacune des aspects particuliers du procédé. Les étapes 610 à 640 sont effectuées exactement de la même manière sur l'image droite et sur l'image gauche, les étapes 650 à 670 utilisent les résultats obtenus aux étapes 610 à 640 en combinaison pour les deux images.

Détection de droites L'image acquise à l'étape 610 par la caméra droite CD et corrigée pour se ramener au modèle trou d'épingle pour cette caméra CD, ainsi que celle acquise par la caméra gauche CG, corrigée de la même manière, est ensuite soumise à une étape de détection 620 de lignes. Dans ce but on utilise de préférence une transformée de Hough ou une transformée de Radon. Toute autre méthode de détection de droites est également utilisable, par exemple par filtrage matriciel, seuillage et détection de gradients dans l'image. L'utilisation d'une transformée de Hough ou de Radon permet de déterminer les lignes présentes dans l'image et de déterminer en outre le nombre de points appartenant à ces lignes. En fonction du nombre de points trouvés, il est possible de déterminer si le véhicule est dans une situation de ligne droite ou dans un virage. Dans le premier cas un calibrage de la base stéréo pourra être effectué mais pas dans le second.

Lorsque ces lignes sont des droites, la transformée permet de déterminer en outre les coefficients des équations des droites avec une précision qui dépend de la paramétrisation de la transformée utilisée pour la détections des lignes.

On définit dans ce but pour l'image gauche acquise par la caméra gauche un repère affine orthonormé R,G= (0,G, ûG,l-';G), illustré à la figure 3a, dont l'origine O,G de coordonnées (u0, v0) est supposé situé au centre de la matrice d'acquisition (matrice CCD typiquement) de la caméra, et dont les vecteurs de base ûG et vG correspondent respectivement aux axes horizontal et vertical de la matrice. Les coordonnées (u0, v0) du repère R1G sont données ici en nombre de pixels par rapport à la matrice image de la caméra. De même pour l'image droite on définit un repère affine orthonormé Rip= (Oip, ûD, :VT[) ). On suppose ici par souci de simplification que les dimensions des deux matrices d'acquisition droite et gauche sont identiques. Les coordonnées (u0, v0) du centre de chaque matrice droite et gauche sont donc également identiques.

Dans un tel repère une droite a pour équation: (u uo)COS e (v vo)Sin e =w (1) où O et w sont les paramètres caractérisant la pente et l'ordonnée à l'origine de la droite.

Chaque équation de droite déterminée à l'aide de la transformée de Hough ou de Radon correspond donc à une valeur de O et une valeur de o. Selon la paramétrisation de la transformée utilisée, il est possible de déterminer pour chaque droite détectée un encadrement de ces deux valeurs de paramètres.

Pour la première droite LD1 de l'image droite correspondant à une droite L1 de la bande de roulement, on obtient les encadrements suivants pour les valeurs 0D1 et 0D1 de B et de w: et pour la deuxième droite LD2 de l'image droite correspondant à une droite L2 de la bande de roulement on obtient les encadrements suivants valeurs D2 et wD2 de B et de w: eD2min < BD2 < eD2max 25 wD2min < wD2 < WD2max De même, pour la première droite LG1 de l'image droite correspondant à la droite L1 de la bande de roulement, on obtient les encadrements suivants pour les valeurs OG1 et wG1 de O et de w: BGlmin <OGl < Glmax (6) wGlmin wGl < WGlmax (7) eDlmin GDI <BDlmax (2) wDlmin < Dl < wDlmax (3) (4) (5) Pour la deuxième droite LG2 de l'image droite correspondant à la droite L2 de la bande de roulement, on obtient les encadrements suivants pour les valeurs BG2 et wG2 de B et de w: BG2min < BG2 < BG2max (8) wG2min wG2 < wG2max (9) De manière à éliminer des situations du type de celle de la figure 2b où le véhicule emprunte une portion de voie non rectiligne et où les portions de droites détectées sont inappropriées à la détermination précise du point de fuite dans l'image, on ne retient que les droites de l'image pour lesquelles un nombre suffisant de points est obtenu. Une étape de test 630 est donc effectuée sur chacune des droites détectées afin d'éliminer les portions de droites comportant trop peu de points et de déterminer si pour au moins deux droites dans l'image le nombre de points est supérieur à un seuil. Ce seuil est fixé de manière empirique ou est le résultat d'expérimentations sur une succession d'images caractéristiques. Lorsque aucune droite ou portion de droite ne possède un nombre suffisant de points, les étapes suivantes du procédé ne sont pas effectuées et on revient à l'étape 610 d'acquisition d'image. Lorsqu'au moins deux droites possèdent un nombre suffisant de points, on ne retient dans chacune des images droites et gauche que deux droites, par exemple les deux droites possédant le plus de points dans chaque image puis on passe à l'étape suivante 640.

Détermination du point de fuite Pour chaque image droite et gauche on détermine les coordonnées du point de fuite, c'est-à-dire les coordonnées de l'intersection des deux droites retenues.

Sur la base des notations et équations précédemment définies, le point d'intersection de coordonnées (UDF, VDF) des droites LD1 et LD2 dans l'image droite est défini par les relations suivantes: COD2 Sin BD, r0DI sin BD2 cos BD, sin BD2 cos BD2 sin BDI wD2 COSBD, COD, COSBD2 vDF = VO + cos BD, sin 0D2 COS BD2 Sin BDI où BD, , wD, , BD, et wD2 varient respectivement dans les intervalles définis par les relations (2) à (5).

UDF = UO + (10) Des valeurs d'encadrement déterminées précédemment, on détermine donc par recherche du maximum et du minimum de UDF et VDF donnés par les relations (10) et (11) lorsque BD,' COD, , BD2 et 0D2 varient dans les intervalles définis par les relations (2) à (5), un encadrement des coordonnées (UDF, VDF) du point de fuite dans l'image droite sous la forme: UD min <UDF <UDmax uDmin < VDF < VDmax De même, le point d'intersection, de coordonnées (UGF, VGF), des droites LG1 et LG2 dans l'image gauche est défini par les relations suivantes: u + COG2 Sin 9G, CJG, Sin BG2 (14) GF u cos 9G, Sin 9G2 cos BG2 sin 9G, GJG2 cos 9G, COG, cos 9G2 VGF v + cos 9G, sin OG2 cos OG2 sin 9G, ou 9G, ' WG, BG2 et 0G2 varient dans les intervalles définis par les relations (6) à (9).

De même que pour l'image droite, on détermine pour les coordonnées (UGF, 15 VGF) du point de fuite de l'image gauche, un encadrement sous la forme: uGmin <UGF <UGmax uGmin VGF < vGmax La recherche d'un minimum ou d'un maximum s'effectue par exemple en faisant varier dans les différents intervalles les différents paramètres intervenant, par 20 exemple, par pas de 0,1 ou 0,05 unité pour 9 et w. D'autres techniques d'analyse mathématique sont bien entendu utilisables, notamment par calcul de dérivées.

Modèle géométrique Avant de procéder à la description de la détermination des erreurs de 25 calibration, le modèle géométrique utilisé va être décrit par référence aux figures 3a, 3b et 3c.

Le modèle géométrique utilisé est basé sur une pluralité de repères orthonormés directs qui sont définis dans l'espace à trois dimensions de la manière suivante: - soit OG, respectivement OD, le centre optique de la caméra gauche, respectivement le centre optique de la caméra droite; soit OS le milieu du segment [OG, OD] ; on note B la distance de OG à OD; (12) (13) (15) (16) (17) - soit RG = (OG, xG, .YG, ZG) le repère intrinsèque de la caméra gauche tel que UG et G, d'une part, et VG et ZG, d'autre part, sont colinéaires; la différence entre R1G et RG consiste en ce que dans RG les coordonnées sont données en unité métriques (m, mm, par exemple) et non en nombre de pixels; - soit Ro = (Os, ÏD, yD, ZD) le repère intrinsèque de la caméra droite; - soit RR = (OR, xR, YR, ZR) le repère dit de la route ou repère de la bande de roulement, le vecteur x'R étant parallèle aux droites LI et L2 appartenant au plan de la route, le vecteur R étant parallèle au plan de la route et perpendiculaire à la direction définie par:il? , et le point OR étant situé dans le plan de la route et à la verticale définie par ZR du point Os, de telle sorte que (18) - soit Rs = (Os, xs, Ys, Zs) le repère stéréo, le vecteur s étant colinéaire à la droite passant par les points OG, Os et Oo, et orienté du point Os vers le point OG, le vecteur xs étant choisi perpendiculaire à s et colinéaire au produit vectoriel des vecteurs ZG et ZD; On définit ensuite les matrices de changement de repère suivantes: - la transformée permettant de passer du repère RR au repère Rs, qui est la composition de 3 rotations d'angles respectifs axr, ayr, azr et d'axes respectifs xR, R, ZR, est définie par les angles {axr, ayr, azr} et correspond à la matrice MRsR de changement de repère suivante,: cosa}.r cosayr - cosay, sinayr smay,, MRsR = cosaC, sinaZ, +sinayr sinayr cosayr cosayr cosayr sinayr sinayr sina,r -sinayr cosayr sinayr sinayr cosayr sinayr cosaz, sinat, cosaZr +cosayr sinayr sin a_, cosayr cosayr (19) de telle sorte que les coordonnées (xs, Ys, zs) d'un point M dans Rs se calculent à 25 partir de ses coordonnées (xR, YR, ZR) dans RR de la manière suivante: - OROS = h ZR /xs xR Ys = MRsR YR \zS i ZR -h) - la transformée permettant de passer du repère Rs au repère RG, qui est la composition de 3 rotations d'angles respectifs Exg, Eyg, Ezg et d'axes respectifs.xG, G, zG, est définie par les angles { Exg, EY9, ezg} et correspond à la matrice MRGs de changement de repère suivante: cos e yg cos e,g MRGS = coseVg sinezg +sinsCg sineyg cosezg \sin exg sin ezg cos exg sin eyg cos ezg de telle sorte que les coordonnées (XG, YG, ZG) d'un point M dans RG se calculent à partir de ses coordonnées (xs, ys, zs) dans Rs de la manière suivante: xG xs YG =MRGS Ys B/2 (22) \ZG i \ Zs / - la transformée permettant de passer du repère Rs au repère RD, qui est la composition de 3 rotations d'angles respectifs Exd, Eyd, Ezd et d'axes respectifs ID, D, ZD, est définie par les angles { Exd, Eyd, EZd} et correspond à la matrice MRDS de changement de repère suivante: cos eyd cos s.d cos eyd sin ezd sin eyd MRDS = cos exd sin ezd +sin e.Xd sin eyd cos ezd cos ex,/ cos ezd Sm exd sin eyd sin ezd Sm exd cos eyd sin e Cd sin ezd cos eCd sin eyd cos ezd Sine,/ cos ezd + cos erd sin eyd sin ezd cos Cxd cos eyd (23) de telle sorte que les coordonnées (XD, YD, ZD) d'un point M dans Ro se calculent à partir de ses coordonnées (xs, Ys, zs) dans Rs de la manière suivante: r xD xs YD =MRDS Ys +B/2 \ZD / \ zs (20) coseygsin ezg cos e,g cos ezg sin exg sin s yg sin ezg sin s Tg cos 6zg + cos exg sin e yg sin e,g (21) smeyg sinergcoseyg COSeTg COSeyg (24) Par ailleurs, on déduit des relations (20) et (22) que les coordonnées (XG, YG, ZG) d'un point M dans RG se calculent à partir de ses coordonnées (XR, YR, ZR) dans RR de la manière suivante:

XG XR

= MRGSMRSR YR +MRGS \ZR h) YG \ZG (25) De même on déduit des relations (20) et (24) que les coordonnées (XD, YD, zo) d'un point M dans RD se calculent à partir de ses coordonnées (XR, YR, ZR) dans RR de la manière suivante: ( o

XR

=MRDSMRsR YR +MRDS % (26) \ZR h/ \ 0 i On pose par ailleurs, par définition des angles { Oxg, eyg, Ozg} de roulis, tangage et lacet apparents pour la caméra gauche par rapport au repère de la route: sine cose +cose sine sine yg g xg yg g (27) et par définition des angles { BXd, Byd, GZd} de roulis, tangage et lacet apparents pour la caméra droite par rapport au repère de la route: cos eyd cos eud cos 6yd sin 9, sin eyd MRDSMRsR = cos exd sin 9_d + sin eyd sin 6yd cos e_d cos eyd cos 0zd sin exd sin Byd sin 9_d sin exd cos 6yd \ sin exd sin 9_d cos eyd sin 9yd cos e_d sin exd cos ezd + cos exd sin eyd sin B_d cos exd cos eyd (28) En outre, étant donné que les paramètres de calibrage interne des caméras ont été utilisés à l'étape 610 pour se ramener au modèle trou d'épingle, les coordonnées (UG, vG) de la projection dans l'image gauche d'un point M de coordonnées (XG, YG, ZG) dans RG se calculent à partir de (XG, YG, ZG) de la manière suivante: (X

D

YD \ZD) / MRGSMRSR = cos6yg coseg cos6yg sine g cOSexg Sinezg +Slriexg Slrieyg COSeg cosexg coseg sineyg sineyg sinBg sine sine cose sine cose yg yg Cg yg zg sineyg sine cos6 yg yg COS& g cos6yg,, uG =uo - kufyG/xG (29) vG =vo-kfzG/xG (30) où ku est le nombre de pixels par mm dans l'image et f la focale de la caméra. Par souci de simplification, les focales et nombre de pixel par mm sont supposés ici 5 identiques pour les deux caméras.

Avec les mêmes hypothèses pour la caméra droite, les coordonnées (UD, VD) de la projection dans l'image droite d'un point M de coordonnées (XD, yp, z0) dans RD se calculent à partir de (x0, yo, ZD) de la manière suivante: uD=uo-k,fyo/xp (31) vD=vo-k fzo/xp (32) Détermination de l'erreur de tangage et de lacet Les erreurs de calibration, données en angle, relatives à la déviation de chacun des axes du repère de la caméra gauche ou droite par rapport au repère stéréo R3, sont notées respectivement EX9, EY9 et EZ9. Pour la caméra droite, ces mêmes erreurs sont notées respectivement EXd, Eyd et EZd. On s'intéresse, dans le cadre de cette invention, à déterminer l'erreur de calibration du système stéréoscopique sous forme d'erreur de tangage 4Ey, définie ici comme étant la différence intercaméras d'angle de tangage: AEy = EY9 Eyd (33) et sous forme d'erreur de lacet 4EZ, définie ici comme étant la différence intercaméras d'angle de lacet: DEz = Ezg Ezd (34) Ce sont ces deux erreurs qui ont la plus grande influence sur les erreurs de 25 mesure de distance et de déplacement des lignes épipolaires qui servent de base au processus de rectification.

Dans cette détermination de l'erreur de tangage et de lacet, on suppose que l'angle de roulis apparent de chaque caméra est faible, typiquement inférieur en valeur absolue à 5 . Cette hypothèse est sensée, dans la mesure où même dans un virage particulièrement serré, l'angle de roulis ne devrait pas dépasser 5 . En outre cette hypothèse permet comme cela va être décrit, de calculer les erreurs de tangage et de lacet apparentes, c'est-à-dire du plan de la route par rapport au repère de la caméra. Or les erreurs de tangage et de lacet apparentes varient peu avec l'angle de roulis apparent. Il en résulte qu'il est possible de déterminer avec une bonne précision les erreurs de tangage et de lacet apparentes à partir d'une connaissance approximative de l'angle de roulis.

La connaissance de l'erreur de tangage et de lacet DEy et DEZ permet de procéder à une rectification de l'image droite ou de l'image gauche, pour se ramener au cas d'un système de stéréovision bien calibré, c'est-à-dire tel que les axes des caméras droite et gauche soient parallèles. Ce processus de rectification consiste, de manière connue (voir par exemple le document déjà cité intitulé Computer Vision, A modern approach , Chapitre 11), à remplacer les images droite et gauche issues du système de stéréovision non calibré, par deux images droite et gauche équivalentes comprenant un plan d'image commun et parallèle à la ligne joignant les centres optiques des caméras. La rectification consiste usuellement à projeter les images originales dans un même plan d'image parallèle à la ligne joignant les centres optiques des caméras. Si l'on choisit un système de coordonnées de manière appropriée, les lignes épipolaires deviennent en outre par le procédé de rectification les lignes horizontales des images rectifiées et sont parallèles à la ligne joignant les centres optiques des caméras. Les images rectifiées sont utilisables dans un système de détection d'obstacles par stéréovision, qui généralement suppose et donc nécessite que les axes des caméras droite et gauche soient parallèles. En cas d'erreur de calibration, c'est- à-dire lorsque les axes des caméras ne sont plus parallèles, les lignes épipolaires ne correspondent plus aux lignes de l'image acquise, les mesures de distance sont erronées et la détection des obstacles devient impossible.

A partir de l'encadrement de la position du point de fuite dans l'image droite et dans l'image gauche, il est possible, comme cela va être démontré ci-après, de déterminer un encadrement de l'erreur de tangage DEy et l'erreur de lacet \EZ sous la forme: AEymin < AEy < AEymax et AEzmin < DEz < AEzmax On détermine cet encadrement pour une paire d'images droite et gauche à l'étape 650 avant de revenir à l'étape 610 d'acquisition d'image.

Selon un mode de réalisation particulièrement avantageux du procédé selon l'invention, on répète la détermination de l'encadrement de l'erreur de tangage DEy et l'erreur de lacet oEZ pour une pluralité d'images. Puis, on détermine à l'étape 660 pour cette pluralité d'images la valeur minimale (ou borne inférieure) des valeurs obtenues (35) (36) pour chacune des images pour DEymax et DEzmax, ainsi que la valeur maximale (ou borne supérieure) des valeurs obtenues pour AEymin et AEzminÉ On obtient alors au final un encadrement plus précis sous la forme: max { DEyrnin} < 4Ey <min { AEymax} (37) et max { AEzmin} < DEz < min { DEzmax} (38) où les fonctions min et max sont déterminées pour ladite pluralité d'images. Les figures 4a et 4b illustrent comment varient oEymin, respectivement AEzmin, (données en ) pour une succession d'images et comment se déduisent les valeurs minimales et maximales déterminées pour cette pluralité d'images. Il s'avère que l'encadrement obtenu de cette manière est suffisamment précis pour permettre la rectification des images saisies et l'utilisation des images ainsi rectifiées par le processus selon l'invention dans un processus de détection d'obstacle. II a été vérifié notamment qu'en choisissant des pas de 0,5 et de 1 pixel pour la transformée de Hough, on obtient un encadrement de DEy à 0,15 près et un encadrement de Ac, à 0,1 près.

Dans une étape finale 670, les erreurs de tangage et de lacet obtenues à l'étape 660 ou 650 sont utilisées pour effectuer la rectification des images droite et gauche.

Dans la suite, la méthode de détermination des encadrements des relations (35) et (36) va être expliquée. II est à noter que les étapes décrites ciaprès visent principalement à illustrer la méthode d'approximation. D'autres modèles ou équations mathématiques peuvent être utilisés, puisque, à partir d'un certain nombre d'approximations et d'hypothèses réalisées de manière appropriée, on obtient un nombre d'inconnues et un nombre de relations mathématiques tels que la détermination de l'erreur de tangage 4Ey et l'erreur de lacet Ac, est possible à partir des seules coordonnées des points de fuite de l'image droite et gauche.

Les angles { Exg, EYg, Ez9} et { Exd, Eyd, Ezd} étant supposé petits, typiquement inférieurs à 1 , on peut écrire avec une bonne approximation des relations (21) et (23): ( 1 E,g Eyg MRGS = E,g 1 ce \ Eyg Ezg 1 (39) et (40) MRos = On détermine à partir des matrices MRGS, MRDs et MRsR la matrice AMR telle AMR = (MR GS - MR DS)MR SR Le coefficient de la première ligne, deuxième colonne de cette matrice AMR est L MR(1,2) _ -(cos a,r cos ai,. -sinar, sin a),, sin ajAe, + (sin a v. cos aZ, + cos a, sin ay,. sin azr)Aey (41) et le coefficient de la première ligne, troisième colonne de cette matrice AMR est AMR(1,3) = sin axr cos ayrLsz + cos axr cos ayrAsy (42) En supposant les angles {axr, ayr, azr} suffisamment petits, inférieurs typiquement à 5 , on peut écrire: OMR(1,2) -oe. (43) AMR(1,3) osy (44) On obtient ainsi par combinaison des relations (43) et (44) avec les relations (27) et (28) une approximation de l'erreur de tangage et de lacet sous la forme: Aey sin 9yg - sin 9yd (45) Os, - cos 0yg sin OZg + cos Byd sin 9 r (46) A partir des relations (25) et (27), on calcule le rapport Y en fonction de (XR, xc yR, ZR) pour un point M de coordonnées (xR, yR, ZR) appartenant à une droite dans le plan de la route, parallèle au lignes de marquage LI et L2, d'équation zR=O, yR= a et XR quelconque. En faisant tendre XR vers l'infini, on détermine la limite du rapport yO xc qui correspond à la valeur du rapport Yc déterminé au point de fuite (uG= UGF,

XG

VG=VGF, XG= XGF, YG= YGF, ZG= ZGF) de l'image gauche. Par comparaison de cette limite que: 5 15 20 avec l'application des relations (29) et (30) aux coordonnées du point de fuite, on en déduit les relations suivantes: _ YGF = u0 uGF = COSOxgSin9zg + SinOxgSinOygCos9zg f,g xGF, J Cos9ygCosBZg et zGF Vo VGF Sin8xgSinGZg Cos8xgSinOygCosGZg fvg = = xGF k f Cos Oyg Cos OZg On déduit des relations (47) et (48), les valeurs de Oyg et Ozgen fonction de fug et tg et de 0xg: Oyg = Atan( fugSinOxg + fygCosOxg) 0,g = Atan{ CosOyg*(fug - SinOxgTanOyg)ICosOxg} De la même manière pour l'image droite, on obtient pour le point de fuite de l'image droite les relations suivantes: fYDF u0 uDF CosOxdSinOzd + SlnOxdSinûydCos0Zd!d xDF kuJ COSBydCOSOzd 15 et { = ZDF _ V0 VDF = Sin0xdSin0zd Cos6xdSinOydCosOzd (52) J vd xDF kvf Cos0ydCos0,d et on déduit des relations (51) et (52), les valeurs de Oyd et Ozd en fonction de fud et f d et de 0xd.

Oyd = Atan( fudSinOxd + f dCosOxd) (53) Ozd = Atan{ CosOyd*(fud SinOxdTanOyd)/CosOxd} (54) En résumé, l'erreur de tangage et de lacet sont telles que (55) Aey sinByg sin0 As cos 0yg sin zg + cos Byd sin Ozd (56) où : Oyg = Atan(fugSinOxg + f gCosOxg) (57) OZg = Atan{ CosOyg*(fug SinOxgTanOyg)/Cosexg} (58) Oyd = Atan(fudSinexd + f dCosOxd) (59) 0Zd = Atan{ CosOyd*(fud - SinOxdTanOyd)/CosOxd} (60) avec: 10 (49) (50) (47) (48) (51) U0 UDF f,d= kuf.

fvd = kv f fug = k f fvg = V OkvV F (64) Pour déterminer les encadrements de l'erreur de tangage et de lacet selon les relations (25) et (26), on détermine les valeurs minimales et maximales de Dey et AE lorsque 6x9 et 6xd varient dans un intervalle prédéterminé [-A, A], par exemple [-5 +5 ] et que UDF, VDF, uGF et vGF varient dans les intervalles définis par les relations (12), (13), (16), (17). Toute méthode mathématique de recherche de minimum et de maximum est dans ce but appropriée. La plus simple consiste à faire varier par pas suffisamment fin les différents paramètres dans les intervalles donnés respectivement et ne retenir que le minimum ou le maximum de la fonction chaque fois étudiée.

Il est à noter que dans les relations (55) à (64), les coordonnées des origines des différents repères affines orthonormés ou leurs positions relatives n'interviennent pas. La détermination de l'erreur de tangage et de lacet par le procédé selon l'invention est donc indépendante de la position de la voiture sur la bande de roulement.

VO-VDF

Uo UGF (61) (62) (63)

Claims (1)

18 REVENDICATIONS

1. Procédé de calibration automatique d'un système de stéréovision destiné à être embarqué dans un véhicule automobile et comprenant au moins deux dispositifs d'acquisition d'image, dont un premier dispositif d'acquisition pour l'acquisition d'une première image dite "gauche" et un deuxième dispositif d'acquisition pour l'acquisition d'une deuxième image dite "droite", ledit procédé consistant à, a) acquérir dans le premier dispositif d'acquisition et dans le deuxième dispositif d'acquisition, une image gauche, respectivement une image droite, d'une même scène comportant au moins une bande de roulement pour ledit véhicule, b) déterminer l'erreur de calibration, c) effectuer une rectification des images gauche et droite à partir de ladite erreur de calibration, caractérisé en ce que l'étape b) dudit procédé consiste à b1) rechercher dans ladite image gauche et dans ladite image droite, au moins deux lignes de fuite correspondant à deux lignes droites et sensiblement parallèles de la bande de roulement, notamment des lignes de délimitation ou des lignes de marquage de la bande de roulement, b2) déterminer pour l'image gauche et pour l'image droite, les coordonnées du point d'intersection desdites au moins deux lignes de fuite respectivement détectées, b3) déterminer l'erreur de calibration en déterminant l'erreur de tangage et l'erreur de lacet sous la forme de la différence intercaméra d'angle de tangage, respectivement d'angle de lacet à partir desdites coordonnées des points d'intersection déterminés pour l'image gauche et pour l'image droite, et en ce que ladite rectification desdites images gauche et droite est effectuée en fonction de ladite erreur de tangage et ladite erreur de lacet.

2. Procédé selon la revendication 1 caractérisé en ce que l'étape b3) consiste en outre à déterminer un premier encadrement entre une valeur minimale et une valeur maximale de la valeur de l'erreur de tangage et de l'erreur de lacet.

3. Procédé selon la revendication 1 ou 2 caractérisé en ce qu'il consiste en outre à répéter les étapes a, b1, b2, b3 pour une pluralité d'images gauches et droites, et à déterminer un deuxième encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet à partir desdits premiers encadrements obtenus pour ladite pluralité d'images gauches et droites.

4. Procédé selon la revendication 3 caractérisé en ce que ledit deuxième encadrement comprend la valeur maximale de l'ensemble des valeurs minimales obtenues pour ledit premier encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet, et la valeur minimale de l'ensemble des valeurs maximales obtenues pour ledit premier encadrement de la valeur de l'erreur de tangage et de l'erreur de lacet.

5. Procédé selon l'une quelconque des revendications 1 à 4 caractérisé en ce que l'étape b1) consiste en outre à déterminer un encadrement des paramètres des équations desdites lignes de fuite pour l'image gauche et pour l'image droite.

6. Procédé selon la revendication 5 caractérisé en ce que l'étape b2) consiste en outre à déterminer un encadrement des coordonnées des points de fuite de l'image gauche et de l'image droite à partir de l'encadrement obtenu à l'étape b1).

7. Procédé selon la revendication 6 caractérisé en ce que l'étape b3) consiste en outre à déterminer un encadrement de l'erreur de tangage et de l'erreur de lacet à partir de l'encadrement obtenu à l'étape b2).

8. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que l'étape b3) s'effectue en supposant que l'angle de roulis pour les caméras droite et gauche est compris dans un intervalle prédéterminé, notamment inférieur en valeur absolue à 5 , et en déterminant l'erreur maximale et minimale l'erreur de tangage et de l'erreur de lacet obtenue lorsque l'angle de roulis varie dans un tel intervalle.

9. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que l'étape b3) s'effectue en supposant que les erreurs de tangage et du lacet sont faibles, notamment inférieures en valeur absolue à 1 .

10. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que lesdites lignes de fuites sont détectées à l'aide d'une transformée de Hough.

11. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce que lesdites lignes de fuites sont détectées à l'aide d'une 30 transformée de Radon.

12. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comprend en outre une étape consistant à corriger lesdites images droites et gauches après acquisition pour se ramener au modèle trou d'épingle pour lesdits premier et deuxième dispositifs d'acquisition d'image.

13. Procédé selon l'une quelconque des revendications précédentes caractérisé en ce qu'il consiste en outre à n'effectuer les étapes b2) et b3) que lorsque le nombre de points appartenant à chacune desdites lignes de fuite détectées à l'étape b1) est supérieur à une valeur de seuil prédéterminée.