WO2018138064A1 - Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images - Google Patents
Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images Download PDFInfo
- Publication number
- WO2018138064A1 WO2018138064A1 PCT/EP2018/051500 EP2018051500W WO2018138064A1 WO 2018138064 A1 WO2018138064 A1 WO 2018138064A1 EP 2018051500 W EP2018051500 W EP 2018051500W WO 2018138064 A1 WO2018138064 A1 WO 2018138064A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- images
- pyramid
- camera
- hom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
Definitions
- the present invention relates generally to motor vehicles, and more specifically to a method and a system for detecting obstacles in the environment of a motor vehicle, from images captured by a camera on board said motor vehicle.
- Obstacle detection in the immediate environment of a motor vehicle with autonomous driving or equipped with driver assistance systems is crucial to prevent dangerous situations .
- Obstacles may include other motorized vehicles, static or mobile, which may present a particular hazard, or pedestrians. It is easy to understand that the detection of these obstacles, including the determination of their positions, and even their relative speeds in the case of third-party vehicles, must not only be precise but also carried out in real time so that the assistance systems can react. quickly in a suitable way.
- a specific object for example a pedestrian.
- shape recognition algorithms are used whose purpose is to discriminate the shape of the pedestrians with respect to the rest.
- a The first phase involves the construction of a training base to capture the diversity of pedestrian appearance.
- the training base must be the largest and most varied possible to best match the large number of situations that can be encountered by the detection module.
- the detection phase consists of scanning the image over overlapping scan areas and then comparing their contents with the model. If at a given point, the image is sufficiently close to the model, then the detection module indicates the presence of a pedestrian.
- a classic method known as the method of Viola and Jones, is to test the presence of a pedestrian in a window or thumbnail fixed size, for example 24 by 48 pixels, at all possible positions in the image and for several scales of the image. The test consists of generating a descriptor vector for each position of the window and comparing them with the descriptors learned on the training basis.
- a pyramid of images is generated, each stage or image of the image pyramid corresponding to a scale different from the image or from at least one region of interest in the image. 'picture.
- the method typically involves scanning images in the image pyramid, moving the fixed-size window a certain number of pixels at a time.
- the classifier combined with the training base comprising pedestrian samples and background samples, will process the different descriptor vectors obtained at each position of the sliding window to identify the areas actually corresponding to a pedestrian compared to a model. learned.
- the result is issued by the classifier in the form an enclosing box, usually rectangular in shape, by pedestrian detected.
- the dimensions and / or the vertical position of the bounding box relating to a detected pedestrian are then used to estimate the distance to which the pedestrian is in relation to the vehicle.
- Such a method is for example implemented by Adaboost type rapid detectors.
- the results of rapid detection are then generally refined and validated by more efficient classifiers.
- the previous algorithm described in the context of pedestrian detection, can also be used for the detection of other types of obstacles such as third-party vehicles.
- the treatment comprises a first 10 of image correction step to take into account on the one hand, optical distortions introduced by the camera, and secondly, deformations (appearance defects) of the obstacle to be detected due to the position and orientation of the camera on the vehicle.
- the correction consists in applying a global transformation to each pixel of an image Im F R captured by a camera according to the optical distortion parameters both intrinsic to the camera and related to its position and orientation on the vehicle.
- a correction table is thus defined and stored for a given camera.
- the global transformation consists in determining a two-dimensional displacement of each pixel in the image, and results from the combination of two transformations, a first transformation dedicated to the only correction of the optical distortions introduced by the camera, independent of the positioning of the camera on the vehicle, and a second so-called homographic transformation, to correct the appearance defects related to the positioning of the camera on the vehicle.
- the method then continues by applying the corrected image Im F R_ C or a conventional algorithm (step 20) comprising:
- step 21 the generation (step 21) of a pyramid P of images from at least one region of interest in the corrected image IrriFR cor, each image of the pyramid P of images corresponds to a scale different from the area of interest; the scanning (step 22) by a sliding window W of all the images of the pyramid P of images for generating, for each position of the sliding window, a descriptor relating to the pyramid P of images; and
- step 23 the classification (step 23) of each descriptor obtained at step 22 to determine possible candidates representative of a potential presence of obstacles.
- a disadvantage of the process of FIG. 1 lies essentially in the manner of correcting the image. Indeed, as indicated above, a single global transformation is applied to the image, combining the first transformation and the second homographic transformation. However, the second homographic transformation is uniquely determined for a mean distance between a potential obstacle and the camera. As a result, the correction performed is unsatisfactory for obstacles that would be at distances below or above this average distance, which can distort the results of obstacle detection.
- the invention aims to overcome the above disadvantage.
- the invention relates to a method for detecting obstacles in the environment of a motor vehicle, from images captured by a camera on board said motor vehicle, the method comprising the application of an algorithm for obstacle detection by pattern recognition and automatic learning in which a plurality of image descriptors are generated by the at least partial scanning, by a sliding window, of a plurality of images of a pyramid of images, each image of the image pyramid corresponding to a different scale of at least one area of interest of a captured image, then classification of the image descriptors is carried out in order to determine possible candidates representative of a potential presence of obstacles, the method being characterized in that each image of the image pyramid is further generated from said at least one region of interest corrected by ins according to a first homographic transformation according to the scale of the image, to correct perspective deformations related to the positioning of the camera on said vehicle.
- the method according to the invention may have one or more additional characteristics among the following
- each image of the image pyramid can advantageously be generated from said at least one zone of interest further corrected according to a second transformation capable of eliminating optical distortions intrinsic to the camera;
- the first homographic transformation and the second transformation are preferably applied simultaneously to the at least one zone of interest at the time of generation of said pyramid of images.
- the second transformation is applied directly to the image captured by the camera, before the generation of said pyramid of images.
- the invention also relates to an obstacle detection system in the environment of a motor vehicle, from images captured by a camera on board said motor vehicle, said system said system comprising a module configured to implement a pattern recognition obstacle detection algorithm and automatic learning in which a plurality of image descriptors are generated by at least partially scanning, by a sliding window, a plurality of images of a pyramid of images , each image of the image pyramid corresponding to a scale different from at least one area of interest of a captured image, then a classification of the image descriptors is carried out in order to determine possible candidates representative of a potential presence of obstacles, characterized in that said module is further able to generate each image of the pyramid of images from said at least one an area of interest corrected at least according to a first homographic transformation according to the scale of the image, for correcting perspective distortions related to the positioning of the camera on said vehicle
- FIG. 1 gives the steps of a conventional image processing method for classification and detection of obstacles
- FIG. 2 illustrates an exemplary architecture of an on-vehicle system implementing an obstacle detection method present at the front of a vehicle, according to the invention
- FIG. 3 illustrates a processing method implementing the obstacle detection from images according to the invention.
- an exemplary detection system uses the images captured by a camera 2 F R on a motor vehicle 1.
- the camera 2 F R is located at the front of the vehicle 1, so as to capture images on a front zone Z FR .
- the invention is applicable of course for other positions and camera observation areas.
- a "fisheye" type camera with an observation angle greater than 180 ° is used. Nevertheless, the principles of the invention that will be discussed later are valid regardless of the type of camera used.
- Images Im R F captured by the camera 2 EN are supplied for processing to a module 3 for detecting obstacles embedded in the motor vehicle 1, which implements the particular steps of the method according to the invention.
- a correction of each image is also carried out beforehand to take account of optical distortions.
- introduced by the camera as well as the perspective deformation related to the positioning, in particular to the orientation, of the camera on the vehicle, by applying a single global transformation combining a first transformation and a second homographic transformation, the latter being determined from unique way for a medium distance between a potential obstacle and the camera.
- the invention proposes to take advantage of the fact that the pyramid P of images generated for object classification comprises n stages, each stage i (i being an integer varying from 1 to n) corresponding to a predetermined scale Ej of the captured image Im F R (or at least one region of interest in this image), which scale can in turn be mapped to a distance d, with respect to the camera 2 F R.
- the invention therefore proposes to determine beforehand, for each possible scale E ,, and consequently for each associated distance d, a specific homographic transformation which thus makes it possible to correct very precisely the perspective deformations due to the positioning of the camera 2 on the vehicle 1.
- a specific homographic transformation which thus makes it possible to correct very precisely the perspective deformations due to the positioning of the camera 2 on the vehicle 1.
- FIG. 3 illustrates, in the form of a simplified block diagram, various steps that can be implemented in an obstacle detection method according to the invention.
- the parts represented on the left of the line L correspond to steps of pre-calculation and storage in the onboard system 3 of various parameters and tables characterizing the system, these steps being able to be carried out even before the detection system actually equips the motor vehicle, while the parts to the right of line L illustrate an example of in-situ processing of Im FR images captured by the front 2 FR camera.
- Step 10 of FIG. 3 groups together the calculation of at least one correction table T op t t and its storage for later use in image processing.
- This correction table T opt corresponds to the first transformation, that is to say that dedicated to the only correction of optical distortions specific intrinsic optical parameters (focal, projection center, field of view ).
- Each value of this correction table T opt corresponds to the two-dimensional displacement that must be applied to each pixel defined by its coordinates ⁇ x, y ⁇ in an image to obtain new coordinates ⁇ x C or_opt, y ⁇ r_opt ⁇ representative of the correction performed.
- Step 15 of FIG. 3 gathers the establishment and storage of n correction tables Thom (di), Th 0 m (d2), ... Th 0 m (d n ), corresponding to the homographic transformations. that it is appropriate to apply for each distance di to d n to correct the perspective defects related exclusively to the position and the orientation of the camera on the vehicle.
- each distance d corresponds to a scale Ej of the pyramid of images P.
- each value of the correction table T hom (di) corresponds to the two-dimensional displacement that must be applied to each pixel defined by its coordinates ⁇ x, y ⁇ in an image taken at scale E i to obtain new coordinates x C or_hom, ycor_hom ⁇ representative of the correction made;
- each value of the correction table T hom (d 2 ) corresponds to the two-dimensional displacement that must be applied to each pixel defined by its coordinates ⁇ x, y ⁇ in an image taken at the scale E 2 for obtain new coordinates x C or_hom, ycor_hom ⁇ representative of the correction made,
- the correction tables T hom (di), T h0 m (d 2) - - - hom (dn) pre established in step 15 are used here to generate, at the time of step 21, each image (floor) of the image pyramid P.
- each image of the P pyramid is directly generated with a correction at least by first homographic transformation (T hom (di), h om (d2) - - - h0 m (dn)) according to the scale of the image, for correcting perspective distortions related to the positioning of the camera on said vehicle.
- first homographic transformation T hom (di), h om (d2) - - - h0 m (dn)
- the correction related to optical distortions is also simultaneously combined, by using the table T op t pre-established in step 10.
- the fact of combining the two corrections at the time of generation of the pyramid P of images is nevertheless advantageous in terms of calculation costs.
- the pyramid of images is often generated from regions of interest inside an image so that the necessary calculations can be limited to the size of these regions of interest.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
L'invention concerne un procédé de détection d'obstacles dans l'environnement d'un véhicule automobile, à partir d'images capturées par une caméra (2FR) embarquée sur ledit véhicule, le procédé comportant l'application d'un algorithme (20) de détection d'obstacles dans lequel on génère (22) une pluralité de descripteurs d'images par le balayage au moins partiel, par une fenêtre glissante (W), d'une pluralité d'images d'une pyramide (P) d'images, chaque image de la pyramide (P) d'images correspondant à une échelle différente d'au moins une zone d'intérêt d'une image (ImFR) capturée, puis on effectue une classification (23) des descripteurs d'images pour déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles. Le procédé est caractérisé en ce que chaque image de la pyramide (P) est en outre générée (21) à partir de ladite au moins une zone d'intérêt corrigée au moins selon une première transformation homographique (Thom(d1), Thom(d2)...Thom(dn)) fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule.
Description
DETECTION D'OBSTACLES DANS L'ENVIRONNEMENT D'UN VEHICULE AUTOMOBILE PAR TRAITEMENT D'IMAGES
La présente invention concerne de manière générale les véhicules automobiles, et plus précisément un procédé et un système de détection d'obstacles dans l'environnement d'un véhicule automobile, à partir d'images capturées par une caméra embarquée sur ledit véhicule automobile.
La détection d'obstacles dans l'environnement immédiat d'un véhicule automobile à conduite autonome ou équipé de systèmes d'assistance à la conduite (ou ADAS, initiales anglo-saxonnes mises pour Advanced Driver Assistance System) est cruciale pour prévenir des situations dangereuses. Les obstacles peuvent être notamment d'autres véhicules motorisés, statiques ou mobiles, pouvant présenter un danger particulier, ou bien des piétons. On comprend aisément que la détection de ces obstacles, incluant la détermination de leurs positions, voire de leurs vitesses relatives dans le cas de véhicules tiers, doit être non seulement précise mais menée en outre en temps réel pour que les systèmes d'assistance puissent réagir rapidement de façon adaptée.
On connaît déjà de nombreux systèmes réalisant des détections et classifications d'obstacles, tels que des véhicules motorisés ou des piétons, à partir d'images capturées par des caméras, en particulier soit une caméra frontale et une caméra arrière, soit des caméras latérales embarquées sur le véhicule automobile.
Parmi les algorithmes de vision connus permettant de détecter des objets dans des images, on connaît notamment ceux reposant sur la reconnaissance d'objets par apprentissage automatique, telles que les méthodes SVM (initiales anglo-saxonnes mises pour Support Vector machine) ou Adaboost. L'approche utilisée dans la reconnaissance consiste à apprendre puis à retrouver dans l'image, l'allure générale d'un objet déterminé, par exemple un piéton. Pour réaliser par exemple un module de détection de piéton, on utilise des algorithmes de reconnaissance de formes dont le but est de discriminer la forme des piétons par rapport au reste. Concrètement, une
première phase consiste à la construction d'une base d'entraînement pour capturer la diversité d'apparence des piétons. La base d'entraînement doit être la plus grande et la plus variée possible pour correspondre au mieux au grand nombre de situations pouvant être rencontrées par le module de détection. Puis, un algorithme d'apprentissage va étudier et dégager des propriétés de cette base pour créer un modèle représentant une frontière permettant la classification piéton/reste. Un classifieur s'appuie ensuite sur ce modèle pour différencier les éléments des deux groupes. Une fois le classifieur construit, la phase de détection consiste à balayer l'image sur des zones de scan qui se recouvrent, puis à comparer leur contenu avec le modèle. Si en un point donné, l'image est suffisamment proche du modèle, alors le module de détection indique la présence d'un piéton.
Les algorithmes mis en œuvre dans une détection de piétons par reconnaissance de formes sont généralement très complexes compte tenu notamment de la très grande diversité entre les personnes (taille, poids, vêtements, postures...). Ces algorithmes de reconnaissance de formes sont souvent basés sur l'utilisation de descripteurs fournis en entrée du classifieur Une méthode classique, connue sous le nom de la méthode de Viola et Jones, consiste à tester la présence d'un piéton dans une fenêtre ou imagette de taille fixe, par exemple de 24 sur 48 pixels, à toutes les positions possibles dans l'image et pour plusieurs échelles de l'image. Le test consiste à générer un vecteur de descripteurs pour chaque position de la fenêtre et à les comparer avec les descripteurs appris sur la base d'entraînement. Plus précisément, pour chaque image capturée par une caméra, on génère une pyramide d'images, chaque étage ou image de la pyramide d'images correspondant à une échelle différente de l'image ou d'au moins une région d'intérêt dans l'image. La méthode consiste typiquement à balayer les images de la pyramide d'images, en déplaçant la fenêtre de taille fixe d'un certain nombre de pixels à la fois. Le classifieur, combiné à la base d'entraînement comportant des échantillons de piétons et des échantillons de fond, va traiter les différents vecteurs de descripteurs obtenus à chaque position de la fenêtre glissante pour identifier les zones correspondant effectivement à un piéton par rapport à un modèle appris. Le résultat est délivré par le classifieur sous forme
d'une boîte englobante, généralement de forme rectangulaire, par piéton détecté. Les dimensions et/ou la position verticale de la boîte englobante relative à un piéton détecté sont alors utilisées pour estimer la distance à laquelle se situe le piéton par rapport au véhicule. Une telle méthode est par exemple implémentée par des détecteurs rapides de type Adaboost. Les résultats de la détection rapide sont ensuite généralement affinés et validés par des classifieur plus performants.
L'algorithme précédent, décrit dans le cadre de la détection de piétons, peut également être utilisé dans le cadre de la détection d'autres types d'obstacles tels que des véhicules tiers.
Pour résumer ce qui précède, un procédé classique de traitement d'images ImFR issues d'une caméra est représenté sur la figure 1. Le traitement comporte au préalable une étape 10 de correction d'image pour tenir compte d'une part, des distorsions optiques introduites par la caméra, et d'autre part, des déformations (défauts d'apparence) de l'obstacle à détecter dues à la position et l'orientation de la caméra sur le véhicule. La correction consiste à appliquer une transformation globale à chaque pixel d'une image ImFR capturée par une caméra en fonction des paramètres de distorsions optiques à la fois intrinsèques à la caméra et liés à sa position et orientation sur le véhicule. Une table de correction est ainsi définie et mémorisée pour une caméra donnée. La transformation globale consiste à déterminer un déplacement à deux dimensions de chaque pixel dans l'image, et résulte de la combinaison de deux transformations, une première transformation vouée à la seule correction des distorsions optiques introduites par la caméra, indépendante du positionnement de la caméra sur le véhicule, et une deuxième transformation dite homographique, pour corriger les défauts d'apparence liés au positionnement de la caméra sur le véhicule. Le procédé se poursuit alors en appliquant à l'image corrigée ImFR_Cor un algorithme classique (étape 20) comprenant :
- la génération (étape 21) d'une pyramide P d'images à partir d'au moins une région d'intérêt dans l'image corrigée IrriFR cor, chaque image de la pyramide P d'images correspond à une échelle différente de la zone d'intérêt;
- le balayage (étape 22) par une fenêtre glissante W de l'ensemble des images de la pyramide P d'images pour générer, pour chaque position de la fenêtre glissante, un descripteur relatif à la pyramide P d'images ; et
- la classification (étape 23) de chaque descripteur obtenu à l'étape 22 pour déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles.
Un inconvénient lié au procédé de la figure 1 réside essentiellement dans la manière de corriger l'image. En effet, comme indiqué précédemment, une unique transformation globale est appliquée à l'image, combinant la première transformation et la deuxième transformation homographique. Or, la deuxième transformation homographique est déterminée de façon unique pour une distance moyenne entre un obstacle potentiel et la caméra. Il en résulte que la correction effectuée est insatisfaisante pour des obstacles qui se trouveraient à des distances en-deçà ou au-delà de cette distance moyenne, ce qui peut fausser les résultats de détections d'obstacles.
La présente invention a pour but de pallier l'inconvénient précédent. Pour ce faire, l'invention a pour objet un procédé de détection d'obstacles dans l'environnement d'un véhicule automobile, à partir d'images capturées par une caméra embarquée sur ledit véhicule automobile, le procédé comportant l'application d'un algorithme de détection d'obstacles par reconnaissance de formes et apprentissage automatique dans lequel on génère une pluralité de descripteurs d'images par le balayage au moins partiel, par une fenêtre glissante, d'une pluralité d'images d'une pyramide d'images, chaque image de la pyramide d'images correspondant à une échelle différente d'au moins une zone d'intérêt d'une image capturée, puis on effectue une classification des descripteurs d'images en vue de déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles, le procédé étant caractérisé en ce que chaque image de la pyramide d'images est en outre générée à partir de ladite au moins une zone d'intérêt corrigée au moins selon une première transformation homographique fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule.
Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes :
- chaque image de la pyramide d'images peut être avantageusement générée à partir de ladite au moins une zone d'intérêt corrigée en outre selon une deuxième transformation apte à supprimer des distorsions optiques intrinsèques à la caméra ;
- la première transformation homographique et la deuxième transformation sont appliquées de préférence simultanément à ladite au moins une zone d'intérêt au moment de la génération de ladite pyramide d'images.
- en variante, la deuxième transformation est appliquée directement sur l'image capturée par la caméra, avant la génération de ladite pyramide d'images.
L'invention a également pour objet un système de détection d'obstacles dans l'environnement d'un véhicule automobile, à partir d'images capturées par une caméra embarquée sur ledit véhicule automobile, ledit système ledit système comportant un module configuré pour implémenter un algorithme de détection d'obstacles par reconnaissance de formes et apprentissage automatique dans lequel on génère une pluralité de descripteurs d'images par le balayage au moins partiel, par une fenêtre glissante, d'une pluralité d'images d'une pyramide d'images, chaque image de la pyramide d'images correspondant à une échelle différente d'au moins une zone d'intérêt d'une image capturée, puis on effectue une classification des descripteurs d'images en vue de déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles, caractérisé en ce que ledit module est en outre apte à générer chaque image de la pyramide d'images à partir de ladite au moins une zone d'intérêt corrigée au moins selon une première transformation homographique fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule
L'invention sera mieux comprise à la lecture de la description qui suit, faite en référence aux figures annexées, dans lesquelles :
- la figure 1 donne les étapes d'un procédé classique de traitement d'images pour une classification et une détection d'obstacles ;
- la figure 2 illustre un exemple d'architecture d'un système embarqué sur un véhicule implémentant un procédé de détection d'obstacles présents à l'avant d'un véhicule, conforme à l'invention ;
- la figure 3 illustre un procédé de traitement mettant en œuvre la détection d'obstacles à partir d'images selon l'invention.
En référence à la figure 2, un exemple de système de détection conforme à l'invention utilise les images capturées par une caméra 2FR embarquée sur un véhicule automobile 1. Dans cet exemple, la caméra 2FR est située à l'avant du véhicule 1, de manière à capturer des images sur une zone avant ZFR. L'invention est applicable bien entendu pour d'autres positions et zones d'observation de caméra.
Dans un mode préférentiel de réalisation, on utilise une caméra de type « fisheye », avec un angle d'observation supérieur à 180°. Néanmoins, les principes de l'invention qui vont être exposés dans la suite sont valables quel que soit le type de caméra utilisée.
Les images ImFR capturées par la caméra 2FR sont fournies pour traitement à un module 3 de détection d'obstacles embarqué dans le véhicule automobile 1 qui implémente notamment les étapes du procédé selon l'invention.
Comme cela a été explicité ci-avant, il est connu de détecter des obstacles par un traitement des images capturées, et plus précisément par l'application d'un algorithme de détection d'obstacles par reconnaissance de formes et apprentissage automatique dans lequel on génère, à partir d'une pyramide d'images, une pluralité de descripteurs d'images par le balayage au moins partiel de chaque image capturée par une fenêtre glissante, puis on effectue une classification des descripteurs d'images en vue de déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles.
Dans les systèmes connus, une correction de chaque image est en outre effectuée au préalable pour tenir compte des distorsions optiques
introduites par la caméra ainsi que de la déformation de perspective liée au positionnement, en particulier à l'orientation, de la caméra sur le véhicule, en appliquant une unique transformation globale combinant une première transformation et une deuxième transformation homographique, cette dernière étant déterminée de façon unique pour une distance moyenne entre un obstacle potentiel et la caméra.
Ici, l'invention propose de tirer profit du fait la pyramide P d'images générée aux fins de classification d'objets comprend n étages, chaque étage i (i étant un entier variant de 1 à n) correspondant à une échelle prédéterminée Ej de l'image capturée ImFR (ou d'au moins une région d'intérêt dans cette image), échelle qui peut à son tour être mise en correspondance avec une distance d, par rapport à la caméra 2FR.
L'invention propose en conséquence de déterminer au préalable, pour chaque échelle possible E,, et par suite pour chaque distance d, associée, une transformation homographique spécifique qui permette ainsi de corriger très précisément les déformations de perspective dues au positionnement de la caméra 2 sur le véhicule 1. Comme représenté schématiquement sur la figure 2, pour une caméra avant 2FR ayant une portée maximum DMAX, on va identifier n distances notées di à dn (dn pouvant être confondu avec DMAX), et calculer à l'avance la transformation homographique Thom(di), Thom(d2), ■■■Thom(dn) qu'il faut appliquer pour corriger les défauts de perspective à chacune de ces distances.
La figure 3 illustre, sous forme de synoptique simplifié, différentes étapes susceptibles d'être mises en œuvre dans un procédé de détection d'obstacle conforme à l'invention.
Sur la figure 3, les parties représentées à gauche de la ligne L correspondent à des étapes de pré-calcul et mémorisation dans le système 3 embarqué de différents paramètres et tables caractérisant le système, ces étapes pouvant être réalisées avant même que le système de détection n'équipe effectivement le véhicule automobile, alors que les parties à droite de
la ligne L illustrent un exemple de traitement in situ d'images ImFR capturées par la caméra avant 2FR.
L'étape 10 de la figure 3 regroupe le calcul d'au moins une table de correction Topt et sa mémorisation pour utilisation ultérieure dans le traitement des images. Cette table de correction Topt correspond à la première transformation, c'est-à-dire celle vouée à la seule correction des distorsions optiques propres aux paramètres optiques intrinsèques (focale, centre de projection, champ de vision...). Chaque valeur de cette table de correction Topt correspond au déplacement à deux dimensions qu'il convient d'appliquer à chaque pixel défini par ses coordonnées {x,y} dans une image pour obtenir de nouvelles coordonnées {xCor_opt,y∞r_opt} représentatives de la correction effectuée.
L'étape 15 de la figure 3 regroupe quant à elle l'établissement et la mémorisation de n tables de correction Thom(d i) , Th0m(d2), ...Th0m(dn), correspondant aux transformations homographiques qu'il convient d'appliquer pour chaque distance d i à dn pour corriger les défauts de perspective liés exclusivement à la position et à l'orientation de la caméra sur le véhicule. Comme on l'a vu précédemment, chaque distance d, correspond à une échelle Ej de la pyramide d'images P. Ainsi :
- chaque valeur de la table de correction Thom(d i) correspond au déplacement à deux dimensions qu'il convient d'appliquer à chaque pixel défini par ses coordonnées {x,y} dans une image prise à l'échelle Ei pour obtenir de nouvelles coordonnées xCor_hom,ycor_hom} représentatives de la correction effectuée ;
- chaque valeur de la table de correction Thom(d2) correspond au déplacement à deux dimensions qu'il convient d'appliquer à chaque pixel défini par ses coordonnées {x,y} dans une image prise à l'échelle E2 pour obtenir de nouvelles coordonnées xCor_hom,ycor_hom} représentatives de la correction effectuée,
et ainsi de suite jusqu'à la table de correction Thom(dn).
Comme illustré par les étapes situées à droite de la ligne L sur la figure 3, correspondant au traitement in situ des images IrriFR capturées par la caméra 2FR, on procède aux différentes étapes 21 à 23 déjà décrites en référence à la figure 1, dans le cadre de l'application d'un algorithme 20 de détection d'obstacles par reconnaissance de formes et apprentissage automatique. Cependant, à la différence des solutions déjà connues, on utilise ici les tables de correction Thom(d i), Th0m(d 2) - - - hom(dn) pré établies à l'étape 15 pour générer, lors de l'étape 21, chaque image (étage) de la pyramide P d'image. En d'autres termes, chaque image de la pyramide P est directement générée avec une correction au moins selon la première transformation homographique (Thom(d i), hom(d2) - - - h0m(dn)) fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule. Dans l'exemple de la figure 3, on combine également, de façon simultanée, la correction liée aux distorsions optiques, en utilisant la table Topt pré établie à l'étape 10.
Il convient de noter que la correction des distorsions optiques pourrait éventuellement être omise, dans le cas notamment où la caméra utilisée introduit de faibles distorsions optiques.
En variante, il n'est pas nécessaire d'effectuer la correction des distorsions optiques de manière simultanée avec la correction de perspectives. On pourrait notamment appliquer dans un premier temps la table Topt directement sur l'image IrriFR délivrée par la caméra 2FR.
Le fait de combiner les deux corrections au moment de la génération de la pyramide P d'images est néanmoins avantageux en termes de coûts de calcul. En effet, la pyramide d'images est souvent générée à partir de régions d'intérêt à l'intérieur d'une image de sorte que les calculs nécessaires peuvent se limiter à la taille de ces régions d'intérêt.
En sortie de l'étape 23 de classification, on obtient des candidats possibles représentatifs d'une présence potentielle d'obstacles dans chacune des zones indépendantes, sous forme d'une boite englobante par candidat possible, chaque boîte englobante subissant un traitement ultime (étape 30)
permettant d'estimer la distance à laquelle se situe l'obstacle détecté par rapport au véhicule.
Claims
1. Procédé de détection d'obstacles dans l'environnement d'un véhicule automobile (1), à partir d'images capturées par une caméra (2FR) embarquée sur ledit véhicule automobile (1), le procédé comportant l'application d'un algorithme (20) de détection d'obstacles par reconnaissance de formes et apprentissage automatique dans lequel on génère (22) une pluralité de descripteurs d'images par le balayage au moins partiel, par une fenêtre glissante (W), d'une pluralité d'images d'une pyramide (P) d'images, chaque image de la pyramide (P) d'images correspondant à une échelle différente d'au moins une zone d'intérêt d'une image (ImFR) capturée, puis on effectue une classification (23) des descripteurs d'images en vue de déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles, le procédé étant caractérisé en ce que chaque image de la pyramide (P) d'images est en outre générée (21) à partir de ladite au moins une zone d'intérêt corrigée au moins selon une première transformation homographique (Thom(d i), h0m(d 2) - - - hom(dn)) fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule.
2. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que chaque image de la pyramide (P) d'images est générée (21) à partir de ladite au moins une zone d'intérêt corrigée en outre selon une deuxième transformation (Topt) apte à supprimer des distorsions optiques intrinsèques à la caméra (2FR) .
3. Procédé selon la revendication 2, caractérisé en ce que la première transformation homographique (Thom(d i), h0m(d 2) - - - hom(dn)) et la deuxième transformation (2FR) sont appliquées simultanément à ladite au moins une zone d'intérêt au moment de la génération de ladite pyramide (P) d'images.
4. Procédé selon la revendication 2, caractérisé en ce que la deuxième transformation (Topt) est appliquée directement sur l'image (IrriFR) capturée par la caméra (2FR), avant la génération de ladite pyramide d'images.
5. Système de détection d'obstacles dans l'environnement d'un véhicule automobile (1), à partir d'images capturées par une caméra (2FR) embarquée sur ledit véhicule automobile (1), ledit système ledit système comportant un module (3) configuré pour implémenter un algorithme (20) de détection d'obstacles par reconnaissance de formes et apprentissage automatique dans lequel on génère (22) une pluralité de descripteurs d'images par le balayage au moins partiel, par une fenêtre glissante (W), d'une pluralité d'images d'une pyramide (P) d'images, chaque image de la pyramide (P) d'images correspondant à une échelle différente d'au moins une zone d'intérêt d'une image (IMFR) capturée, puis on effectue une classification (23) des descripteurs d'images en vue de déterminer des candidats possibles représentatifs d'une présence potentielle d'obstacles, caractérisé en ce que ledit module (3) est en outre apte à générer chaque image de la pyramide (P) d'images à partir de ladite au moins une zone d'intérêt corrigée au moins selon une première transformation homographique (T 0m(di), hom(d 2) - - - hom(dn)) fonction de l'échelle de l'image, pour corriger des déformations de perspectives liées au positionnement de la caméra sur ledit véhicule.
6. Système selon la revendication 5, caractérisé en ce les images sont capturées par une caméra de type « fisheye ».
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1750616 | 2017-01-25 | ||
| FR1750616A FR3062223B1 (fr) | 2017-01-25 | 2017-01-25 | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018138064A1 true WO2018138064A1 (fr) | 2018-08-02 |
Family
ID=58401875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2018/051500 Ceased WO2018138064A1 (fr) | 2017-01-25 | 2018-01-23 | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3062223B1 (fr) |
| WO (1) | WO2018138064A1 (fr) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797657A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车辆周边障碍检测方法、装置、存储介质及电子设备 |
| WO2022217520A1 (fr) * | 2021-04-14 | 2022-10-20 | 深圳市大疆创新科技有限公司 | Procédé et appareil de détection, plate-forme mobile et support de stockage |
| US20230014874A1 (en) * | 2020-10-22 | 2023-01-19 | Tencent Technology (Shenzhen) Company Limited | Obstacle detection method and apparatus, computer device, and storage medium |
| US11682190B2 (en) * | 2019-04-10 | 2023-06-20 | Axis Ab | Method, system, and device for detecting an object in a distorted image |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3100641A1 (fr) | 2019-09-11 | 2021-03-12 | Psa Automobiles Sa | Détermination d’informations d’environnement en temps réel et à régression sélective, pour un système |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2275971A1 (fr) * | 2009-07-06 | 2011-01-19 | Valeo Vision | Procédé de détection d'un obstacle pour véhicule automobile |
| FR3014229A1 (fr) * | 2013-12-02 | 2015-06-05 | Commissariat Energie Atomique | Reconnaissance de formes par correction d'image |
| EP2924607A2 (fr) * | 2014-03-24 | 2015-09-30 | Toshiba Alpine Automotive Technology Corporation | Appareil et procédé de traitement d'images |
-
2017
- 2017-01-25 FR FR1750616A patent/FR3062223B1/fr active Active
-
2018
- 2018-01-23 WO PCT/EP2018/051500 patent/WO2018138064A1/fr not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2275971A1 (fr) * | 2009-07-06 | 2011-01-19 | Valeo Vision | Procédé de détection d'un obstacle pour véhicule automobile |
| FR3014229A1 (fr) * | 2013-12-02 | 2015-06-05 | Commissariat Energie Atomique | Reconnaissance de formes par correction d'image |
| EP2924607A2 (fr) * | 2014-03-24 | 2015-09-30 | Toshiba Alpine Automotive Technology Corporation | Appareil et procédé de traitement d'images |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN WIEDEMANN ET AL: "Recognition and Tracking of 3D Objects", 10 June 2008, PATTERN RECOGNITION; [LECTURE NOTES IN COMPUTER SCIENCE], SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 132 - 141, ISBN: 978-3-540-69320-8, XP019090357 * |
| JIYOUNG JUNG ET AL: "Image Warping for View-invariant Object Matching using Stereo Cameras", 대한전자공학회 기타 간행물, February 2010 (2010-02-01), pages 165 - 168, XP055405554, Retrieved from the Internet <URL:https://joonyoung-cv.github.io/assets/paper/10_fcv_image_warping.pdf> [retrieved on 20170907] * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797657A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 车辆周边障碍检测方法、装置、存储介质及电子设备 |
| US11682190B2 (en) * | 2019-04-10 | 2023-06-20 | Axis Ab | Method, system, and device for detecting an object in a distorted image |
| US20230014874A1 (en) * | 2020-10-22 | 2023-01-19 | Tencent Technology (Shenzhen) Company Limited | Obstacle detection method and apparatus, computer device, and storage medium |
| US12374126B2 (en) * | 2020-10-22 | 2025-07-29 | Tencent Technology (Shenzhen) Company Limited | Obstacle detection method and apparatus, computer device, and storage medium |
| WO2022217520A1 (fr) * | 2021-04-14 | 2022-10-20 | 深圳市大疆创新科技有限公司 | Procédé et appareil de détection, plate-forme mobile et support de stockage |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3062223A1 (fr) | 2018-07-27 |
| FR3062223B1 (fr) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2275971B1 (fr) | Procédé de détection d'un obstacle pour véhicule automobile | |
| WO2018138064A1 (fr) | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images | |
| JP5867807B2 (ja) | 車両識別装置 | |
| JP6540009B2 (ja) | 画像処理装置、画像処理方法、プログラム、画像処理システム | |
| FR2914761A1 (fr) | Dispositif pour reconnaitre un objet sur une image | |
| US12002269B2 (en) | Vehicle feature acquisition method and device | |
| EP2275970A1 (fr) | Procédé de détection d'un obstacle pour véhicule automobile | |
| FR3085219A1 (fr) | Appareil de detection d'objet en mouvement et procede de detection d'objet en mouvement | |
| US20120162429A1 (en) | Image Processing Method for a Driver Assistance System of a Motor Vehicle for Detecting and Classifying at Least one Portion of at Least one Predefined Image Element | |
| FR2931006A1 (fr) | Systeme et procede pour la reconnaissance visuelle | |
| EP3392830B1 (fr) | Dispositif de traitement d'images, dispositif de reconnaissance d'objets, système de commande d'appareil, procédé de traitement d'images et programme | |
| FR2871772A1 (fr) | Procede d'aide au guidage d'un vehicule automobile sur la base de donnees d'images | |
| WO2017047282A1 (fr) | Dispositif de traitement d'images, dispositif de reconnaissance d'objets, système de commande de dispositif, procédé de traitement d'images et programme | |
| JP6572696B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
| EP3389009A1 (fr) | Dispositif de traitement d'image, dispositif de reconnaissance d'objet, système de commande d'appareil, procédé de traitement d'image et programme | |
| KR101080375B1 (ko) | 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템 | |
| WO2011124719A1 (fr) | Procede de detection de cibles dans des images stereoscopiques | |
| FR3083352A1 (fr) | Procede et dispositif de detection rapide de structures repetitives dans l'image d'une scene routiere | |
| JP2019160251A (ja) | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
| JP2006318059A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
| FR2950451A1 (fr) | Algorithme de detection des points de contour dans une image | |
| WO2017005930A1 (fr) | Détection d'objets par traitement d'images | |
| FR3058247B1 (fr) | Detection d'obstacles autour d'un vehicule automobile | |
| KR102045026B1 (ko) | 차선 인식 장치 및 방법 | |
| FR3062224A1 (fr) | Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18700613 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18700613 Country of ref document: EP Kind code of ref document: A1 |