FR3027432A1

FR3027432A1 - Estimation de distance d'un pieton par un systeme d'imagerie embarque sur un vehicule automobile

Info

Publication number: FR3027432A1
Application number: FR1402350A
Authority: FR
Inventors: Etienne Perot; Lowik Chanussot
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2014-10-16
Filing date: 2014-10-16
Publication date: 2016-04-22
Anticipated expiration: 2034-10-16
Also published as: FR3027432B1

Abstract

L'invention concerne un système d'estimation d'une distance à laquelle se situe un piéton par rapport à un véhicule automobile, à partir du traitement d'images captées par une caméra embarquée, ledit système comportant un premier détecteur (5) à reconnaissance de formes par apprentissage apte à délivrer, à partir d'une image captée, au moins une première boîte englobante (52) représentative d'une détection d'un piéton à une première échelle de l'image, et des moyens d'estimation aptes à estimer une distance à laquelle se situe le piéton détecté à partir de la position d'une limite inférieure (53) de la première boîte englobante (52). Le système est caractérisé en ce qu'il comporte en outre un deuxième détecteur (6) à reconnaissance de formes par apprentissage apte à délivrer, à partir de la zone d'image délimitée par la première boîte englobante (52), une pluralité de deuxièmes boîtes englobantes (62R, 62L) représentatives de détections de pieds, et des moyens de modification de la position de la limite inférieure (53) de la première boîte englobante pour la faire correspondre à une position verticale estimée de ladite pluralité de deuxièmes boîtes englobantes (62R, 62L).

Description

ESTIMATION DE DISTANCE D'UN PIETON PAR UN SYSTEME D'IMAGERIE EMBARQUE SUR UN VEHICULE AUTOMOBILE La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système permettant d'estimer, à partir d'un traitement d'images captées par une caméra embarquée, la distance à laquelle se situe un piéton par rapport au véhicule. Il est connu d'équiper certains véhicules automobiles avec des systèmes d'aide à la conduite utilisant des images captées par une ou plusieurs caméras embarquées sur le véhicule pour détecter notamment les lignes de marquage routier, les obstacles, les autres véhicules, ou encore les panneaux de signalisation tels que les panneaux de prescription de vitesse. La détection de piétons est une autre application importante dans les systèmes d'aide à la conduite automobile puisqu'il s'agit de concevoir des systèmes intelligents capables d'avertir ou de prévenir les accidents, en surveillant les alentours du véhicule par l'intermédiaire d'une ou plusieurs caméras. Un tel système de détection peut ainsi soit prévenir le conducteur de la présence d'un piéton à une distance jugée dangereuse, soit directement agir sur le système de freinage du véhicule automobile. Les systèmes de détection de piétons sont en outre cruciaux pour les systèmes de conduite automatisés. On comprend ainsi qu'un tel système de détection doit pouvoir fournir une information suffisamment fiable et précise pour pouvoir dériver, en temps 25 réel, une estimation de la distance à laquelle se situe un piéton détecté. On rappelle que la détection de piétons consiste à déterminer le plus précisément possible, la présence et la localisation de toutes les personnes susceptibles d'être présentes dans une image ou une succession d'images. Elle est généralement basée sur des techniques de reconnaissance de formes dont 30 le but est d'apprendre puis de retrouver dans l'image, l'allure générale d'une personne. Les algorithmes mis en oeuvre dans une détection de piétons par reconnaissance de formes sont généralement très complexes compte tenu notamment de la très grande diversité entre les personnes (taille, poids, vêtements, postures...). Ces algorithmes de reconnaissance de formes sont tous basés sur l'utilisation combinée de descripteurs et d'une méthode de classification binaire permettant de déterminer si une zone d'une image captée par une caméra correspond à un piéton ou à du fond. Les informations d'une image, typiquement les pixels, sont codées en un vecteur de descripteurs. Une méthode classique, connue sous le nom de la méthode de Viola et Jones, consiste à tester la présence d'un piéton dans une fenêtre de taille fixe, par exemple de 24 sur 48 pixels correspondant à autant de descripteurs du vecteur, à toutes les positions possibles et à plusieurs échelles de l'image. Un classifieur combiné à une base d'apprentissage comportant des échantillons de piétons et des échantillons de fond va traiter les différents vecteurs de descripteurs obtenus par la fenêtre glissante pour identifier les zones correspondant effectivement à un piéton par rapport à un modèle appris. Le résultat est délivré par le détecteur de piéton sous forme d'une boîte englobante, généralement de forme rectangulaire, par piéton détecté. Les dimensions et/ou la position verticale de la boîte englobante relative à un piéton détecté sont utilisées pour estimer la distance à laquelle se situe le piéton par rapport au véhicule. Selon une première méthode A connue, on applique la relation suivante pour donner une estimation D de cette distance : ,^ H u = - x r h dans laquelle f est la focale de la caméra, H est la taille réelle du piéton et h correspond à la hauteur de la boîte englobante fournie par le détecteur de piétons. Cette relation ne permet d'obtenir qu'un intervalle de distances estimées, compte tenu notamment du manque de connaissance a priori de la taille réelle H du piéton D'autres méthodes connues utilisent la limite inférieure de la boîte 30 englobante pour estimer la distance à laquelle se situe le piéton. Ces méthodes reposent sur l'hypothèse du monde plan, selon laquelle les piétons n'évoluent que sur un seul plan, et utilisent les paramètres de calibration intrinsèques (focale, taille des pixels) et extrinsèques (angle de visée par rapport à l'horizontale) de la caméra pour estimer la distance à partir de la position verticale de la limite inférieure de la boîte englobante issue du détecteur de piétons. Or, les détecteurs de piétons existant à ce jour fournissent généralement une boîte englobante assez large autour de la détection. En effet, les détecteurs ne reconnaissent pas uniquement un piéton, mais considèrent aussi son environnement proche. Ainsi, les boîtes englobantes délivrées par le détecteur sont généralement plus grandes que les piétons eux-mêmes. Il en résulte une imprécision sur l'estimation de la distance à laquelle se situe effectivement chaque piéton, préjudiciable dans l'application de l'assistance à la conduite. La présente invention a pour but de pallier les inconvénients des 15 solutions connues basées sur des algorithmes de reconnaissance de formes par apprentissage. Pour ce faire, l'invention a pour objet un procédé d'estimation d'une distance à laquelle se situe un piéton par rapport à un véhicule automobile, à partir du traitement d'images captées par une caméra embarquée, dans lequel 20 on utilise un premier algorithme de reconnaissance de formes par apprentissage délivrant, à partir d'une image captée, au moins une première boîte englobante représentative d'une détection d'un piéton à une première échelle de l'image, et on estime une distance à laquelle se situe le piéton détecté à partir de la position d'une limite inférieure de la première boîte 25 englobante, le procédé étant caractérisé en ce qu'il utilise un deuxième algorithme de reconnaissance de formes par apprentissage délivrant, à partir de la zone d'image délimitée par la première boîte englobante, une pluralité de deuxièmes boîtes englobantes représentatives de détections de pieds, et en ce que la position de la limite inférieure de la première boîte englobante est 30 modifiée pour correspondre à une position verticale estimée de ladite pluralité de deuxièmes boîtes englobantes.

Outre les caractéristiques principales qui viennent d'être mentionnées dans le paragraphe précédent, le procédé selon l'invention peut présenter une ou plusieurs caractéristiques complémentaires parmi les suivantes : - le deuxième algorithme de reconnaissance de formes par 5 apprentissage délivre ladite pluralité de deuxièmes boîtes, à partir de la zone d'image délimitée par la première boîte englobante, redimensionnée au préalable à une deuxième échelle supérieure à la première échelle ; - la deuxième échelle correspond de préférence au double de la première échelle ; 10 - la position verticale de ladite pluralité de deuxièmes boîtes englobantes est estimée en effectuant un histogramme des projections horizontales des centres desdites deuxièmes boîtes englobantes ; - les premier et deuxième algorithmes de reconnaissance de formes par apprentissage sont identiques ; 15 - les premier et deuxième algorithmes de reconnaissance de formes par apprentissage sont des algorithmes du type Adaboost ou SVM ; - une variante du procédé utilise également un troisième algorithme de reconnaissance de formes par apprentissage délivrant, à partir de la zone d'image délimitée par la première boîte englobante, et redimensionnée à une 20 troisième échelle supérieure à la première échelle, une pluralité de troisièmes boîtes englobantes représentatives de détections de têtes, et en ce que la position d'une limite supérieure de la première boîte englobante est également modifiée pour correspondre à une position verticale estimée de ladite pluralité de troisièmes boîtes englobantes ; 25 - dans une variante du procédé, le premier algorithme de reconnaissance de formes par apprentissage est utilisé sur une succession d'images captées par la caméra embarquée de façon à délivrer une première séquence temporelle de ladite au moins une première boîte englobante relative à un même piéton, le deuxième algorithme de reconnaissance de 30 formes par apprentissage est utilisé sur ladite première séquence temporelle pour délivrer au moins une deuxième séquence de deuxièmes boîtes englobantes relative à la détection d'un même pied, et le procédé utilise un quatrième algorithme de reconnaissance de formes par apprentissage apte à valider la deuxième séquence comme étant une trajectoire suivie par un pied. L'invention a également pour objet un système d'estimation d'une distance à laquelle se situe un piéton par rapport à un véhicule automobile, à partir du traitement d'images captées par une caméra embarquée, ledit système comportant un premier détecteur à reconnaissance de formes par apprentissage apte à délivrer, à partir d'une image captée, au moins une première boîte englobante représentative d'une détection d'un piéton à une première échelle de l'image, et des moyens d'estimation aptes à estimer une distance à laquelle se situe le piéton détecté à partir de la position d'une limite inférieure de la première boîte englobante, le système étant caractérisé en ce qu'il comporte en outre un deuxième détecteur à reconnaissance de formes par apprentissage apte à délivrer, à partir de la zone d'image délimitée par la première boîte englobante, une pluralité de deuxièmes boîtes englobantes représentatives de détections de pieds, et des moyens de modification de la position de la limite inférieure de la première boîte englobante pour la faire correspondre à une position verticale estimée de ladite pluralité de deuxièmes boîtes englobantes.

L'invention sera mieux comprise à la lecture de la description qui suit, faite en référence aux figures annexées, dans lesquelles : - la figure 1 représente schématiquement une situation rencontrée sur une route par un véhicule automobile équipé d'un système selon l'invention ; - la figure 2 donne un synoptique simplifié illustrant le fonctionnement d'un système selon l'invention pour l'estimation de la distance à laquelle se situe un piéton ; - la figure 3 donne un synoptique simplifié illustrant une fonctionnalité additionnelle d'un système conforme à l'invention ; - la figure 4 illustre un exemple d'une séquence temporelle de boîte de détection de piéton et de pied obtenu par le système de la figure 3.

Les différents éléments apparaissant sur plusieurs figures auront gardé, sauf précision contraire, la même référence. Par ailleurs, tous les détecteurs utilisés dans la présente invention sont des détecteurs à reconnaissance de formes par apprentissage, par exemple de type Adaboost ou SVM (initiales anglo-saxonnes mises pour Support Vectors Machine), et sont représentés systématiquement dans les figures par une association d'une base d'apprentissage et d'un classifieur. Dans la suite et en référence à la figure 1, on suppose à titre d'exemple qu'un véhicule automobile 1 équipé d'une caméra monochrome 2, de paramètres de calibration connus et apte à capter des images successives de paysages, se déplace sur une route 3. La caméra est de préférence localisée à un endroit du véhicule qui correspond le mieux à ce que le conducteur voit, par exemple centrée au niveau du pare-brise à l'intérieur de l'habitacle. Le véhicule automobile 1 comporte en outre un module de traitement (non représenté) formant, avec la caméra monochrome 2, un système permettant de détecter la présence d'un piéton 4, et d'agir sur un système d'aide à la conduite en fonction d'une estimation de la distance séparant le piéton 4 du véhicule automobile 1. Ainsi, la caméra frontale 2 capture les images de la scène routière située à l'avant du véhicule 1 et fournit ces images au module de traitement d'images du système. Comme représenté sur la figure 2, chaque image est délivrée à un premier détecteur 5 comportant une base d'apprentissage 50 avec des exemples de piétons d'une part, et de fonds d'autre part, et son classifieur associé 51. On suppose dans la suite que le détecteur 5 de piéton a délivré en sortie une boîte englobante 52 qui délimite une zone d'image représentative du piéton 4 détecté. Cette boîte englobante 52 présente une forme générale rectangulaire avec notamment une frontière horizontale inférieure ou limite inférieure 53, et une frontière horizontale supérieure ou limite supérieure 54.

On ne décrira pas ici le détail de l'algorithme qui permet d'obtenir cette boîte englobante 52. Tout au plus est-il nécessaire de spécifier que cette boîte englobante résulte d'une détection d'un piéton à une première échelle de l'image de base.

Conformément à l'invention, cette zone d'image délimitée par la boîte englobante 52 est fournie en entrée d'un deuxième détecteur 6, comportant une base d'apprentissage 60 avec des exemples de pieds de personnes et son classifieur associé 61, qui peut être du même type que le classifieur 51. Ce deuxième détecteur 6 va donc fournir une pluralité de boîtes englobantes, dans notre exemple, les deux boîtes englobantes 62R et 62L correspondant à la détection des pieds gauche et droit du piéton 4. Il est possible alors, de préférence en effectuant un histogramme HPROJ des projections horizontales des centres des boîtes englobantes 62g, 62L, d'estimer la position verticale des boîtes englobantes 62R, 62L (étape S2) qui représente une meilleure information sur le point de contact du piéton 4 sur la route 3. Cette position verticale peut donc être utilisée pour modifier la position de la limite inférieure 53 de la première boîte englobante 52, et par suite pour estimer la distance D de manière classique à partir de cette position verticale et des paramètres de calibration de la caméra 2 (étape S3). Pour améliorer encore la précision, la zone d'image délimitée par la première boîte englobante 52 est de préférence redimensionnée au préalable à une deuxième échelle supérieure à la première échelle (étape S1), par exemple à une échelle double.

Dans une variante de système non représentée, on peut également modifier selon le même principe la position verticale de la limite supérieure 54 de la boîte englobante 52, en utilisant cette fois-ci un troisième détecteur en charge de détecter des parties hautes du corps d'un piéton, par exemple la tête ou le torse. En combinant les trois détecteurs (détecteur 5 de piéton, détecteur 6 de pied et détecteur de tête), on obtient une hauteur de boîte englobante 52 beaucoup plus fiable qu'en sortie du détecteur 5 de piéton. Une autre limite dans les performances actuelles des détecteurs de piéton à reconnaissance de formes par apprentissage, tels que le détecteur 5, concerne les fausses détections, c'est-à-dire le fait de délivrer une boîte englobante 52 qui en fait ne contient pas de piéton. Selon une variante du système précédent, le détecteur 5 de piéton et le détecteur 6 de pied vont également pouvoir être utilisés dans le but de réduire ces fausses détections, comme cela va être explicité à présent en référence aux figures 3 et 4. Cette variante utilise cette fois-ci une succession d'images Im(t-5), Im(t-1), Im(t) captées par la caméra 2 et fournies en entrée du détecteur 5 de 5 piéton précédemment décrit. Ce détecteur 5 de piéton va délivrer en sortie une première séquence temporelle pour une première boîte englobante relative à un même piéton. La figure 4 illustre par exemple une séquence temporelle comportant six boîtes englobantes 52t-5, 52t-4...52t issues du détecteur 5 de piéton, toutes relatives 10 au même piéton aux instants successifs t-5, t-4, t-3, t-2, t-1 et t. A partir de cette séquence temporelle, le détecteur 6 de pied va quant à lui délivrer au moins une séquence de boîtes englobantes relative à un même pied de ce piéton. La figure 4 illustre également une première séquence temporelle résultante comportant six boîtes englobantes en trait plein, toutes 15 relatives au pied gauche du même piéton aux instants successifs t-5, t-4, t-3, t-2, t-1 et t, et une deuxième séquence temporelle résultante comportant six boîtes englobantes en trait pointillé, toutes relatives au pied droit du même piéton à ces mêmes instants successifs. Pour ne pas surcharger inutilement la figure 4, seules les boîtes 62L-5 et 62R issues du détecteur 6 de pied à t t-5 20 l'instant t-5 ont été référencées. La trajectoire suivie par chaque pied peut ainsi être suivie et enregistrée (étape S4 sur la figure 3), par exemple en construisant un vecteur à deux dimensions (verticale et horizontale) des positions relatives de chaque boîte englobante 62L , 62R par rapport au centre du piéton (donné par fi ti 25 exemple par le centre de la boîte englobante 52. relative au piéton). Les trajectoires sont ensuite fournies à un quatrième détecteur 7 de reconnaissance de forme par apprentissage, de type SVM ou forêt aléatoire, apte à valider ou non le fait qu'une trajectoire d'entrée identifie bien le pied d'un piéton. Dans le cas où une trajectoire est validée, le système peut 30 considérer que la boîte englobante 52 est une vraie détection de piéton. Au contraire, si la trajectoire est invalidée, le système en déduira que la boîte englobante 52 est une fausse détection.

Claims

REVENDICATIONS1. Procédé d'estimation d'une distance à laquelle se situe un piéton (4) par rapport à un véhicule automobile (1), à partir du traitement d'images captées par une caméra (2) embarquée, dans lequel on utilise un premier algorithme de reconnaissance de formes par apprentissage délivrant, à partir d'une image captée, au moins une première boîte englobante (52) représentative d'une détection d'un piéton à une première échelle de l'image, et on estime une distance à laquelle se situe le piéton détecté à partir de la position d'une limite inférieure (53) de la première boîte englobante (52), le procédé étant caractérisé en ce qu'il utilise un deuxième algorithme de reconnaissance de formes par apprentissage délivrant, à partir de la zone d'image délimitée par la première boîte englobante (52), une pluralité de deuxièmes boîtes englobantes (62R, 620 représentatives de détections de pieds, et en ce que la position de la limite inférieure (53) de la première boîte englobante (52) est modifiée pour correspondre à une position verticale estimée de ladite pluralité de deuxièmes boîtes englobantes (62R, 620.
2. Procédé selon la revendication 1, caractérisé en ce que le deuxième algorithme de reconnaissance de formes par apprentissage délivre ladite pluralité de deuxièmes boîtes englobantes (62R, 620, à partir de la zone d'image délimitée par la première boîte englobante (52), redimensionnée au préalable à une deuxième échelle supérieure à la première échelle.
3. Procédé selon la revendication 2, caractérisé en ce que la deuxième échelle correspond au double de la première échelle.
4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la position verticale de ladite pluralité de deuxièmes boîtes englobantes (62R, 620 est estimée en effectuant un histogramme des projections horizontales des centres desdites deuxièmes boîtes englobantes (62R, 620.
5. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les premier et deuxième algorithmes de reconnaissance de formes par apprentissage sont identiques.
6. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que les premier et deuxième algorithmes de reconnaissance de formes par apprentissage sont des algorithmes du type Adaboost ou SVM.
7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il utilise un troisième algorithme de reconnaissance de formes par apprentissage délivrant, à partir de la zone d'image délimitée par la première boîte englobante (52), et redimensionnée à une troisième échelle supérieure à la première échelle, une pluralité de troisièmes boîtes englobantes représentatives de détections de têtes, et en ce que la position d'une limite supérieure (54) de la première boîte englobante (52) est également modifiée pour correspondre à une position verticale estimée de ladite pluralité de troisièmes boîtes englobantes.
8. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le premier algorithme de reconnaissance de formes par apprentissage est utilisé sur une succession d'images captées par la caméra (2) embarquée de façon à délivrer une première séquence temporelle de ladite au moins une première boîte englobante (52t_5, 52t-4...52t) relative à un même piéton, le deuxième algorithme de reconnaissance de formes par apprentissage est utilisé sur ladite première séquence temporelle pour délivrer au moins une deuxième séquence de deuxièmes boîtes englobantes relative à la détection d'un même pied, et en ce que le procédé utilise un quatrième algorithme de reconnaissance de formes par apprentissage apte à valider la deuxième séquence comme étant une trajectoire suivie par un pied.
9. Système d'estimation d'une distance à laquelle se situe un piéton (4) par rapport à un véhicule automobile (1), à partir du traitement d'images captées par une caméra (2) embarquée, ledit système comportant un premier détecteur (5) à reconnaissance de formes par apprentissage apte à délivrer, à partir d'une image captée, au moins une première boîte englobante (52) représentative d'une détection d'un piéton à une première échelle de l'image, et des moyens d'estimation aptes à estimer une distance à laquelle se situe le piéton détecté à partir de la position d'une limite inférieure (53) de la première boîte englobante (52), le système étant caractérisé en ce qu'il comporte en outre un deuxième détecteur (6) à reconnaissance de formes par apprentissage apte à délivrer, à partir de la zone d'image délimitée par la première boîte englobante (52), une pluralité de deuxièmes boîtes englobantes (62R, 62L) représentatives de détections de pieds, et des moyens de modification de la position de la limite inférieure (53) de la première boîte englobante pour la faire correspondre à une position verticale estimée de ladite pluralité de deuxièmes boîtes englobantes (62R, 620.
10. Système selon la revendication 9, caractérisé en ce qu'il comporte en outre un troisième détecteur à reconnaissance de formes par apprentissage apte à délivrer, à partir de la zone d'image délimitée par la première boîte englobante (52), et redimensionnée à une troisième échelle supérieure à la première échelle, une pluralité de troisièmes boîtes englobantes représentatives de détections de têtes, et des moyens de modification de la position d'une limite supérieure (54) de la première boîte englobante (52) pour la faire correspondre à une position verticale estimée de ladite pluralité de troisièmes boîtes englobantes.
11. Système selon l'une quelconque des revendications 9 ou 10, caractérisé en ce le premier détecteur (5) à reconnaissance de formes par apprentissage est apte à délivrer, à partir d'une succession d'imagescaptées par la caméra (2) embarquée, une première séquence temporelle de ladite au moins une première boîte englobante (52t-5, 52u4...52t) relative à un même piéton, en ce que le deuxième détecteur (6) reconnaissance de formes par apprentissage est apte à délivrer, à partir de ladite première séquence temporelle, au moins une deuxième séquence de deuxièmes boîtes englobantes relative à la détection d'un même pied, et en ce que le système comporte en outre des moyens de reconstitution de trajectoires à partir de la deuxième séquence de deuxièmes boîtes englobantes, fournies à un quatrième détecteur (7) à reconnaissance de formes par apprentissage apte à valider les trajectoires comme étant celles suivies par un pied.