FR3078427A1

FR3078427A1 - DYNAMIC DETECTION OF LIGHT PARASITE IN A DIGITAL IMAGE

Info

Publication number: FR3078427A1
Application number: FR1851703A
Authority: FR
Inventors: Joaquin Cornejo Bautista; Matthias Mutschler
Original assignee: Continental Automotive GmbH; Continental Automotive France SAS
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2018-02-27
Filing date: 2018-02-27
Publication date: 2019-08-30
Anticipated expiration: 2038-02-27
Also published as: FR3078427B1; WO2019166720A1

Abstract

Il est divulgué un procédé et un dispositif de détection dynamique d'une trace de lumière parasite dans une image numérique acquise par un dispositif optique. Le procédé consiste à extraire et déterminer sans calculs complexes des valeurs issues de paramètres connus de l'image et à comparer en temps réel ces valeurs avec des seuils déterminés empiriquement pour confirmer ou infirmer la présence d'une trace de lumière parasite dans une ou plusieurs images.There is disclosed a method and apparatus for dynamically detecting a trace of stray light in a digital image acquired by an optical device. The method consists of extracting and determining, without complex calculations, values derived from known parameters of the image and comparing in real time these values with thresholds determined empirically to confirm or deny the presence of a trace of stray light in one or more images.

Description

La présente invention se rapporte de manière générale aux traitements numériques effectués, lors de l’acquisition d’images par des dispositifs optiques, pour compenser des défauts ou surmonter des limitations intrinsèques aux dispositifs en question.The present invention relates generally to the digital processing carried out, during the acquisition of images by optical devices, to compensate for defects or overcome limitations intrinsic to the devices in question.

Elle concerne plus particulièrement un procédé et un dispositif de détection de la présence de lumière parasite dans une image.It relates more particularly to a method and a device for detecting the presence of stray light in an image.

L'invention trouve des applications, en particulier, dans le traitement d’images acquises par des caméras vidéo équipant des systèmes d’aide à la conduite de véhicules automobiles.The invention finds applications, in particular, in the processing of images acquired by video cameras fitted to assistance systems for driving motor vehicles.

Les systèmes d’aide à la conduite automobile (ou ADAS, de l’anglais « Advanced Driver Assistance Systems ») sont de plus en plus répandus dans les véhicules automobiles actuels. Ils continuent d’évoluer en offrant un nombre croissant de fonctionnalités avec pour objectif d’améliorer le confort et la sécurité des utilisateurs de véhicules. A terme, il est envisageable de produire des véhicules à conduite autonome.Driver assistance systems (or ADAS, for "Advanced Driver Assistance Systems") are more and more widespread in today's motor vehicles. They continue to evolve by offering a growing number of features with the aim of improving the comfort and safety of vehicle users. Ultimately, it is possible to produce autonomous driving vehicles.

Nombre des fonctionnalités offertes s’appuient sur une analyse en temps réel de l’environnement immédiat du véhicule dans lequel l’ADAS est embarqué. En effet, qu’il s’agisse par exemple d’aider au freinage d’urgence ou d’améliorer le contrôle de trajectoires d’une voiture, la prise en compte à chaque instant de caractéristiques de cet environnement est nécessaire pour assurer les fonctionnalités de tels systèmes.Many of the features offered are based on a real-time analysis of the immediate environment of the vehicle in which the ADAS is on board. Indeed, whether it is for example to assist in emergency braking or to improve the control of trajectories of a car, the taking into account at all times of characteristics of this environment is necessary to ensure the functionalities such systems.

Dans ce contexte, une des possibilités pour l’acquisition d’informations relatives à l’environnement immédiat d’un véhicule automobile est d’utiliser des moyens optiques. Un véhicule peut ainsi être équipé d’une ou plusieurs caméras vidéo destinées à observer son environnement, à chaque instant, dans une ou plusieurs directions d’observation. Les images recueillies par les caméras sont alors traitées par l’ADAS. Celui-ci peut les utiliser pour potentiellement déclencher une action d’aide à la conduite (par exemple déclencher une alerte sonore et/ou visuelle, voire déclencher un freinage ou un changement de trajectoire du véhicule...).In this context, one of the possibilities for acquiring information relating to the immediate environment of a motor vehicle is to use optical means. A vehicle can thus be equipped with one or more video cameras intended to observe its environment, at all times, in one or more observation directions. The images collected by the cameras are then processed by ADAS. The latter can use them to potentially trigger a driving assistance action (for example triggering an audible and / or visual alert, or even triggering a braking or a change of trajectory of the vehicle ...).

Ce type de fonctionnement suppose que les images recueillies par la ou les caméra(s) puissent être considérées comme étant exploitables, c’est-à-dire suffisamment représentatives de la réalité d’une scène observée. Or, lors de l’acquisition d’images par une caméra vidéo en conditions naturelles (c’est-à-dire sans maîtriser les différentes sources de lumière ambiantes), il est courant de voir la qualité des images acquises dégradée par l’acquisition non-intentionnelle de lumière parasite.This type of operation assumes that the images collected by the camera (s) can be considered to be usable, that is to say sufficiently representative of the reality of an observed scene. However, during the acquisition of images by a video camera in natural conditions (that is to say without mastering the various ambient light sources), it is common to see the quality of the acquired images degraded by the acquisition unintentional stray light.

C’est par exemple le cas si de la lumière captée provient d’une source attendue mais en ayant emprunté un chemin non prévu (par exemple, lié à des réflexions internes) dans le dispositif optique (c’est-à-dire la caméra) du fait d’imperfections dudit dispositif. C’est aussi le cas si la lumière provient d’une source inattendue mais tout de même « involontairement >> captée par le dispositif, du fait, là encore, d’imperfections dudit dispositif.This is for example the case if the light captured comes from an expected source but having taken an unexpected path (for example, linked to internal reflections) in the optical device (i.e. the camera ) due to imperfections of said device. This is also the case if the light comes from an unexpected source but all the same "involuntarily" picked up by the device, again because of imperfections in the device.

La captation de lumière parasite (qui peut être désignée en anglais par le terme « flare ») est intrinsèquement liée aux imperfections d’une caméra vidéo réelle en fonctionnement sur site (c’est-à-dire pas dans des conditions d’éclairage créées artificiellement). Elle provoque l’addition d’un bruit au signal correspondant à une ou des images acquise(s), et est donc à l’origine d’une dégradation du contraste, de la luminance et/ou de la balance/saturation des couleurs des images acquises. Dès lors, la reproduction fidèle, par la caméra, des caractéristiques d’une scène réelle est difficile voire impossible en conditions réelles d’utilisation. Du moins avec des caméras standards du marché compatibles avec les applications dans le domaine automobile.The capture of stray light (which can be designated in English by the term "flare") is intrinsically linked to the imperfections of a real video camera in operation on site (that is to say not in created lighting conditions artificially). It causes the addition of noise to the signal corresponding to one or more acquired images, and is therefore at the origin of a degradation of the contrast, the luminance and / or the balance / saturation of the colors of the acquired images. Consequently, the faithful reproduction by the camera of the characteristics of a real scene is difficult or even impossible under real conditions of use. At least with standard cameras on the market compatible with applications in the automotive field.

Or, pour pouvoir détecter, par exemple, la proximité d’un autre véhicule, la survenue d’un objet déterminé dans la trajectoire d’un véhicule ou encore la couleur d’un objet présent dans le champ de vision de son conducteur, l’image doit être la plus fidèle possible à la scène réellement observée. Autrement dit, l’acquisition d’images de mauvaise qualité par une caméra vidéo d’un ADAS peut être responsable de son incapacité à déclencher une action utile, ou inversement être responsable du déclenchement d’une action inadaptée à la situation réelle.However, to be able to detect, for example, the proximity of another vehicle, the occurrence of a determined object in the trajectory of a vehicle or even the color of an object present in the field of vision of its driver, l The image must be as faithful as possible to the scene actually observed. In other words, the acquisition of poor quality images by a video camera of an ADAS may be responsible for its inability to trigger a useful action, or conversely be responsible for triggering an action unsuitable for the real situation.

Les paramètres d’une image que sont le contraste, la luminance et la reproduction fidèle des couleurs sont donc, de ce fait, essentiels aux performances d’un ADAS utilisant la vidéo. C’est pour cette raison que beaucoup d’efforts sont faits pour garantir une acquisition d’images la plus fidèle possible.The parameters of an image such as contrast, luminance and faithful color reproduction are therefore essential to the performance of an ADAS using video. It is for this reason that a lot of effort is made to ensure the most accurate image acquisition possible.

Ces efforts portent notamment sur l’optimisation physique des dispositifs optiques d’acquisition d’image. Certaines approches visent, par exemple, par l’intermédiaire de traitements appliqués aux éléments optiques (les lentilles en particulier) du dispositif (par exemple des traitements de surface réfléchissants, polarisants ou absorbants), à minimiser les risques de capter une lumière parasite. Toutefois, le coût élevé de ce type de traitement est souvent incompatible avec une application dans le domaine automobile.These efforts relate in particular to the physical optimization of optical image acquisition devices. Certain approaches aim, for example, by means of treatments applied to the optical elements (the lenses in particular) of the device (for example reflective, polarizing or absorbent surface treatments), to minimize the risks of picking up stray light. However, the high cost of this type of treatment is often incompatible with an application in the automotive field.

Ces efforts portent aussi sur des traitements numériques visant à compenser, a posteriori, les défauts éventuels des images acquises. C’est le cas notamment de l’imagerie à grande gamme dynamique HDR (de l’anglais « HighThese efforts also relate to digital processing aimed at compensating, a posteriori, for any defects in the acquired images. This is particularly the case with high dynamic range HDR imagery (from English "High

Dynamic Range »), qui s’appuie sur l’acquisition (quasi-)simultanée d’images présentant différentes durées d’exposition pour améliorer le rendu/la fidélité de ces images. Plus précisément, en combinant différentes images acquises avec des temps d’exposition respectifs plus ou moins longs, on forme une seule image évitant la surexposition et/ou la sous-exposition de certaines zones de l’image. Les zones très sombres et les zones très lumineuses peuvent ainsi être représentées simultanément et de manière fidèle sur une unique image.Dynamic Range "), which is based on the (almost) simultaneous acquisition of images with different exposure times to improve the rendering / fidelity of these images. More specifically, by combining different acquired images with respective shorter or longer exposure times, a single image is formed, avoiding overexposure and / or underexposure of certain areas of the image. Very dark areas and very bright areas can thus be represented simultaneously and faithfully on a single image.

A titre d’exemple, le brevet US 9,307,207 B2 divulgue une méthode d’acquisition HDR dans laquelle l’éblouissement de certaines zones du capteur d’une caméra (en anglais « glare ») est réduit grâce à l’acquisition et la combinaison de deux images acquises avec des durées d’exposition respectivement longue et courte.For example, US Patent 9,307,207 B2 discloses an HDR acquisition method in which the glare of certain areas of the sensor of a camera (in English "glare") is reduced thanks to the acquisition and the combination of two images acquired with long and short exposure times respectively.

Une telle approche impose des conditions strictes de stabilité à la fois pour éviter le flou éventuel lié à une durée d’exposition longue et pour que les deux images puissent être combinées correctement. Par ailleurs, la solution proposée dans ce document implique aussi une détermination des parties d’une image surexposées s’appuyant sur l’observation d’un niveau de luminosité prédéterminé associé à une source connue. Toutefois, du fait de la diversité des situations réelles, dès lors qu’il s’agit bien d’une surexposition et non d’une saturation, le seuil à partir duquel une partie d’image est considérée comme étant surexposée peut être très difficile à déterminer.Such an approach imposes strict stability conditions both to avoid possible blurring linked to a long exposure time and so that the two images can be combined correctly. Furthermore, the solution proposed in this document also involves determining the parts of an overexposed image based on the observation of a predetermined level of brightness associated with a known source. However, due to the diversity of real situations, since it is indeed an overexposure and not a saturation, the threshold from which an image part is considered to be overexposed can be very difficult to be determined.

Cette technique n’est donc adaptée qu’à la correction de zones saturées d’une image, voire, éventuellement, à celle de zones surexposées dans certains cas précis et restrictifs. En revanche, elle ne permet pas de corriger un effet de type flare. Une image affectée par ce type d’effet restera donc dégradée, notamment en termes de contraste ou de balance des couleurs, en dépit de l’emploi de ce type de méthode HDR.This technique is therefore only suitable for correcting saturated areas of an image, or even, possibly, that of overexposed areas in certain precise and restrictive cases. However, it does not correct a flare type effect. An image affected by this type of effect will therefore remain degraded, in particular in terms of contrast or color balance, despite the use of this type of HDR method.

Finalement, les deux approches discutées ci-avant sont limitées puisqu’elles ne permettent en aucun cas de s’affranchir de manière certaine de tous les effets liés à la captation de lumière parasite. De ce fait, l’enjeu reste crucial, dans le cadre de l’utilisation d’images numériques par un ADAS, de savoir si une image est affectée ou non par ce type d’effet et, par la suite, si elle est exploitable ou non en tant que telle par l’ADAS.Finally, the two approaches discussed above are limited since they in no way make it possible to overcome with certainty all the effects linked to the capture of stray light. Therefore, the issue remains crucial, in the context of the use of digital images by an ADAS, to know if an image is affected or not by this type of effect and, subsequently, if it is exploitable. or not as such by ADAS.

Le brevet US 9,497,427 B2 divulgue notamment une méthode comprenant un algorithme de détection de la présence de flare dans une image. L’algorithme s’appuie pour cela sur une analyse des différences/changements de couleurs de pixels voisins (dans l’image numérique acquise par le capteur de la caméra) pour reconnaître des formes ou des contours caractéristiques de la présence de lumière parasite dans l’image. Il s’emploie par ailleurs à discriminer ces changements de ceux éventuellement liés à la présence, dans l’image, d’un bord d’un objet quelconque qui est susceptible de produire des effets similaires. Toutefois, cette méthode présuppose de pouvoir établir clairement une « signature géométrique » de la présence de lumière parasite dans l’image.US Patent 9,497,427 B2 notably discloses a method comprising an algorithm for detecting the presence of flare in an image. The algorithm relies for this on an analysis of the differences / color changes of neighboring pixels (in the digital image acquired by the camera sensor) to recognize shapes or contours characteristic of the presence of stray light in the 'picture. He also works to distinguish these changes from those possibly linked to the presence, in the image, of an edge of any object which is likely to produce similar effects. However, this method presupposes being able to clearly establish a "geometric signature" of the presence of stray light in the image.

De plus, l’algorithme utilisé ici réalise ses différentes opérations sur une matrice à deux dimensions (2D), à savoir la matrice de pixels du capteur de la caméra, afin de prendre en compte la notion de voisinages en X et/ou en Y. Autrement dit, chaque opération est potentiellement coûteuse en ressources de calculs et en mémoire pour mener à bien les opérations des algorithmes associés à ce type de méthodes.In addition, the algorithm used here performs its various operations on a two-dimensional (2D) matrix, namely the pixel matrix of the camera sensor, in order to take into account the notion of neighborhoods in X and / or in Y In other words, each operation is potentially costly in computing resources and in memory to carry out the operations of the algorithms associated with this type of method.

L'invention vise à supprimer, ou du moins atténuer, tout ou partie des inconvénients de l'art antérieur précités.The invention aims to eliminate, or at least mitigate, all or part of the disadvantages of the aforementioned prior art.

A cet effet, un premier aspect de l’invention propose un procédé de détection dynamique d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique pendant une durée d’exposition t, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB et donnant un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et avec en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B, ledit procédé comprenant, lors de l’acquisition d’au moins une image numérique par le dispositif optique :To this end, a first aspect of the invention proposes a method for dynamic detection of a stray light trace in a digital image acquired by an optical device during an exposure time t, said image being represented in a color space YUV deductible from the RGB color space and giving a triplet of R, G and B components to all the pixels of the image, by a luminance component Y, a first chrominance component U resulting from the difference between the components B and G , and a second chrominance component V resulting from the difference between the components R and G, and with in addition an additional component S describing the chromatic saturation and which results from the difference between the maximum of the components R, G and B and the minimum R, G and B components, said method comprising, during the acquisition of at least one digital image by the optical device:

• le calcul, pour l’ensemble des pixels de l’image numérique, d’une distribution statistique Sh des valeurs de la saturation chromatique S et la détermination de la largeur de cette distribution nommée Sh_w à une hauteur déterminée ;• the calculation, for all the pixels of the digital image, of a statistical distribution Sh of the values of the chromatic saturation S and the determination of the width of this distribution called Sh _w at a determined height;

• la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur maximum de la luminance Y nommée Y_max ;• the determination, on all the pixels of the digital image, of the maximum value of the luminance Y named Y _ma x;

• le filtrage temporel, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs de la largeur de cette distribution Sh_w, du maximum de la luminance Y_max et de la durée d’exposition t ;• the temporal filtering, for a determined number of digital images acquired successively, by a determined filtering function, of the values of the width of this distribution Sh _w , of the maximum of the luminance Y _ma x and of the duration of exposure t ;

• la vérification de la détection d’une trace de lumière parasite, la détection étant considérée positive si, et uniquement si :• verification of the detection of a stray light trace, the detection being considered positive if, and only if:

- la valeur filtrée de la largeur de cette distribution Sh_w est inférieure à un seuil de saturation chromatique déterminé ; et- the filtered value of the width of this distribution Sh _w is less than a determined chromatic saturation threshold; and

- la valeur filtrée du maximum de la luminance Y_max est supérieure à un premier seuil de luminance déterminé.- the filtered value of the maximum luminance Y _ma x is greater than a first determined luminance threshold.

Des modes de réalisation pris isolément ou en combinaison, prévoient en outre que :Embodiments taken individually or in combination, further provide that:

• la détection d’une trace de lumière parasite est en outre considérée positive si :• the detection of a stray light trace is also considered positive if:

- la valeur filtrée de la durée d’exposition t est inférieure à un seuil déterminé, • le procédé comprend en outre :- the filtered value of the exposure time t is less than a determined threshold, • the method further comprises:

- la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la première composante de chrominance U respectivement nommées Umi_net U_max ;the determination, over all of the pixels of the digital image, of the minimum value and the maximum value of the first chrominance component U respectively named Umi _n and U _ma x;

- la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la seconde composante de chrominance V respectivement nommées V_minet Vm_ax ,the determination, over all of the pixels of the digital image, of the minimum value and the maximum value of the second chrominance component V respectively named V _min and Vm _a x,

- la détermination de la valeur maximum S_max de la composante saturation chromatique S ;- determining the maximum value S _ma x of the chromatic saturation component S;

- le calcul d’une valeur de différence de la première composante de la chrominance Llmt en soustrayant la valeur minimum Umin de la première composante de chrominance U à la valeur maximum U_max de la première composante de chrominance U ;- calculating a difference value of the first component of the chrominance Llmt by subtracting the minimum value Umin of the first chrominance component U from the maximum value U _ma x of the first chrominance component U;

- le calcul d’une valeur de différence de la seconde composante de la chrominance V_Diff en soustrayant la valeur minimum V_min de la seconde composante de chrominance V à la valeur maximum V_maxde la seconde composante de chrominance V ;- calculating a difference value of the second component of the chrominance V _D iff by subtracting the minimum value V _min of the second component of chrominance V from the maximum value V _max of the second component of chrominance V;

- l’application du filtrage temporel à chacune des valeurs précédentes ; et- the application of time filtering to each of the previous values; and

- lors de la vérification de la détection d’une trace de lumière parasite, la valeur filtrée du maximum de la luminance Y_max est supérieure à un premier seuil de luminance déterminé, ladite détection étant considérée positive en outre si :- during the verification of the detection of a stray light trace, the filtered value of the maximum of the luminance Y _ma x is greater than a first determined luminance threshold, said detection being considered positive in addition if:

• la valeur filtrée de la valeur de différence de la seconde composante de la chrominance V_Diff est inférieure à un premier seuil de chrominance déterminé ; et, • la valeur filtrée de la valeur de différence de la première composante de la chrominance UDiff est inférieure à un second seuil de chrominance déterminé ; et, • la valeur filtrée de la valeur maximum de la composante saturation chromatique S_max est inférieure à un seuil déterminé ; et, • la valeur filtrée du maximum de la luminance Y_max est supérieure à un second seuil de luminance déterminé inférieur au premier seuil de luminance, • toutes les déterminations de valeurs minimum ou maximum d’une composante sont uniquement obtenues pour une partie seulement des pixels de l’image numérique correspondant à une région d’intérêt prédéterminée, • le procédé comprend en outre la vérification de la détection négative d’une trace de lumière parasite, la détection étant considérée négative si, et uniquement si :• the filtered value of the difference value of the second component of the chrominance V _D iff is less than a first determined chrominance threshold; and, • the filtered value of the difference value of the first component of the chrominance UDiff is less than a second determined chrominance threshold; and, • the filtered value of the maximum value of the chromatic saturation component S _ma x is less than a determined threshold; and, • the filtered value of the maximum of the luminance Y _ma x is greater than a second determined luminance threshold lower than the first luminance threshold, • all the determinations of minimum or maximum values of a component are only obtained for a part only pixels of the digital image corresponding to a predetermined region of interest, • the method further comprises verifying the negative detection of a stray light trace, the detection being considered negative if, and only if:

- la valeur filtrée de la durée d’exposition t est supérieure à un seuil déterminé ; et- the filtered value of the exposure time t is greater than a determined threshold; and

- la valeur filtrée du maximum de la luminance Y_max est inférieure à un seuil déterminé, • la fonction de filtrage du filtrage temporel est une fonction de type passe-bas où l’équation régissant le calcul d’une valeur filtrée pour la n^iéme image d’une séquence d’images acquises est du type :- the filtered value of the maximum luminance Y _ma x is less than a determined threshold, • the filtering function of the time filtering is a low-pass type function where the equation governing the calculation of a filtered value for the n ^ith image of a sequence of acquired images is of the type:

valeur_filtrée(n) = valeur_filtrée(n-1) x a + valeur_nonfiltrée(n) x (1- a) où n est un nombre entier et où a est une valeur prédéterminée comprise entre 0 et 1, • si une image numérique acquise résulte d’une combinaison de plusieurs images avec plusieurs durées d’exposition différentes, alors la valeur de la durée d’exposition t utilisée par le procédé pour analyser cette image numérique est la valeur de la durée d’exposition la plus courte des différentes acquisitions qui en sont à l’origine.filtered_value (n) = filtered_value (n-1) xa + non-filtered_value (n) x (1- a) where n is an integer and where a is a predetermined value between 0 and 1, • if an acquired digital image results from 'a combination of several images with several different exposure durations, then the value of the exposure duration t used by the method to analyze this digital image is the value of the shortest exposure duration of the different acquisitions which are at the origin.

• le dispositif optique est une caméra vidéo numérique composée d’au moins une lentille et d’un capteur photographique.• the optical device is a digital video camera composed of at least one lens and a photographic sensor.

• la caméra vidéo numérique est embarquée dans un véhicule automobile et fait partie d’un système d’aide à la conduite automobile dudit véhicule automobile.• the digital video camera is on board a motor vehicle and is part of a driving assistance system for said motor vehicle.

Selon un second aspect, l’invention a également pour objet un dispositif de détection dynamique d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique pendant un temps d’exposition t, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB qui donne un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B, ledit dispositif comprenant des moyens pour, lors de l’acquisition d’au moins une image numérique par le dispositif optique :According to a second aspect, the invention also relates to a device for dynamically detecting a trace of stray light in a digital image acquired by an optical device during an exposure time t, said image being represented in a color space YUV deductible from the RGB color space which gives a triplet of R, G and B components to all the pixels of the image, by a luminance component Y, a first chrominance component U resulting from the difference between the components B and G , and a second chrominance component V resulting from the difference between the components R and G, and in addition an additional component S describing the chromatic saturation and which results from the difference between the maximum of the components R, G and B and the minimum of components R, G and B, said device comprising means for, during the acquisition of at least one digital image by the optical device:

• calculer, pour l’ensemble des pixels de l’image numérique, au moins une distribution statistique, à partir d’au moins une des valeurs correspondant à une composante de l’image, et déterminer la largeur de cette au moins une distribution à une hauteur déterminée ;• calculate, for all the pixels of the digital image, at least one statistical distribution, from at least one of the values corresponding to a component of the image, and determine the width of this at least one distribution at a determined height;

• déterminer, sur l’ensemble des pixels de l’image numérique, au moins une valeur minimum et une valeur maximum pour au moins une composante de l’image ;• determine, on all the pixels of the digital image, at least a minimum value and a maximum value for at least one component of the image;

• filtrer temporellement, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs déterminées pour des composantes de l’image ; et • vérifier la détection d’une trace de lumière parasite en comparant des valeurs filtrées ou non avec des seuils déterminés et en considérant la détection positive en fonction du résultat de ces comparaisons, et le dispositif étant adapté pour mettre en œuvre toutes les étapes d’un procédé selon le premier aspect.• temporally filter, for a determined number of digital images acquired successively, by a determined filtering function, determined values for components of the image; and • check the detection of a stray light trace by comparing filtered or unfiltered values with determined thresholds and considering positive detection as a function of the result of these comparisons, and the device being adapted to implement all of the steps d 'a method according to the first aspect.

Selon un troisième aspect, l’invention a enfin pour objet un système d’aide à la conduite automobile comprenant un dispositif, conforme au dispositif selon le second aspect de l’invention, apte à mettre en œuvre toutes les étapes du procédé selon l’un quelconque des modes de réalisation du procédé selon le premier aspect de l’invention.According to a third aspect, the invention finally relates to a driving assistance system comprising a device, in accordance with the device according to the second aspect of the invention, capable of implementing all the steps of the method according to the any of the embodiments of the method according to the first aspect of the invention.

D’autres caractéristiques et avantages de l’invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels :Other characteristics and advantages of the invention will become apparent on reading the description which follows. This is purely illustrative and should be read in conjunction with the accompanying drawings in which:

- la Figure 1 est une représentation schématique d’un véhicule automobile équipé d’une caméra vidéo pour l’aide à la conduite ;- Figure 1 is a schematic representation of a motor vehicle equipped with a video camera for driving assistance;

- la Figure 2 est un diagramme d’étapes d’un mode de réalisation du procédé selon l’invention ; et- Figure 2 is a diagram of steps of an embodiment of the method according to the invention; and

- la Figure 3 est un diagramme d’étapes d’un autre mode de réalisation du procédé selon l’invention.- Figure 3 is a step diagram of another embodiment of the method according to the invention.

Dans la description de modes de réalisation qui va suivre et dans les figures des dessins annexés, les mêmes éléments ou des éléments similaires portent les mêmes références numériques.In the description of embodiments which follows and in the figures of the appended drawings, the same or similar elements bear the same numerical references.

La Figure 1 montre de façon schématique le fonctionnement d’une caméra vidéo 102 embarquée dans une voiture 101 pour fournir des images à un système d’aide à la conduite automobile, ADAS (non représenté).Figure 1 schematically shows the operation of a video camera 102 on board a car 101 to provide images to a driving assistance system, ADAS (not shown).

Dans l’exemple représenté, la caméra scrute l’environnement immédiat du véhicule automobile dans sa direction de déplacement avant. La caméra vidéo fournissant des images numériques, celles-ci peuvent être analysées par une unité de traitement de l’ADAS pour y détecter des objets ou des événements spécifiques. L’ADAS peut ainsi exploiter les informations contenues dans les images acquises par la caméra 102 pour prendre une décision ou déclencher une action d’aide à la conduite.In the example shown, the camera scans the immediate environment of the motor vehicle in its forward direction of travel. Since the video camera provides digital images, these can be analyzed by an ADAS processing unit to detect specific objects or events. ADAS can thus use the information contained in the images acquired by camera 102 to make a decision or trigger a driving assistance action.

Par exemple, si un piéton rentre brusquement dans le champ de vision 103 de la caméra 102, et s’il est reconnu comme tel, alors l’ADAS pourra déclencher un freinage d’urgence. Dans un autre exemple, si un feu tricolore se trouve dans le champ de vision 103 et que l’unité de traitement de l’ADAS est capable d’en reconnaître la couleur, l’ADAS pourra répercuter cette information au conducteur du véhicule ou, le cas échéant, bloquer l’avancée du véhicule en cas de feu rouge.For example, if a pedestrian suddenly enters the field of vision 103 of the camera 102, and if he is recognized as such, then the ADAS will be able to trigger an emergency braking. In another example, if a three-color light is in the field of vision 103 and the processing unit of the ADAS is capable of recognizing the color thereof, the ADAS may transmit this information to the driver of the vehicle or, if necessary, block the vehicle's advance in the event of a red light.

Ces exemples ne sont qu’une partie des situations dans lesquelles l’utilisation d’une ou de plusieurs caméra(s) peut fournir des images à un ADAS à l’origine de la réalisation de certaines de ces fonctionnalités.These examples are only part of the situations in which the use of one or more camera (s) can provide images to an ADAS at the origin of the realization of some of these functionalities.

Par ailleurs, il apparaît clairement que dans une telle situation les circonstances conduisant à la captation de lumière parasite par la caméra 102 peuvent être nombreuses. De multiples causes de la présence de traces de lumière parasites dans les images acquises par la caméra peuvent survenir. Il peut s’agir, par exemple, d’un reflet du soleil situé en dehors du champ de vision 103 mais capté non intentionnellement. Il peut également s’agir de la lumière d’un phare observé intentionnellement mais empruntant un chemin optique alternatif dans la caméra 102. Ces exemples ne sont pas limitatifs.Furthermore, it clearly appears that in such a situation the circumstances leading to the capture of stray light by the camera 102 can be numerous. Multiple causes of the presence of stray light in the images acquired by the camera can occur. It can be, for example, a reflection of the sun located outside the field of vision 103 but captured unintentionally. It may also be the light of a lighthouse intentionally observed but using an alternative optical path in the camera 102. These examples are not limiting.

En référence à la Figure 2, nous allons maintenant décrire un mode de réalisation du procédé selon l’invention.Referring to Figure 2, we will now describe an embodiment of the method according to the invention.

Le procédé décrit ici a pour objectif de déterminer si une image est affectée par des traces de lumière parasite ou non. Par image, on entend ici une image numérique, acquise par un dispositif optique et électronique, composée d’une matrice de pixels couvrant toute la surface de l’image. Le procédé est donc applicable à une image numérique acquise par différents types de dispositifs optiques dès lors que celle-ci est acquise in fine par un capteur numérique (imageur CMOS ou CCD, par exemple) à même de convertir le signal optique en une image numérique, c’est-àdire en valeurs numériques. C’est par exemple le cas d’une caméra vidéo numérique ou d’un appareil photo numérique.The purpose of the method described here is to determine whether an image is affected by traces of stray light or not. By image is meant here a digital image, acquired by an optical and electronic device, composed of a matrix of pixels covering the entire surface of the image. The method is therefore applicable to a digital image acquired by different types of optical devices as soon as it is acquired in fine by a digital sensor (CMOS or CCD imager, for example) capable of converting the optical signal into a digital image , i.e. in numerical values. This is for example the case of a digital video camera or a digital camera.

Dans un premier temps, l’image numérique issue de ce type de dispositifs optiques et à laquelle s’applique l’invention est, classiquement, représentée dans l’espace colorimétrique RGB (de l’anglais Red, Green and Blue) ou RVB en français (pour Rouge, Vert, Bleu). Il s’agit d’une représentation, connue de l’Homme du métier, impliquant que chaque pixel de l’image est composé de trois composantes différentes respectivement rouge, verte et bleue, où l’intensité de chaque composante détermine la coloration d’un pixel alors que l’intensité cumulée de ces différentes composantes détermine sa luminance (c’est-à-dire la sensation de luminosité perçue pour ce pixel).Initially, the digital image resulting from this type of optical devices and to which the invention applies is, conventionally, represented in the color space RGB (from English Red, Green and Blue) or RGB in French (for Red, Green, Blue). It is a representation, known to those skilled in the art, implying that each pixel of the image is composed of three different components respectively red, green and blue, where the intensity of each component determines the coloring of a pixel while the cumulative intensity of these different components determines its luminance (that is to say the sensation of luminosity perceived for this pixel).

Toutefois, pour des raisons pratiques qui apparaîtront plus clairement à la lumière de la description des étapes du procédé qui va suivre, le procédé s’appuie, dans ses différentes variantes, sur l’utilisation/l’analyse d’images numériques représentées dans un autre espace colorimétrique dit espace YUV. Il est en effet avantageux d’utiliser cet autre espace colorimétrique que l’espace RGB, dans lequel les composantes (valeurs) de chaque pixel peuvent être directement obtenues par transformation à partir de ses composantes dans l’espace RGB. Plus précisément, les composantes Y, U, V et S telles que décrites ci-après sont par exemple obtenues à partir des composantes R, G et B d’une image couleur reconstruite par l’application d’un algorithme de « dématriçage » ou « démosaïquage » (« demosaicing » en anglais) connu en soi de l’Homme du métier, sur l’image brute initiale au format RGB.However, for practical reasons which will appear more clearly in the light of the description of the stages of the process which will follow, the process is based, in its different variants, on the use / analysis of digital images represented in a another color space called the YUV space. It is in fact advantageous to use this other color space than the RGB space, in which the components (values) of each pixel can be directly obtained by transformation from its components in the RGB space. More precisely, the components Y, U, V and S as described below are for example obtained from the components R, G and B of a color image reconstructed by the application of a “demosaicing” algorithm or “Demosaicing” (“demosaicing” in English) known per se to those skilled in the art, on the initial raw image in RGB format.

Ainsi, les composantes des images exploitées, dans le cadre de l’invention, sont les suivantes :Thus, the components of the images used, within the framework of the invention, are the following:

• Y est une composante de luminance résultant de la somme des composantes d’origine R, G et B ;• Y is a luminance component resulting from the sum of the original components R, G and B;

• U est une première composante dite de chrominance résultant de la différence entre les composantes d’origine B et G ; et, • V est une seconde composante dite de chrominance résultant de la différence entre les composantes d’origine R et G.• U is a first so-called chrominance component resulting from the difference between the original components B and G; and, • V is a second so-called chrominance component resulting from the difference between the original components R and G.

En complément de ces trois composantes, liées à l’espace colorimétrique de représentation de l’image exploitée dans le cadre du procédé, une quatrième composante est utilisée pour la mise en œuvre des étapes du procédé. Cette quatrième composante est aussi directement liée aux composantes d’origine R, G et B. En effet, la composante S, dite composante de saturation chromatique résulte, quant à elle, de la différence entre le maximum des trois composantes R, G et B et le minimum de ces mêmes composantes.In addition to these three components, linked to the color space for representing the image used in the process, a fourth component is used to implement the process steps. This fourth component is also directly linked to the original components R, G and B. Indeed, the S component, known as the chromatic saturation component, results from the difference between the maximum of the three components R, G and B and the minimum of these same components.

Enfin, en plus de l’ensemble des paramètres décrits jusqu’ici, un autre paramètre peut être pris en compte pour la réalisation des étapes du procédé : il s’agit de la durée d’exposition t de chaque image numérique. Chaque image, acquise par exemple par une caméra vidéo, peut en effet l’avoir été pendant une durée d’exposition variable en fonction des conditions d’éclairage.Finally, in addition to all of the parameters described so far, another parameter can be taken into account for carrying out the steps of the method: it is the exposure time t of each digital image. Each image, acquired for example by a video camera, may in fact have been acquired during a variable exposure period depending on the lighting conditions.

Par ailleurs, l’Homme du métier appréciera que, dans le cas où l’image analysée serait elle-même issue d’une combinaison d’images, par exemple dans le cas d’une acquisition par imagerie à grande gamme dynamique HDR, la valeur de la durée d’exposition retenue comme valeur d’entrée du procédé dans ses différentes variantes de mise en œuvre sera la valeur la plus courte des différentes durées d’exposition des images à l’origine de la combinaison.Furthermore, those skilled in the art will appreciate that, in the case where the image analyzed is itself derived from a combination of images, for example in the case of acquisition by high dynamic range HDR imaging, the value of the duration of exposure retained as input value of the process in its different implementation variants will be the shortest value of the different durations of exposure of the images at the origin of the combination.

Ainsi, dans le mode de réalisation du procédé présenté ci-après en référence à la Figure 2, les paramètres, issus d’une image numérique acquise et utilisés comme entrée de l’algorithme selon le procédé, sont représentés à l’étape 201. Il s’agit du temps d’exposition t, de la saturation chromatique S et de la luminance Y.Thus, in the embodiment of the method presented below with reference to FIG. 2, the parameters, originating from a digital image acquired and used as input to the algorithm according to the method, are represented in step 201. These are the exposure time t, the chromatic saturation S and the luminance Y.

L’étape 202 consiste ensuite, dans un premier temps, à obtenir une distribution statistique Sh de toutes les valeurs de la saturation chromatique S pour tous les pixels de l’image traitée. Par exemple, pour une image numérique de 2 mégapixels, on balaye l’intégralité des pixels pour déterminer la valeur de la saturation chromatique S associée à chaque pixel afin d’obtenir cette distribution. Ainsi la distribution Sh donne, pour chaque valeur de S possible (par exemple de 0 à 255), le nombre de pixels de l’image ayant cette valeur.Step 202 then consists, firstly, in obtaining a statistical distribution Sh of all the values of the chromatic saturation S for all the pixels of the image processed. For example, for a digital image of 2 megapixels, we scan all the pixels to determine the value of the chromatic saturation S associated with each pixel in order to obtain this distribution. Thus the distribution Sh gives, for each possible value of S (for example from 0 to 255), the number of pixels of the image having this value.

Dans un second temps, l’étape 202 consiste aussi à déterminer la largeur Sh_w de cette distribution Sh à une hauteur donnée. Une telle distribution, obtenue à partir d’une image acquise en conditions réelles, présente en effet un maximum et une forme typique permettant de déterminer une largeur à une certaine hauteur de la distribution. Le choix de cette hauteur, selon des modes de mise en œuvre, peut dépendre directement du profil d’éclairage de la scène capturée par l’image acquise. Plus précisément, l’expérience montre qu’une image en couleurs affectée par la présence de lumière parasite voit la forme de sa distribution devenir plus étroite que lorsqu’aucune trace de lumière parasite n’affecte cette image. Si la distribution est large, on peut donc conclure que l’image n’est pas affectée par une trace de lumière parasite. En revanche, d’autres profils d’image peuvent présenter une forme de distribution étroite sans être affectés par la trace d’une lumière parasite. C’est pourquoi on introduit l’étape 203, s’appuyant sur un autre critère, pour détecter la trace de lumière parasite.In a second step, step 202 also consists in determining the width Sh _w of this distribution Sh at a given height. Such a distribution, obtained from an image acquired in real conditions, has indeed a maximum and a typical shape making it possible to determine a width at a certain height of the distribution. The choice of this height, according to implementation modes, can depend directly on the lighting profile of the scene captured by the acquired image. More precisely, experience shows that a color image affected by the presence of stray light sees the shape of its distribution become narrower than when no trace of stray light affects this image. If the distribution is wide, we can therefore conclude that the image is not affected by a trace of stray light. Other image profiles, on the other hand, may exhibit a form of narrow distribution without being affected by the trace of stray light. This is why step 203, based on another criterion, is introduced to detect the stray light trace.

L’étape 203 consiste à déterminer la valeur maximum Y_max, sur l’ensemble des pixels de l’image, du paramètre de luminance Y. De la même façon que pour pouvoir établir la distribution Sh à partir de la saturation chromatique S, l’ensemble des pixels de l’image est balayé afin d’extraire, de toute la matrice de pixels, la valeur de luminance Y la plus élevée. Cette valeur permet notamment d’établir, à travers sa proximité avec la valeur maximum possible qui correspond à la saturation d’un pixel, le fait qu’au moins une zone de l’image est surexposée ou saturée, par exemple. En ce sens, elle donne une indication supplémentaire de la présence ou non d’une trace liée à la présence de lumière parasite dans une image. Elle permet en particulier de discriminer le fait qu’une distribution étroite, éventuellement observée à l’étape 202, est liée à des conditions naturelles d’éclairage (par exemple un temps nuageux ou pluvieux) ou à la présence de lumière parasite dans l’image.Step 203 consists in determining the maximum value Y _max , over all the pixels of the image, of the luminance parameter Y. In the same way as in order to be able to establish the distribution Sh from the chromatic saturation S, l the whole of the pixels of the image is scanned in order to extract, from the entire pixel matrix, the highest luminance value Y. This value makes it possible in particular to establish, through its proximity to the maximum possible value which corresponds to the saturation of a pixel, the fact that at least one area of the image is overexposed or saturated, for example. In this sense, it gives an additional indication of the presence or not of a trace linked to the presence of stray light in an image. It makes it possible in particular to discriminate the fact that a narrow distribution, possibly observed in step 202, is linked to natural lighting conditions (for example cloudy or rainy weather) or to the presence of stray light in the picture.

L’Homme du métier appréciera que, dans un autre mode de réalisation du procédé, l’ordre des deux étapes 202 et 203 peut être inversé sans que cela ne modifie le reste du déroulement du procédé. De plus, la valeur de luminance maximum Y_max peut aussi, dans un autre mode de réalisation, être déterminée pour une partie seulement des pixels de l’image. On parle d’une région d’intérêt (en anglais « Région Of Interest» ou ROI) de l’image qui est analysée préférentiellement par l’ADAS, notamment dans le cas où il est attendu que la caméra observe un objet ou un évènement précis dans une zone spécifique de son champ de vision.Those skilled in the art will appreciate that, in another embodiment of the method, the order of the two steps 202 and 203 can be reversed without this modifying the rest of the course of the process. In addition, the maximum luminance value Y _max can also, in another embodiment, be determined for only part of the pixels of the image. We are talking about a region of interest (in English “Region Of Interest” or ROI) of the image which is preferentially analyzed by the ADAS, in particular in the case where it is expected that the camera observes an object or an event precise in a specific area of his field of vision.

L’étape 204 consiste à interroger plusieurs conditions, portant sur les paramètres utilisés ou déterminés au cours des étapes précédentes, pour vérifier si une trace de lumière parasite est détectée ou non dans l’image. Dans le cas décrit ici, les valeurs de temps d’exposition t, de largeur Sh_w de la distribution statistique Sh des valeurs de la saturation chromatique et de luminance maximum Y_max sont comparées à des seuils pour déterminer si une trace de lumière parasite est détectée ou non.Step 204 consists in interrogating several conditions, relating to the parameters used or determined during the preceding steps, to verify whether a stray light streak is detected or not in the image. In the case described here, the values of exposure time t, of width Sh _w of the statistical distribution Sh of the values of chromatic saturation and of maximum luminance Y _max are compared with thresholds to determine whether a trace of stray light is detected or not.

S’agissant de la valeur du temps d’exposition t, son utilisation s’appuie sur le fait que, typiquement, pour une caméra ajustant automatiquement son temps d’exposition à la luminosité d’une scène, l’information d’un temps d’exposition signifie que la scène observée est sombre. Ainsi, la probabilité d’avoir de la lumière parasite est nulle.Regarding the value of the exposure time t, its use is based on the fact that, typically, for a camera automatically adjusting its exposure time to the brightness of a scene, the information of a time exposure means that the observed scene is dark. Thus, the probability of having stray light is zero.

La comparaison des trois valeurs différentes t, Sh_w et Y_max à des valeurs seuils données, qui sont déterminées en fonction des caractéristiques spécifiques du capteur utilisé, apporte donc trois informations complémentaires dans la détection d’une trace de lumière parasite. Ceci rend donc cette approche d’autant plus robuste. Cela étant, la comparaison portant sur la valeur de temps d’exposition t peut être considérée comme non essentielle à la vérification opérée par le procédé sur une image. C’est pourquoi une variante du procédé peut consister à réaliser les mêmes étapes sans exploiter la valeur temps d’exposition t.The comparison of the three different values t, Sh _w and Y _ma x to given threshold values, which are determined as a function of the specific characteristics of the sensor used, therefore provides three additional pieces of information in the detection of a stray light trace. This therefore makes this approach all the more robust. However, the comparison relating to the value of exposure time t can be considered not essential to the verification carried out by the method on an image. This is why a variant of the process can consist in carrying out the same steps without exploiting the exposure time value t.

Finalement, dans le mode de réalisation illustré par la Figure 2, on considère qu’une image est affectée par la trace d’une lumière parasite si elle remplit trois conditions simultanément. Plus précisément, si la valeur de temps d’exposition t est inférieure à un seuil t_th, si la valeur de largeur Sh_w est inférieure à un seuil Sh_w_th et si la valeur de luminance mamimum Y_max est supérieure à un seuil Ymaxjhi. Dans l’affirmative, l’algorithme considère qu’une trace de lumière a été détectée pour l’image analysée. Dans le cas contraire, l’image est considérée comme vierge de toute trace de lumière parasite.Finally, in the embodiment illustrated in Figure 2, we consider that an image is affected by the trace of stray light if it fulfills three conditions simultaneously. More precisely, if the exposure time value t is less than a threshold t _t h, if the width value Sh _w is less than a threshold Sh _w _th and if the luminance value mamimum Y _max is greater than a threshold Ymaxjhi. If so, the algorithm considers that a trace of light has been detected for the image analyzed. Otherwise, the image is considered to be free of any stray light.

L’étape 205 reprend alors le résultat de l’étape 204 sous la forme du résultat délivré par le procédé indiquant à destination de l’ADAS ou d’un utilisateur quelconque de l’image, si l’image est ou non affectée par la présence de lumière parasite.Step 205 then resumes the result of step 204 in the form of the result delivered by the method indicating to the ADAS or to any user of the image, whether the image is affected by the presence of stray light.

Avantageusement, le procédé n’effectue pas d’opérations complexes sur une image 2D pour obtenir ce résultat mais s’appuie sur des signaux en 1D, c’est-àdire une série des N x M pixels de l’image considérés en séquence, pour une image, à l’origine, de N lignes et M colonnes (où N et M sont des nombres entiers). De plus, le procédé utilise des valeurs qui peuvent être aisément déduites d’un espace de couleur donné pour faire des comparaisons, à savoir l’espace colorimétrique associé à la caméra d’acquisition comme le système RGB dans l’exemple. De ce fait, le procédé ne nécessite pas de ressources de calcul ou de mémoire importantes et peut d’autant plus facilement être implémenté en temps réel pour traiter chaque image numérique acquise, par exemple par une caméra vidéo embarquée dans un véhicule automobile.Advantageously, the method does not perform complex operations on a 2D image to obtain this result but relies on 1D signals, that is to say a series of N x M pixels of the image considered in sequence, for an image, originally, of N rows and M columns (where N and M are whole numbers). In addition, the method uses values that can be easily deduced from a given color space to make comparisons, namely the color space associated with the acquisition camera like the RGB system in the example. Therefore, the method does not require significant computing or memory resources and can more easily be implemented in real time to process each digital image acquired, for example by a video camera on board a motor vehicle.

Par ailleurs, un autre avantage du procédé tient au fait que celui-ci ne nécessite pas de présupposer la forme d’une trace laissée par une lumière parasite dans une image ou, de manière générale, son impact sur l’image en 2 dimensions. La détermination et l’exploitation de signaux 1D et de valeurs simples issues de l’image permettent de détecter si celle-ci est affectée par une lumière parasite ou non.Furthermore, another advantage of the method is that it does not require presupposing the form of a trace left by stray light in an image or, in general, its impact on the image in 2 dimensions. Determining and using 1D signals and simple values from the image can detect whether it is affected by stray light or not.

La Figure 3 illustre un autre mode de réalisation du procédé selon l’invention.Figure 3 illustrates another embodiment of the method according to the invention.

Dans ce mode de réalisation les paramètres d’une image numérique acquise et représentés à l’étape 301 qui sont utilisés en entrée de l’algorithme intègrent, en plus des paramètres de luminance Y, de saturation chromatique S et de temps d’exposition t du mode de mise en œuvre de la Figure 2 déjà décrits plus haut, les paramètres des composantes de chrominance U et V.In this embodiment, the parameters of a digital image acquired and represented in step 301 which are used at the input of the algorithm integrate, in addition to the parameters of luminance Y, of chromatic saturation S and of exposure time t of the mode of implementation of Figure 2 already described above, the parameters of the chrominance components U and V.

L’étape 302 est une étape d’obtention d’une distribution statistique Sh des valeurs de saturation chromatique S et de sa largeur Sh_w identique à l’étape 202 du mode de réalisation de la Figure 2.Step 302 is a step of obtaining a statistical distribution Sh of the chromatic saturation values S and of its width Sh _w identical to step 202 of the embodiment of FIG. 2.

En revanche, lors de l’étape 303 on détermine un ensemble de valeurs utilisées dans la suite du procédé et comprenant :On the other hand, during step 303, a set of values used in the rest of the process is determined and comprising:

• la valeur maximum Y_max de la luminance Y obtenue sur l’ensemble des pixels de l’image ;• the maximum value Y _max of the luminance Y obtained over all the pixels of the image;

• les valeurs minimum Umin et maximum U_max, obtenues sur l’ensemble des pixels de l’image pour la première composante chrominance U ;• the minimum Umin and maximum U _max values obtained over all the pixels of the image for the first chrominance component U;

• les valeurs minimum V_min et maximum V_max, obtenues sur l’ensemble des pixels de l’image pour la seconde composante chrominance V ; et • la valeur maximum S_max de la saturation chromatique S obtenue sur l’ensemble des pixels de l’image.• the minimum V _min and maximum V _max values obtained over all the pixels of the image for the second chrominance component V; and • the maximum value S _max of the chromatic saturation S obtained on all the pixels of the image.

De manière similaire au mode de réalisation de la Figure 2, l’ordre des deux étapes 202 et 203 peut être inversé, et la détermination des valeurs minimum et maximum peut se faire uniquement pour une région d’intérêt donnée dans l’image.Similar to the embodiment of Figure 2, the order of the two steps 202 and 203 can be reversed, and the determination of the minimum and maximum values can be done only for a region of interest given in the image.

L’étape 304 consiste simplement à calculer les valeurs UDitt en soustrayant Umin à U_max et V_Diff en soustrayant V_min à V_max. En effet, ces différences reflètent la dynamique des couleurs de l’image. En ce sens, elles sont une indication supplémentaire de la présence ou non d’une trace de lumière parasite dans l’image (ou la région d’intérêt considérée, le cas échéant) puisque celle-ci tend à réduire ces dynamiques.Step 304 simply consists in calculating the values UDitt by subtracting Umin from U _max and V _D iff by subtracting V _m in from V _max . Indeed, these differences reflect the color dynamics of the image. In this sense, they are an additional indication of the presence or not of a trace of stray light in the image (or the region of interest considered, if applicable) since the latter tends to reduce these dynamics.

Au cours de l’étape 305, l’ensemble des valeurs calculées lors des étapes précédentes et destinées à être utilisées lors des étapes suivantes peuvent avantageusement être filtrées dans le temps sur plusieurs images acquises successivement. Plus précisément, une fonction de filtrage temporel peut être appliquée aux valeurs Ymax, Smax, t, Sh_w, Uûiff et Vûiff. En effectuant, ce type de filtrage sur plusieurs valeurs déterminées pour des acquisitions successives, des effets d’artefacts potentiels qui apparaîtraient sur une seule image au sein d’une séquence peuvent être « lissés », voire supprimés, afin que l’algorithme ne soit pas affecté par de tels artefacts.During step 305, the set of values calculated during the previous steps and intended to be used during the following steps can advantageously be filtered over time on several images acquired successively. More precisely, a temporal filtering function can be applied to the values Ymax, Smax, t, Sh _w , Uûiff and Vûiff. By performing this type of filtering on several values determined for successive acquisitions, the effects of potential artifacts that would appear on a single image within a sequence can be “smoothed”, or even eliminated, so that the algorithm is not not affected by such artifacts.

Ceci peut être obtenu, par exemple, avec une fonction du filtrage temporel de type passe-bas où l’équation régissant le calcul d’une valeur filtrée pour la n^iémeimage d’une séquence d’images acquises est du type :This can be obtained, for example, with a function of temporal filtering of the low-pass type where the equation governing the calculation of a filtered value for the n ^th image of a sequence of acquired images is of the type:

valeurfiltrée(n) = valeur filtrée(n-l) x a + valeur nonfiltrée(n) x (1- a) où n est un nombre entier et où a est une valeur prédéterminée comprise entre 0 et 1, suivant que le filtre est plus ou moins « raide ».filtered value (n) = filtered value (nl) xa + non-filtered value (n) x (1- a) where n is an integer and where a is a predetermined value between 0 and 1, depending on whether the filter is more or less "Stiff".

L’Homme du métier appréciera que ce type de filtrage temporel peut être employé quel que soit le mode de réalisation du procédé implémenté et, en particulier, quels que soient les différents paramètres utilisés pour la détermination de la détection d’une trace de lumière parasite, par le procédé en question.Those skilled in the art will appreciate that this type of temporal filtering can be used regardless of the embodiment of the method implemented and, in particular, whatever the different parameters used for determining the detection of a stray light trace. , by the process in question.

L’étape 306 consiste, de la même façon que pour l’étape 204 relative au mode de réalisation décrit en référence à la Figure 2, à interroger plusieurs conditions. Ces conditions portent sur les paramètres utilisés ou déterminés au cours des étapes précédentes et permettent de vérifier si une trace de lumière parasite est présente dans l’image. Dans ce mode de réalisation, outre les valeurs t, Sh_w et Y_max déjà utilisées dans le mode de réalisation de la Figure 2, les valeurs UDitt, Vdîa et S_max sont aussi comparées à des seuils. De plus, leur comparaison est complétée par une seconde comparaison de la valeur Y_max, déjà comparée avec une première valeur de seuil comme dans le mode de réalisation de la Figure 2, mais avec une seconde valeur de seuil moins restrictive. Autrement dit, un deuxième ensemble de paramètres est comparé à des valeurs seuils pour renforcer encore la robustesse de l’algorithme dans la détection d’une trace de lumière parasite dans l’image.Step 306 consists, in the same way as for step 204 relating to the embodiment described with reference to FIG. 2, in interrogating several conditions. These conditions relate to the parameters used or determined during the preceding steps and make it possible to verify whether a trace of stray light is present in the image. In this embodiment, in addition to the values t, Sh _w and Y _ma x already used in the embodiment of Figure 2, the values UDitt, Vdîa and S _ma x are also compared to thresholds. In addition, their comparison is supplemented by a second comparison of the value Y _max , already compared with a first threshold value as in the embodiment of Figure 2, but with a second less restrictive threshold value. In other words, a second set of parameters is compared with threshold values to further reinforce the robustness of the algorithm in detecting a trace of stray light in the image.

En particulier, les conditions vérifiées à l’étape 306 sont :In particular, the conditions checked in step 306 are:

• la valeur de la largeur Sh_w est inférieure à un seuil déterminé Sh_w_th ; et • la valeur filtrée du temps d’exposition t est inférieure à un seuil déterminé t_th ; et • la valeur filtrée de la luminance maximum Y_max est supérieure à un premier seuil déterminé Y_thi ; et par ailleurs, si cette dernière condition n’est pas remplie, alors les conditions suivantes sont examinées :• the value of the width Sh _w is less than a determined threshold Sh _w _th; and • the filtered value of the exposure time t is less than a determined threshold t _t h; and • the filtered value of the maximum luminance Y _max is greater than a first determined threshold Y _th i; and moreover, if this latter condition is not fulfilled, then the following conditions are examined:

• la valeur filtrée de la différence V_Diff est inférieure à un seuil déterminé ; et • la valeur filtrée de la différence UDiff est inférieure à un seuil déterminé ; et • la valeur filtrée maximum de la saturation chromatique S_max est inférieure à un seuil déterminé ; et • la valeur filtrée maximum de la luminance Y_max est supérieure à un second seuil déterminé Y_th2 inférieur au premier seuil Y_thi.• the filtered value of the difference V _D iff is less than a determined threshold; and • the filtered value of the difference UDiff is less than a determined threshold; and • the maximum filtered value of the chromatic saturation S _max is less than a determined threshold; and • the maximum filtered value of the luminance Y _max is greater than a second determined threshold Y _t h2 less than the first threshold Y _th i.

Dans l’hypothèse de la vérification de toutes ces conditions simultanément, la détection de la présence d’une trace de lumière parasite dans l’image est validée. Autrement dit, à la fin de l’étape 306, la détection d’une trace de lumière parasite est positive (valeur logique 1, ou VRAI). Cet état (la détection de lumière parasite considérée comme positive) est alors conservé en mémoire, par exemple à travers une variable, jusqu’à l’éventuelle vérification de la condition 307 pour une image suivante. Ainsi, lorsque les conditions de l’étape 306 ne sont pas toutes vérifiées, l’étape 307 est réalisée.In the hypothesis of verifying all these conditions simultaneously, the detection of the presence of a trace of stray light in the image is validated. In other words, at the end of step 306, the detection of a stray light trace is positive (logic value 1, or TRUE). This state (the detection of stray light considered as positive) is then kept in memory, for example through a variable, until the possible verification of condition 307 for a following image. Thus, when the conditions of step 306 are not all satisfied, step 307 is carried out.

L’étape 307 est une étape d’invalidation de cette même détection. En particulier, lorsque la détection d’une trace avait été confirmée pour une image précédente, si les conditions de l’étape 307 sont vérifiées pour une image actuelle, alors la détection est infirmée. Dans un exemple où une variable reflète l’état de cette détection, celle-ci peut ainsi, après avoir pris un état correspondant à une détection positive, reprendre l’état correspondant à une détection négative.Step 307 is a step of invalidating this same detection. In particular, when the detection of a trace had been confirmed for a previous image, if the conditions of step 307 are verified for a current image, then the detection is invalidated. In an example where a variable reflects the state of this detection, it can thus, after having taken a state corresponding to a positive detection, resume the state corresponding to a negative detection.

Lors de l’étape 307, les conditions suivantes sont vérifiées :In step 307, the following conditions are verified:

• la valeur filtrée du temps d’exposition t est supérieure à un seuil déterminé ; et • la valeur filtrée de la luminance maximum Y_max est inférieure à un seuil déterminé.• the filtered value of the exposure time t is greater than a determined threshold; and • the filtered value of the maximum luminance Y _max is less than a determined threshold.

Dans l’hypothèse de la vérification de toutes ces conditions simultanément pour une image, la détection de la présence d’une trace de lumière parasite dans l’image est invalidée. Dans le cas contraire, l’état de la détection reste identique à celui qu’il était pour l’image précédente.In the event that all of these conditions are checked simultaneously for an image, the detection of the presence of a stray light trace in the image is invalidated. Otherwise, the detection state remains the same as it was for the previous image.

On notera donc que les conditions examinées lors de l’étape 307 ne sont pas simplement inverses c’est-à-dire symétriques) des conditions examinées lors de l’étape 306. Plus précisément, ces conditions sont différentes en ce qu’elles sont plus exigeantes, c’est-à-dire qu’une fois que la détection de la présence de lumière parasite dans une image a été considérée comme positive de sorte que le dispositif passe dans un état où l’image est considérée comme étant affectée par de la lumière parasite, il est plus difficile d’invalider cette détection concernant une image subséquente dans une série d’images successivement acquises pour ramener le dispositif dans l’état où les images acquises sont considérées comme vierges de lumière parasite. Concrètement, cela signifie que sur une séquence d’images analysées en temps réel, après avoir déterminé qu’une ou des images étaient affectées par de la lumière parasite, des conditions plus strictes doivent être remplies pour pouvoir basculer à nouveau dans une situation où les images sont considérées comme fiables (c’est-à-dire sans lumière parasite) et peuvent donc être exploitées par l’ADAS. L’Homme du métier appréciera que ce dernier avantage est valable non seulement lorsqu’un ADAS exploite les images mais, plus généralement, quel que soit l’utilisateur ou le système exploitant les images acquises.It will therefore be noted that the conditions examined during step 307 are not simply inverse (that is to say symmetrical) of the conditions examined during step 306. More precisely, these conditions are different in that they are more demanding, that is to say that once the detection of the presence of stray light in an image has been considered positive so that the device goes into a state where the image is considered to be affected by of stray light, it is more difficult to invalidate this detection concerning a subsequent image in a series of successively acquired images in order to return the device to the state where the acquired images are considered to be virgin of stray light. Concretely, this means that on a sequence of images analyzed in real time, after having determined that one or more images were affected by stray light, more stringent conditions must be met in order to be able to switch back into a situation where the images are considered to be reliable (i.e. without stray light) and can therefore be used by ADAS. Those skilled in the art will appreciate that the latter advantage is valid not only when an ADAS uses the images but, more generally, regardless of the user or the system using the acquired images.

L’hystérésis produit par l’association de deux groupes de conditions non symétriques pour valider et invalider, respectivement, la détection de lumière parasite dans les images, permet ainsi de renforcer les garanties quant à l’utilisation d’images fidèles par l’ADAS pour le déclenchement d’opérations spécifiques d’aide à la conduite.The hysteresis produced by the association of two groups of non-symmetrical conditions to validate and invalidate, respectively, the detection of stray light in the images, thus makes it possible to reinforce the guarantees as for the use of faithful images by ADAS for the initiation of specific driving assistance operations.

Finalement, lors de l’étape 308, le résultat issu des étapes 306 et 307 est délivré à l’ADAS et/ou est restitué à un utilisateur sous toute forme appropriée.Finally, during step 308, the result from steps 306 and 307 is delivered to ADAS and / or is returned to a user in any appropriate form.

La présente invention a été décrite et illustrée dans la présente description détaillée et dans les figures des dessins annexés en référence à des modes de réalisation non limitatifs. La présente invention ne se limite pas, en effet, aux formes de réalisation présentées. D’autres variantes et modes de réalisation peuvent être déduits et mis en œuvre par la personne du métier à la lecture de la présente description et des dessins.The present invention has been described and illustrated in the present detailed description and in the figures of the accompanying drawings with reference to non-limiting embodiments. The present invention is not limited, in fact, to the embodiments presented. Other variants and embodiments can be deduced and implemented by the person skilled in the art on reading this description and the drawings.

Dans les revendications, le terme “comporter” n’exclut pas d’autres éléments ou d’autres étapes. Un seul processeur ou plusieurs autres unités de traitement peuvent être utilisés pour mettre en œuvre l’invention. De même, plusieurs mémoires, éventuellement de types différents, peuvent être utilisées pour stocker des informations. Les différentes caractéristiques présentées et/ou revendiquées peuvent être avantageusement combinées. Leur présence dans la description ou dans des revendications dépendantes différentes, n’excluent pas cette possibilité. Les signes de référence ne sauraient être compris comme limitant la portée de l’invention.In the claims, the term "include" does not exclude other elements or steps. A single processor or several other processing units can be used to implement the invention. Likewise, several memories, possibly of different types, can be used to store information. The various features presented and / or claimed can be advantageously combined. Their presence in the description or in different dependent claims does not exclude this possibility. The reference signs should not be understood as limiting the scope of the invention.

Claims

1. Method for dynamic detection of a stray light trace in a digital image acquired by an optical device during an exposure time t, said image being represented in a color space YUV deductible from the color space RGB and giving a triplet of components R, G and B at all the pixels of the image, by a component of luminance Y, a first component of chrominance U resulting from the difference between components B and G, and a second component of chrominance V resulting from the difference between the components R and G, and with in addition an additional component S describing the chromatic saturation and which results from the difference between the maximum of the components R, G and B and the minimum of the components R, G and B, said method comprising , during the acquisition of at least one digital image by the optical device:

• the calculation, for all the pixels of the digital image, of a statistical distribution Sh of the chromatic saturation values S and the determination of the width of this distribution Sh _w at a determined height;

• the determination, over all the pixels of the digital image, of the maximum value of the luminance Y called Y _max ;

• the temporal filtering, for a determined number of digital images acquired successively, by a determined filtering function, of the values of width Sh _w , of maximum luminance Y _max and of duration of exposure t;

• verification of the detection of a stray light trace, the detection being considered positive if, and only if:

- the filtered value of the width Sh _w is less than a determined chromatic saturation threshold; and,

- the filtered value of the maximum luminance Y _max is greater than a first determined luminance threshold.

2. Method according to claim 1, in which the detection of a stray light trace is further considered positive if:

• the filtered value of the exposure time t is less than a determined threshold.

3. Method according to one of claims 1 and 2, further comprising:

• the determination, over all the pixels of the digital image, of the minimum value and the maximum value of the first chrominance component U respectively named Umin and U _max ;

• the determination, over all the pixels of the digital image, of the minimum value and the maximum value of the second chrominance component V respectively named V _min and V _max ;

• determining the maximum value S _max of the chromatic saturation component S;

• the calculation of a difference value UDift by subtracting the minimum value Umin from the maximum value U _max of the first chrominance component;

• the calculation of a difference value V _D iff by subtracting the minimum value V _min from the maximum value V _max of the second chrominance component;

• applying time filtering to each of the previous values; and • during the verification of the detection of a stray light trace, the filtered value of the maximum luminance Y _max is greater than a first determined luminance threshold, said detection being considered positive in addition if:

the filtered value of the difference of the of the second chrominance component VDiff is less than a first determined chrominance threshold; and,

- the filtered value of the difference of the of the first chrominance component UDift is less than a second determined chrominance threshold; and,

- the filtered value of the maximum chromatic saturation S _max is less than a determined threshold; and,

- the filtered value of the maximum luminance Y _max is greater than a second determined luminance threshold lower than the first luminance threshold.

4. Method according to any one of claims 1 to 3, in which all the determinations of minimum or maximum values of a component are only obtained for only part of the pixels of the digital image corresponding to a predetermined region of interest. .

5. Method according to any one of claims 1 to 4, further comprising checking the negative detection of a stray light trace, the detection being considered negative if and only if:

• the filtered exposure time value t is greater than a determined threshold; and • the filtered maximum luminance value Y _max is less than a determined threshold.

6. Method according to any one of claims 1 to 5, in which the filtering function of the time filtering is a low-pass type function where the equation governing the calculation of a filtered value for the n ^th image of a sequence of acquired images is of the type:

filtered_value (n) = filtered_value (n-1) x a + non-filtered_value (n) x (1- a) where n is an integer and where a is a predetermined value between 0 and 1.

7. Method according to any one of claims 1 to 6, in which, if an acquired digital image results from a combination of several images with several different exposure durations, then the value of the exposure duration t used by the method for analyzing this digital image is the value of the shortest exposure time of the various acquisitions which are at the origin thereof.

8. Method according to any one of claims 1 to 7, wherein the optical device is a digital video camera composed of at least one lens and a photographic sensor.

9. The method of claim 8, wherein the digital video camera is embedded in a motor vehicle and is part of a driving assistance system of said motor vehicle.

10. Device for dynamically detecting a trace of stray light in a digital image acquired by an optical device during an exposure time t, said image being represented in a color space YUV deductible from the color space RGB which gives a triplet of components R, G and B at all the pixels of the image, by a component of luminance Y, a first component of chrominance U resulting from the difference between components B and G, and a second component of chrominance V resulting from the difference between the components R and G, and in addition an additional component S describing the chromatic saturation and which results from the difference between the maximum of the components R, G and B and the minimum of the components R, G and B, said device comprising means for, during the acquisition of at least one digital image by the optical device:

• calculate, for all the pixels of the digital image, at least one statistical distribution, from at least one of the values corresponding to a component of the image, and determine the width of this at least one distribution at a determined height;

• determine, on all the pixels of the digital image, at least a minimum value and a maximum value for at least one component of the image;

• temporally filter, for a determined number of digital images acquired successively, by a determined filtering function, determined values for components of the image; and • check the detection of a stray light trace by comparing filtered or unfiltered values with determined thresholds and by considering positive detection as a function of the result of these comparisons, and the device being adapted to implement all of the steps d 'a method according to any one of the preceding claims.

11. Driving assistance system comprising a device according to the device according to claim 10, capable of implementing all the steps of the method according to any one of claims 1 to 9.