[go: up one dir, main page]

WO2019166720A1 - Détection dynamique de lumière parasite dans une image numérique - Google Patents

Détection dynamique de lumière parasite dans une image numérique Download PDF

Info

Publication number
WO2019166720A1
WO2019166720A1 PCT/FR2019/050411 FR2019050411W WO2019166720A1 WO 2019166720 A1 WO2019166720 A1 WO 2019166720A1 FR 2019050411 W FR2019050411 W FR 2019050411W WO 2019166720 A1 WO2019166720 A1 WO 2019166720A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
image
determined
max
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2019/050411
Other languages
English (en)
Inventor
Joaquin Cornejo Bautista
Matthias Mutschler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Publication of WO2019166720A1 publication Critical patent/WO2019166720A1/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention generally relates to digital processing performed, when acquiring images by optical devices, to compensate for defects or overcome limitations intrinsic to the devices in question.
  • It relates more particularly to a method and a device for detecting the presence of stray light in an image.
  • the invention finds applications, in particular, in the processing of images acquired by video cameras equipping systems for driving assistance of motor vehicles.
  • ADAS Advanced Driver Assistance Systems
  • one of the possibilities for acquiring information relating to the immediate environment of a motor vehicle is to use optical means.
  • a vehicle can thus be equipped with one or more video cameras intended to observe its environment, at any moment, in one or more observation directions.
  • the images collected by the cameras are then processed by the ADAS. It can use them to potentially trigger a driver assistance action (for example trigger an audible and / or visual alert, or even trigger a braking or a change of trajectory of the vehicle ).
  • Stray light pickup (which may be referred to as "flare”) is inherently related to the imperfections of a real video camera in on-site operation (ie not under created lighting conditions). artificially). It causes the addition of a noise to the signal corresponding to one or acquired images, and is therefore at the origin of a degradation of the contrast, the luminance and / or the balance / saturation of the colors of the images. acquired images. Therefore, the faithful reproduction, by the camera, of the characteristics of a real scene is difficult or impossible in real conditions of use. At least with standard cameras on the market compatible with applications in the automotive field.
  • the image must be as faithful as possible to the scene actually observed.
  • the acquisition of poor quality images by a video camera of an ADAS may be responsible for its inability to trigger a useful action, or conversely be responsible for triggering an action unsuited to the actual situation.
  • HDR high dynamic range imaging
  • HDR high dynamic range imaging
  • a single image is formed which avoids overexposure and / or underexposure of certain areas of the image. The very dark areas and the very bright areas can thus be represented simultaneously and faithfully in a single image.
  • US Pat. No. 9,307,207 B2 discloses an HDR acquisition method in which the glare of certain areas of the sensor of a camera (in English "glare") is reduced thanks to the acquisition and the combination of two images acquired with respectively long and short exposure times.
  • the solution proposed in this document also involves a determination of the parts of an overexposed image based on the observation of a predetermined brightness level associated with a known source.
  • the threshold at which a portion of the image is considered to be overexposed can be very difficult. to be determined.
  • This technique is therefore only suitable for the correction of saturated areas of an image, or possibly, for overexposed areas in certain specific and restrictive cases. However, it does not correct a flare effect. An image affected by this type of effect will remain degraded, especially in terms of contrast or color balance, despite the use of this type of HDR method.
  • US Patent 9,497,427 B2 discloses in particular a method comprising an algorithm for detecting the presence of flare in an image.
  • the algorithm relies on an analysis of the differences / color changes of neighboring pixels (in the digital image acquired by the camera sensor) for recognize shapes or contours characteristic of the presence of stray light in the image. He is also working to discriminate these changes from those possibly related to the presence, in the image, of an edge of any object that is likely to produce similar effects.
  • this method presupposes the ability to clearly establish a "geometric signature" of the presence of stray light in the image.
  • the algorithm used here performs its various operations on a two-dimensional matrix (2D), namely the pixel matrix of the camera sensor, in order to take into account the notion of neighborhoods in X and / or in Y
  • 2D two-dimensional matrix
  • each operation is potentially expensive in computing resources and in memory for carrying out the operations of the algorithms associated with this type of method.
  • the invention aims to eliminate, or at least mitigate, all or part of the disadvantages of the prior art mentioned above.
  • a first aspect of the invention proposes a method of dynamically detecting a trace of stray light in a digital image acquired by an optical device during an exposure time t, said image being represented in a YUV color space. deducible from the RGB color space and giving a triplet of components R, G and B to all the pixels of the image, by a luminance component Y, a first chrominance component U resulting from the difference between the components B and G , and a second chrominance component V resulting from the difference between the components R and G, and with an additional component S describing the chromatic saturation and resulting from the difference between the maximum of the components R, G and B and the minimum components R, G and B, said method comprising, during the acquisition of at least one digital image by the optical device:
  • Time filtering for a determined number of digital images successively acquired by a determined filtering function, values of the width of this distribution Sh w , the maximum of the luminance Y max and the exposure time t; • checking the detection of a trace of stray light, the detection being considered positive if, and only if:
  • the filtered value of the width of this distribution Sh w is less than a determined chromatic saturation threshold
  • the filtered value of the maximum of the luminance Y max is greater than a first determined luminance threshold.
  • Embodiments taken alone or in combination, further provide that:
  • the detection of a trace of stray light is further considered positive if:
  • the filtered value of the exposure time t is less than a determined threshold
  • the method further comprises:
  • the filtered value of the maximum of the luminance Y max is greater than a first determined luminance threshold, said detection being considered positive furthermore if: The filtered value of the difference value of the second component of the chrominance V D i is less than a first determined chrominance threshold; and,
  • the filtered value of the difference value of the first component of the chrominance U D m is less than a second determined chrominance threshold
  • the filtered value of the maximum value of the chromatic saturation component S max is less than a determined threshold
  • the filtered value of the maximum of the luminance Y max is greater than a second luminance threshold determined below the first luminance threshold
  • the method further comprises checking the negative detection of a trace of stray light, the detection being considered negative if, and only if:
  • the filtered value of the exposure time t is greater than a determined threshold
  • the filtered value of the maximum of the luminance Y max is less than a determined threshold
  • the temporal filtering of the filtering function is a function of low-pass type where the equation governing the calculation of a filtered value for the n th image of a sequence of images acquired is of the type:
  • filtered_value (n) filtered_value (n-1) x a + non-filtered_value (n) x (1- a) where n is an integer and where a is a predetermined value between 0 and 1,
  • the value of the exposure time t used by the method to analyze this digital image is the value of the exposure time the shortest of the different acquisitions that are at the origin.
  • the optical device is a digital video camera composed of at least one lens and a photographic sensor. • the digital video camera is embedded in a motor vehicle and is part of a system for assisting the driving of said motor vehicle.
  • the invention also relates to a device for dynamically detecting a trace of stray light in a digital image acquired by an optical device during an exposure time t, said image being represented in a YUV color space deductible from the RGB color space which gives a triplet of components R, G and B to all the pixels of the image, by a luminance component Y, a first chrominance component U resulting from the difference between the components B and G , and a second chrominance component V resulting from the difference between the components R and G, and further an additional component S describing the chromatic saturation and which results from the difference between the maximum of the components R, G and B and the minimum of the components R, G and B, said device comprising means for, at the time of acquisition of at least one digital image by the optical device:
  • the invention finally relates to a driving assistance system comprising a device, according to the device according to the second aspect of the invention, capable of implementing all the steps of the method according to the invention.
  • a driving assistance system comprising a device, according to the device according to the second aspect of the invention, capable of implementing all the steps of the method according to the invention.
  • FIG. 1 is a schematic representation of a motor vehicle equipped with a video camera for driving assistance
  • FIG. 2 is a diagram of steps of an embodiment of the method according to the invention.
  • FIG. 3 is a step diagram of another embodiment of the method according to the invention.
  • Figure 1 schematically shows the operation of a video camera 102 embedded in a car 101 to provide images to an automotive assistance system, ADAS (not shown).
  • ADAS automotive assistance system
  • the camera scans the immediate environment of the motor vehicle in its forward direction of travel. Since the video camera provides digital images, these can be analyzed by an ADAS processing unit to detect specific objects or events. The ADAS can thus exploit the information contained in the images acquired by the camera 102 to take a decision or to trigger a driving assistance action.
  • the ADAS can trigger an emergency brake.
  • the ADAS may pass on this information to the driver of the vehicle or, if necessary, block the vehicle ahead in the event of a red light.
  • the method described here aims to determine whether an image is affected by traces of stray light or not.
  • image is meant here a digital image, acquired by an optical and electronic device, composed of a matrix of pixels covering the entire surface of the image.
  • the method is therefore applicable to a digital image acquired by different types of optical devices when it is ultimately acquired by a digital sensor (CMOS or CCD imager, for example) able to convert the optical signal into a digital image , that is to say in numerical values. This is for example the case of a digital video camera or a digital camera.
  • the digital image resulting from this type of optical device and to which the invention applies is conventionally represented in the RGB (Red, Green and Blue) or RGB color space.
  • French for Red, Green, Blue
  • each pixel of the image is composed of three different components respectively red, green and blue, where the intensity of each component determines the color of the image. a pixel while the cumulative intensity of these different components determines its luminance (that is to say the sensation of perceived brightness for this pixel).
  • the method relies, in its different variants, on the use / analysis of digital images represented in a another color space called YUV space. It is indeed advantageous to use this other color space than the RGB space, in which the components (values) of each pixel can be directly obtained by transformation from its components in the RGB space. More specifically, the components Y, U, V and S as described below are for example obtained from the components R, G and B of a color image reconstructed by the application of a "demosaicing" algorithm or “Demosaicing” ("demosaicing" in English) known in itself to those skilled in the art, on the initial raw image in RGB format.
  • Y is a luminance component resulting from the sum of the original components R, G and B;
  • U is a first so-called chrominance component resulting from the difference between the original components B and G;
  • V is a second so-called chrominance component resulting from the difference between the original components R and G.
  • a fourth component is used for the implementation of the process steps.
  • This fourth component is also directly related to the original components R, G and B.
  • the component S called chromatic saturation component results, for its part, from the difference between the maximum of the three components R, G and B and the minimum of these same components.
  • each digital image is the exposure time t of each digital image.
  • Each image acquired for example by a video camera, may indeed have been during a variable exposure time depending on the lighting conditions.
  • the value of the exposure time used as input value of the process in its different implementation variants will be the shortest value of the different exposure times of the images at the origin of the combination.
  • the parameters, resulting from a digital image acquired and used as input to the algorithm according to the method, are represented in step 201. These are exposure time t, chromatic saturation S and luminance Y.
  • Step 202 then consists, in a first step, in obtaining a statistical distribution Sh of all the chromatic saturation values S for all the pixels of the processed image. For example, for a digital image of 2 megapixels, the entire pixel is scanned to determine the value of the chromatic saturation S associated with each pixel in order to obtain this distribution. Thus the distribution Sh gives, for each value of S possible (for example from 0 to 255), the number of pixels of the image having this value.
  • step 202 also consists in determining the width Sh w of this distribution Sh at a given height.
  • Sh w of this distribution Sh at a given height.
  • this height may depend directly on the lighting profile of the scene captured by the acquired image. More specifically, the experiment shows that a color image affected by the presence of stray light sees the shape of its distribution become narrower than when no trace of stray light affects this image. If the distribution is wide, we can conclude that the image is not affected by a trace of stray light. On the other hand, other image profiles may have a narrow distribution form without being affected by the trace of stray light. This is why step 203, based on another criterion, is introduced to detect the trace of stray light.
  • Step 203 consists in determining the maximum value Y max , on the set of pixels of the image, of the luminance parameter Y.
  • Sh the maximum value
  • l The set of pixels in the image is scanned in order to extract the highest luminance value Y from the entire pixel matrix.
  • This value makes it possible in particular to establish, through its proximity to the maximum possible value which corresponds to the saturation of a pixel, the fact that at least one zone of the image is overexposed or saturated, for example. In this sense, it gives an additional indication of the presence or absence of a trace related to the presence of stray light in an image. In particular, it makes it possible to discriminate that a narrow distribution, possibly observed in step 202, is linked to natural lighting conditions (for example cloudy or rainy weather) or to the presence of stray light in the picture.
  • the order of the two steps 202 and 203 may be reversed without changing the rest of the process flow.
  • the maximum luminance value Y max may also, in another embodiment, be determined for only part of the pixels of the image.
  • a region of interest in English "Region Of Interest" or ROI
  • ROI region of interest
  • Step 204 consists of interrogating several conditions, relating to the parameters used or determined during the preceding steps, to check whether a trace of stray light is detected or not in the image.
  • the exposure time values t, of width Sh w of the statistical distribution Sh of the values of chromatic saturation and maximum luminance Y max are compared with thresholds for determining whether a trace of stray light is detected or not.
  • the value of the exposure time t its use is based on the fact that, typically, for a camera automatically adjusting its exposure time to the brightness of a scene, the information of a time exposure means that the observed scene is dark. Thus, the probability of having stray light is zero.
  • an image is affected by the trace of stray light if it fulfills three conditions simultaneously. Specifically, if the exposure time value t is less than a threshold t th , if the width value Sh w is smaller than a threshold Sh w-th and the luminance value mamimum Y max is greater than a threshold Y max-thi . If so, the algorithm considers that a trace of light has been detected for the analyzed image. Otherwise, the image is considered blank of any stray light.
  • Step 205 then resumes the result of step 204 in the form of the result delivered by the method indicating to the ADAS or to any user of the image, whether or not the image is affected by the presence of stray light.
  • the method does not perform complex operations on a 2D image to obtain this result but relies on 1D signals, that is to say a series of N x M pixels of the image considered. in sequence, for an image, originally N lines and M columns (where N and M are integers).
  • the method uses values that can be readily derived from a given color space to make comparisons, namely the color space associated with the color space. acquisition camera as the RGB system in the example.
  • the method does not require any significant calculation or memory resources and can all the more easily be implemented in real time to process each digital image acquired, for example by a video camera embedded in a motor vehicle.
  • Another advantage of the method is that it does not require to assume the shape of a trace left by stray light in an image or, in general, its impact on the image in two dimensions.
  • the determination and exploitation of 1D signals and single values from the image can detect whether it is affected by stray light or not.
  • FIG. 3 illustrates another embodiment of the method according to the invention.
  • the parameters of a digital image acquired and represented in step 301 which are used at the input of the algorithm include, in addition to the parameters of luminance Y, chromatic saturation S and exposure time t of the mode of implementation of FIG. 2 already described above, the parameters of the chrominance components U and V.
  • Step 302 is a step of obtaining a statistical distribution Sh of chromatic saturation values S and its width Sh w identical to step 202 of the embodiment of FIG. 2.
  • a set of values used in the remainder of the method is determined and comprising:
  • the order of the two steps 202 and 203 can be reversed, and the determination of the minimum and maximum values can be done only for a given region of interest in the image.
  • Step 304 simply consists in calculating U uiff values by subtracting U min from U ma x and Vom by subtracting V m m from V ma x. Indeed, these differences reflect the color dynamics of the image. In this sense, they are an additional indication of the presence or absence of a trace of stray light in the image (or region of interest considered, if any) since it tends to reduce these dynamics.
  • step 305 all the values calculated during the previous steps and intended to be used in the following steps can advantageously be filtered in time over several images acquired successively. More precisely, a temporal filtering function can be applied to the Y max , S max , t, Sh w , Uiff and ⁇ L values. By performing this type of filtering on several determined values for successive acquisitions, the effects of potential artifacts that would appear on a single image within a sequence can be "smoothed" or even deleted, so that the algorithm is not not affected by such artifacts.
  • filtered_value (n) filtered_value (n-1) xa + non-filtered_value (n) x (1- a) where n is an integer and where a is a predetermined value between 0 and 1, depending on whether the filter is more or less "Stiff".
  • Step 306 consists, in the same way as for step 204 relating to the embodiment described with reference to Figure 2, to interrogate several conditions. These conditions relate to the parameters used or determined during the preceding steps and make it possible to check whether a trace of stray light is present in the image.
  • the values U Diff , V D 1 and S max are also compared with thresholds.
  • their comparison is completed by a second comparison of the Y max value, already compared with a first threshold value as in the embodiment of Figure 2, but with a second threshold value less restrictive.
  • a second set of parameters is compared with threshold values to further enhance the robustness of the algorithm in detecting a trace of stray light in the image.
  • the conditions verified in step 306 are:
  • the filtered value of the maximum luminance Y max is greater than a first determined threshold Y thi ; and by the way,
  • the filtered value of the difference V D i is below a determined threshold
  • the filtered value of the difference U diff is below a determined threshold
  • the maximum filtered value of the chromatic saturation S max is below a determined threshold
  • the maximum filtered value of the luminance Y max is greater than a second determined threshold Y th 2 lower than the first threshold Y thi .
  • step 306 the detection of a trace of stray light in the image is validated.
  • the detection of a trace of stray light is positive (logic value 1, or TRUE).
  • This state (the detection of parasitic light considered positive) is then stored in memory, for example through a variable, until the possible verification of the condition 307 for a next image.
  • step 307 is performed.
  • Step 307 is a step of invalidating this same detection.
  • the detection of a trace had been confirmed for a previous image, if the conditions of step 307 are checked for a current image, then the detection is invalidated.
  • a variable reflects the state of this detection, it can thus, after taking a state corresponding to a positive detection, resume the state corresponding to a negative detection.
  • step 307 the following conditions are true:
  • these conditions are different in that they are more demanding, that is to say once the detection of the presence of stray light in an image has been considered positive so that the device goes into a state where the image is considered to be affected by In the case of stray light, it is more difficult to invalidate this detection with respect to a subsequent image in a series of successively acquired images in order to return the device to the state in which the images acquired are considered to be blank of stray light.
  • step 308 the result from steps 306 and 307 is delivered to the ADAS and / or is returned to a user in any suitable form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Il est divulgué un procédé et un dispositif de détection dynamique d'une trace de lumière parasite dans une image numérique acquise par un dispositif optique. Le procédé consiste à extraire et déterminer sans calculs complexes des valeurs issues de paramètres connus de l'image et à comparer en temps réel ces valeurs avec des seuils déterminés empiriquement pour confirmer ou infirmer la présence d'une trace de lumière parasite dans une ou plusieurs images.

Description

Détection dynamique de lumière parasite dans une image numérique
La présente invention se rapporte de manière générale aux traitements numériques effectués, lors de l’acquisition d’images par des dispositifs optiques, pour compenser des défauts ou surmonter des limitations intrinsèques aux dispositifs en question.
Elle concerne plus particulièrement un procédé et un dispositif de détection de la présence de lumière parasite dans une image.
L'invention trouve des applications, en particulier, dans le traitement d’images acquises par des caméras vidéo équipant des systèmes d’aide à la conduite de véhicules automobiles.
Les systèmes d’aide à la conduite automobile (ou ADAS, de l’anglais « Advanced Driver Assistance Systems ») sont de plus en plus répandus dans les véhicules automobiles actuels. Ils continuent d’évoluer en offrant un nombre croissant de fonctionnalités avec pour objectif d’améliorer le confort et la sécurité des utilisateurs de véhicules. A terme, il est envisageable de produire des véhicules à conduite autonome.
Nombre des fonctionnalités offertes s’appuient sur une analyse en temps réel de l’environnement immédiat du véhicule dans lequel l’ADAS est embarqué. En effet, qu’il s’agisse par exemple d’aider au freinage d’urgence ou d’améliorer le contrôle de trajectoires d’une voiture, la prise en compte à chaque instant de caractéristiques de cet environnement est nécessaire pour assurer les fonctionnalités de tels systèmes.
Dans ce contexte, une des possibilités pour l’acquisition d’informations relatives à l’environnement immédiat d’un véhicule automobile est d’utiliser des moyens optiques. Un véhicule peut ainsi être équipé d’une ou plusieurs caméras vidéo destinées à observer son environnement, à chaque instant, dans une ou plusieurs directions d’observation. Les images recueillies par les caméras sont alors traitées par l’ADAS. Celui-ci peut les utiliser pour potentiellement déclencher une action d’aide à la conduite (par exemple déclencher une alerte sonore et/ou visuelle, voire déclencher un freinage ou un changement de trajectoire du véhicule...).
Ce type de fonctionnement suppose que les images recueillies par la ou les caméra(s) puissent être considérées comme étant exploitables, c’est-à-dire suffisamment représentatives de la réalité d’une scène observée. Or, lors de l’acquisition d’images par une caméra vidéo en conditions naturelles (c’est-à-dire sans maîtriser les différentes sources de lumière ambiantes), il est courant de voir la qualité des images acquises dégradée par l’acquisition non-intentionnelle de lumière parasite. C’est par exemple le cas si de la lumière captée provient d’une source attendue mais en ayant emprunté un chemin non prévu (par exemple, lié à des réflexions internes) dans le dispositif optique (c’est-à-dire la caméra) du fait d’imperfections dudit dispositif. C’est aussi le cas si la lumière provient d’une source inattendue mais tout de même « involontairement » captée par le dispositif, du fait, là encore, d’imperfections dudit dispositif.
La captation de lumière parasite (qui peut être désignée en anglais par le terme « flare ») est intrinsèquement liée aux imperfections d’une caméra vidéo réelle en fonctionnement sur site (c’est-à-dire pas dans des conditions d’éclairage créées artificiellement). Elle provoque l’addition d’un bruit au signal correspondant à une ou des images acquise(s), et est donc à l’origine d’une dégradation du contraste, de la luminance et/ou de la balance/saturation des couleurs des images acquises. Dès lors, la reproduction fidèle, par la caméra, des caractéristiques d’une scène réelle est difficile voire impossible en conditions réelles d’utilisation. Du moins avec des caméras standards du marché compatibles avec les applications dans le domaine automobile.
Or, pour pouvoir détecter, par exemple, la proximité d’un autre véhicule, la survenue d’un objet déterminé dans la trajectoire d’un véhicule ou encore la couleur d’un objet présent dans le champ de vision de son conducteur, l’image doit être la plus fidèle possible à la scène réellement observée. Autrement dit, l’acquisition d’images de mauvaise qualité par une caméra vidéo d’un ADAS peut être responsable de son incapacité à déclencher une action utile, ou inversement être responsable du déclenchement d’une action inadaptée à la situation réelle.
Les paramètres d’une image que sont le contraste, la luminance et la reproduction fidèle des couleurs sont donc, de ce fait, essentiels aux performances d’un ADAS utilisant la vidéo. C’est pour cette raison que beaucoup d’efforts sont faits pour garantir une acquisition d’images la plus fidèle possible.
Ces efforts portent notamment sur l’optimisation physique des dispositifs optiques d’acquisition d’image. Certaines approches visent, par exemple, par l’intermédiaire de traitements appliqués aux éléments optiques (les lentilles en particulier) du dispositif (par exemple des traitements de surface réfléchissants, polarisants ou absorbants), à minimiser les risques de capter une lumière parasite. Toutefois, le coût élevé de ce type de traitement est souvent incompatible avec une application dans le domaine automobile.
Ces efforts portent aussi sur des traitements numériques visant à compenser, a posteriori, les défauts éventuels des images acquises. C’est le cas notamment de l’imagerie à grande gamme dynamique HDR (de l’anglais « High Dynamic Range »), qui s’appuie sur l’acquisition (quasi-)simultanée d’images présentant différentes durées d’exposition pour améliorer le rendu/la fidélité de ces images. Plus précisément, en combinant différentes images acquises avec des temps d’exposition respectifs plus ou moins longs, on forme une seule image évitant la surexposition et/ou la sous-exposition de certaines zones de l’image. Les zones très sombres et les zones très lumineuses peuvent ainsi être représentées simultanément et de manière fidèle sur une unique image.
A titre d’exemple, le brevet US 9,307,207 B2 divulgue une méthode d’acquisition HDR dans laquelle l’éblouissement de certaines zones du capteur d’une caméra (en anglais « glare ») est réduit grâce à l’acquisition et la combinaison de deux images acquises avec des durées d’exposition respectivement longue et courte.
Une telle approche impose des conditions strictes de stabilité à la fois pour éviter le flou éventuel lié à une durée d’exposition longue et pour que les deux images puissent être combinées correctement. Par ailleurs, la solution proposée dans ce document implique aussi une détermination des parties d’une image surexposées s’appuyant sur l’observation d’un niveau de luminosité prédéterminé associé à une source connue. Toutefois, du fait de la diversité des situations réelles, dès lors qu’il s’agit bien d’une surexposition et non d’une saturation, le seuil à partir duquel une partie d’image est considérée comme étant surexposée peut être très difficile à déterminer.
Cette technique n’est donc adaptée qu’à la correction de zones saturées d’une image, voire, éventuellement, à celle de zones surexposées dans certains cas précis et restrictifs. En revanche, elle ne permet pas de corriger un effet de type flare. Une image affectée par ce type d’effet restera donc dégradée, notamment en termes de contraste ou de balance des couleurs, en dépit de l’emploi de ce type de méthode HDR.
Finalement, les deux approches discutées ci-avant sont limitées puisqu’elles ne permettent en aucun cas de s’affranchir de manière certaine de tous les effets liés à la captation de lumière parasite. De ce fait, l’enjeu reste crucial, dans le cadre de l’utilisation d’images numériques par un ADAS, de savoir si une image est affectée ou non par ce type d’effet et, par la suite, si elle est exploitable ou non en tant que telle par l’ADAS.
Le brevet US 9,497,427 B2 divulgue notamment une méthode comprenant un algorithme de détection de la présence de flare dans une image. L’algorithme s’appuie pour cela sur une analyse des différences/changements de couleurs de pixels voisins (dans l’image numérique acquise par le capteur de la caméra) pour reconnaître des formes ou des contours caractéristiques de la présence de lumière parasite dans l’image. Il s’emploie par ailleurs à discriminer ces changements de ceux éventuellement liés à la présence, dans l’image, d’un bord d’un objet quelconque qui est susceptible de produire des effets similaires. Toutefois, cette méthode présuppose de pouvoir établir clairement une « signature géométrique » de la présence de lumière parasite dans l’image.
De plus, l’algorithme utilisé ici réalise ses différentes opérations sur une matrice à deux dimensions (2D), à savoir la matrice de pixels du capteur de la caméra, afin de prendre en compte la notion de voisinages en X et/ou en Y. Autrement dit, chaque opération est potentiellement coûteuse en ressources de calculs et en mémoire pour mener à bien les opérations des algorithmes associés à ce type de méthodes.
L'invention vise à supprimer, ou du moins atténuer, tout ou partie des inconvénients de l'art antérieur précités.
A cet effet, un premier aspect de l’invention propose un procédé de détection dynamique d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique pendant une durée d’exposition t, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB et donnant un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et avec en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B, ledit procédé comprenant, lors de l’acquisition d’au moins une image numérique par le dispositif optique :
• le calcul, pour l’ensemble des pixels de l’image numérique, d’une distribution statistique Sh des valeurs de la saturation chromatique S et la détermination de la largeur de cette distribution nommée Shw à une hauteur déterminée ;
• la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur maximum de la luminance Y nommée Ymax ;
• le filtrage temporel, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs de la largeur de cette distribution Shw, du maximum de la luminance Ymax et de la durée d’exposition t ; • la vérification de la détection d’une trace de lumière parasite, la détection étant considérée positive si, et uniquement si :
- la valeur filtrée de la largeur de cette distribution Shw est inférieure à un seuil de saturation chromatique déterminé ; et
- la valeur filtrée du maximum de la luminance Ymax est supérieure à un premier seuil de luminance déterminé.
Des modes de réalisation pris isolément ou en combinaison, prévoient en outre que :
• la détection d’une trace de lumière parasite est en outre considérée positive si :
- la valeur filtrée de la durée d’exposition t est inférieure à un seuil déterminé,
• le procédé comprend en outre :
- la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la première composante de chrominance U respectivement nommées Umin et Umax ;
- la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la seconde composante de chrominance V respectivement nommées Vmin et Vmax ;
- la détermination de la valeur maximum Smax de la composante saturation chromatique S ;
- le calcul d’une valeur de différence de la première composante de la chrominance U Dm en soustrayant la valeur minimum Umin de la première composante de chrominance U à la valeur maximum Umax de la première composante de chrominance U ;
- le calcul d’une valeur de différence de la seconde composante de la chrominance Vom en soustrayant la valeur minimum Vmin de la seconde composante de chrominance V à la valeur maximum Vmaxde la seconde composante de chrominance V ;
- l’application du filtrage temporel à chacune des valeurs précédentes ; et
- lors de la vérification de la détection d’une trace de lumière parasite, la valeur filtrée du maximum de la luminance Ymax est supérieure à un premier seuil de luminance déterminé, ladite détection étant considérée positive en outre si : • la valeur filtrée de la valeur de différence de la seconde composante de la chrominance VD^ est inférieure à un premier seuil de chrominance déterminé ; et,
• la valeur filtrée de la valeur de différence de la première composante de la chrominance U Dm est inférieure à un second seuil de chrominance déterminé ; et,
• la valeur filtrée de la valeur maximum de la composante saturation chromatique Smax est inférieure à un seuil déterminé ; et,
• la valeur filtrée du maximum de la luminance Ymax est supérieure à un second seuil de luminance déterminé inférieur au premier seuil de luminance,
• toutes les déterminations de valeurs minimum ou maximum d’une composante sont uniquement obtenues pour une partie seulement des pixels de l’image numérique correspondant à une région d’intérêt prédéterminée,
• le procédé comprend en outre la vérification de la détection négative d’une trace de lumière parasite, la détection étant considérée négative si, et uniquement si :
- la valeur filtrée de la durée d’exposition t est supérieure à un seuil déterminé ; et
- la valeur filtrée du maximum de la luminance Ymax est inférieure à un seuil déterminé,
• la fonction de filtrage du filtrage temporel est une fonction de type passe-bas où l’équation régissant le calcul d’une valeur filtrée pour la niéme image d’une séquence d’images acquises est du type :
valeur_filtrée(n) = valeur_filtrée(n-1 ) x a + valeur_nonfiltrée(n) x (1- a) où n est un nombre entier et où a est une valeur prédéterminée comprise entre 0 et 1 ,
• si une image numérique acquise résulte d’une combinaison de plusieurs images avec plusieurs durées d’exposition différentes, alors la valeur de la durée d’exposition t utilisée par le procédé pour analyser cette image numérique est la valeur de la durée d’exposition la plus courte des différentes acquisitions qui en sont à l’origine.
• le dispositif optique est une caméra vidéo numérique composée d’au moins une lentille et d’un capteur photographique. • la caméra vidéo numérique est embarquée dans un véhicule automobile et fait partie d’un système d’aide à la conduite automobile dudit véhicule automobile.
Selon un second aspect, l’invention a également pour objet un dispositif de détection dynamique d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique pendant un temps d’exposition t, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB qui donne un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B, ledit dispositif comprenant des moyens pour, lors de l’acquisition d’au moins une image numérique par le dispositif optique :
• calculer, pour l’ensemble des pixels de l’image numérique, au moins une distribution statistique, à partir d’au moins une des valeurs correspondant à une composante de l’image, et déterminer la largeur de cette au moins une distribution à une hauteur déterminée ;
• déterminer, sur l’ensemble des pixels de l’image numérique, au moins une valeur minimum et une valeur maximum pour au moins une composante de l’image ;
• filtrer temporellement, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs déterminées pour des composantes de l’image ; et
• vérifier la détection d’une trace de lumière parasite en comparant des valeurs filtrées ou non avec des seuils déterminés et en considérant la détection positive en fonction du résultat de ces comparaisons,
et le dispositif étant adapté pour mettre en oeuvre toutes les étapes d’un procédé selon le premier aspect.
Selon un troisième aspect, l’invention a enfin pour objet un système d’aide à la conduite automobile comprenant un dispositif, conforme au dispositif selon le second aspect de l’invention, apte à mettre en oeuvre toutes les étapes du procédé selon l’un quelconque des modes de réalisation du procédé selon le premier aspect de l’invention. D’autres caractéristiques et avantages de l’invention apparaîtront encore à la lecture de la description qui va suivre. Celle-ci est purement illustrative et doit être lue en regard des dessins annexés sur lesquels :
- la Figure 1 est une représentation schématique d’un véhicule automobile équipé d’une caméra vidéo pour l’aide à la conduite ;
- la Figure 2 est un diagramme d’étapes d’un mode de réalisation du procédé selon l’invention ; et
- la Figure 3 est un diagramme d’étapes d’un autre mode de réalisation du procédé selon l’invention.
Dans la description de modes de réalisation qui va suivre et dans les figures des dessins annexés, les mêmes éléments ou des éléments similaires portent les mêmes références numériques.
La Figure 1 montre de façon schématique le fonctionnement d’une caméra vidéo 102 embarquée dans une voiture 101 pour fournir des images à un système d’aide à la conduite automobile, ADAS (non représenté).
Dans l’exemple représenté, la caméra scrute l’environnement immédiat du véhicule automobile dans sa direction de déplacement avant. La caméra vidéo fournissant des images numériques, celles-ci peuvent être analysées par une unité de traitement de l’ADAS pour y détecter des objets ou des événements spécifiques. L’ADAS peut ainsi exploiter les informations contenues dans les images acquises par la caméra 102 pour prendre une décision ou déclencher une action d’aide à la conduite.
Par exemple, si un piéton rentre brusquement dans le champ de vision 103 de la caméra 102, et s’il est reconnu comme tel, alors l’ADAS pourra déclencher un freinage d’urgence. Dans un autre exemple, si un feu tricolore se trouve dans le champ de vision 103 et que l’unité de traitement de l’ADAS est capable d’en reconnaître la couleur, l’ADAS pourra répercuter cette information au conducteur du véhicule ou, le cas échéant, bloquer l’avancée du véhicule en cas de feu rouge.
Ces exemples ne sont qu’une partie des situations dans lesquelles l’utilisation d’une ou de plusieurs caméra(s) peut fournir des images à un ADAS à l’origine de la réalisation de certaines de ces fonctionnalités.
Par ailleurs, il apparaît clairement que dans une telle situation les circonstances conduisant à la captation de lumière parasite par la caméra 102 peuvent être nombreuses. De multiples causes de la présence de traces de lumière parasites dans les images acquises par la caméra peuvent survenir. Il peut s’agir, par exemple, d’un reflet du soleil situé en dehors du champ de vision 103 mais capté non intentionnellement. Il peut également s’agir de la lumière d’un phare observé intentionnellement mais empruntant un chemin optique alternatif dans la caméra 102. Ces exemples ne sont pas limitatifs.
En référence à la Figure 2, nous allons maintenant décrire un mode de réalisation du procédé selon l’invention.
Le procédé décrit ici a pour objectif de déterminer si une image est affectée par des traces de lumière parasite ou non. Par image, on entend ici une image numérique, acquise par un dispositif optique et électronique, composée d’une matrice de pixels couvrant toute la surface de l’image. Le procédé est donc applicable à une image numérique acquise par différents types de dispositifs optiques dès lors que celle-ci est acquise in fine par un capteur numérique (imageur CMOS ou CCD, par exemple) à même de convertir le signal optique en une image numérique, c’est-à- dire en valeurs numériques. C’est par exemple le cas d’une caméra vidéo numérique ou d’un appareil photo numérique.
Dans un premier temps, l’image numérique issue de ce type de dispositifs optiques et à laquelle s’applique l’invention est, classiquement, représentée dans l’espace colorimétrique RGB (de l’anglais Red, Green and Blue) ou RVB en français (pour Rouge, Vert, Bleu). Il s’agit d’une représentation, connue de l’Homme du métier, impliquant que chaque pixel de l’image est composé de trois composantes différentes respectivement rouge, verte et bleue, où l’intensité de chaque composante détermine la coloration d’un pixel alors que l’intensité cumulée de ces différentes composantes détermine sa luminance (c’est-à-dire la sensation de luminosité perçue pour ce pixel).
Toutefois, pour des raisons pratiques qui apparaîtront plus clairement à la lumière de la description des étapes du procédé qui va suivre, le procédé s’appuie, dans ses différentes variantes, sur l’utilisation/l’analyse d’images numériques représentées dans un autre espace colorimétrique dit espace YUV. Il est en effet avantageux d’utiliser cet autre espace colorimétrique que l’espace RGB, dans lequel les composantes (valeurs) de chaque pixel peuvent être directement obtenues par transformation à partir de ses composantes dans l’espace RGB. Plus précisément, les composantes Y, U, V et S telles que décrites ci-après sont par exemple obtenues à partir des composantes R, G et B d’une image couleur reconstruite par l’application d’un algorithme de « dématriçage » ou « démosaïquage » (« demosaicing » en anglais) connu en soi de l’Homme du métier, sur l’image brute initiale au format RGB.
Ainsi, les composantes des images exploitées, dans le cadre de l’invention, sont les suivantes : • Y est une composante de luminance résultant de la somme des composantes d’origine R, G et B ;
• U est une première composante dite de chrominance résultant de la différence entre les composantes d’origine B et G ; et,
• V est une seconde composante dite de chrominance résultant de la différence entre les composantes d’origine R et G.
En complément de ces trois composantes, liées à l’espace colorimétrique de représentation de l’image exploitée dans le cadre du procédé, une quatrième composante est utilisée pour la mise en oeuvre des étapes du procédé. Cette quatrième composante est aussi directement liée aux composantes d’origine R, G et B. En effet, la composante S, dite composante de saturation chromatique résulte, quant à elle, de la différence entre le maximum des trois composantes R, G et B et le minimum de ces mêmes composantes.
Enfin, en plus de l’ensemble des paramètres décrits jusqu’ici, un autre paramètre peut être pris en compte pour la réalisation des étapes du procédé : il s’agit de la durée d’exposition t de chaque image numérique. Chaque image, acquise par exemple par une caméra vidéo, peut en effet l’avoir été pendant une durée d’exposition variable en fonction des conditions d’éclairage.
Par ailleurs, l’Homme du métier appréciera que, dans le cas où l’image analysée serait elle-même issue d’une combinaison d’images, par exemple dans le cas d’une acquisition par imagerie à grande gamme dynamique HDR, la valeur de la durée d’exposition retenue comme valeur d’entrée du procédé dans ses différentes variantes de mise en oeuvre sera la valeur la plus courte des différentes durées d’exposition des images à l’origine de la combinaison.
Ainsi, dans le mode de réalisation du procédé présenté ci-après en référence à la Figure 2, les paramètres, issus d’une image numérique acquise et utilisés comme entrée de l’algorithme selon le procédé, sont représentés à l’étape 201. Il s’agit du temps d’exposition t, de la saturation chromatique S et de la luminance Y.
L’étape 202 consiste ensuite, dans un premier temps, à obtenir une distribution statistique Sh de toutes les valeurs de la saturation chromatique S pour tous les pixels de l’image traitée. Par exemple, pour une image numérique de 2 mégapixels, on balaye l’intégralité des pixels pour déterminer la valeur de la saturation chromatique S associée à chaque pixel afin d’obtenir cette distribution. Ainsi la distribution Sh donne, pour chaque valeur de S possible (par exemple de 0 à 255), le nombre de pixels de l’image ayant cette valeur. Dans un second temps, l’étape 202 consiste aussi à déterminer la largeur Shw de cette distribution Sh à une hauteur donnée. Une telle distribution, obtenue à partir d’une image acquise en conditions réelles, présente en effet un maximum et une forme typique permettant de déterminer une largeur à une certaine hauteur de la distribution. Le choix de cette hauteur, selon des modes de mise en oeuvre, peut dépendre directement du profil d’éclairage de la scène capturée par l’image acquise. Plus précisément, l’expérience montre qu’une image en couleurs affectée par la présence de lumière parasite voit la forme de sa distribution devenir plus étroite que lorsqu’aucune trace de lumière parasite n’affecte cette image. Si la distribution est large, on peut donc conclure que l’image n’est pas affectée par une trace de lumière parasite. En revanche, d’autres profils d’image peuvent présenter une forme de distribution étroite sans être affectés par la trace d’une lumière parasite. C’est pourquoi on introduit l’étape 203, s’appuyant sur un autre critère, pour détecter la trace de lumière parasite.
L’étape 203 consiste à déterminer la valeur maximum Ymax, sur l’ensemble des pixels de l’image, du paramètre de luminance Y. De la même façon que pour pouvoir établir la distribution Sh à partir de la saturation chromatique S, l’ensemble des pixels de l’image est balayé afin d’extraire, de toute la matrice de pixels, la valeur de luminance Y la plus élevée. Cette valeur permet notamment d’établir, à travers sa proximité avec la valeur maximum possible qui correspond à la saturation d’un pixel, le fait qu’au moins une zone de l’image est surexposée ou saturée, par exemple. En ce sens, elle donne une indication supplémentaire de la présence ou non d’une trace liée à la présence de lumière parasite dans une image. Elle permet en particulier de discriminer le fait qu’une distribution étroite, éventuellement observée à l’étape 202, est liée à des conditions naturelles d’éclairage (par exemple un temps nuageux ou pluvieux) ou à la présence de lumière parasite dans l’image.
L’Homme du métier appréciera que, dans un autre mode de réalisation du procédé, l’ordre des deux étapes 202 et 203 peut être inversé sans que cela ne modifie le reste du déroulement du procédé. De plus, la valeur de luminance maximum Ymax peut aussi, dans un autre mode de réalisation, être déterminée pour une partie seulement des pixels de l’image. On parle d’une région d’intérêt (en anglais « Région Of Interest » ou ROI) de l’image qui est analysée préférentiellement par l’ADAS, notamment dans le cas où il est attendu que la caméra observe un objet ou un évènement précis dans une zone spécifique de son champ de vision.
L’étape 204 consiste à interroger plusieurs conditions, portant sur les paramètres utilisés ou déterminés au cours des étapes précédentes, pour vérifier si une trace de lumière parasite est détectée ou non dans l’image. Dans le cas décrit ici, les valeurs de temps d’exposition t, de largeur Shw de la distribution statistique Sh des valeurs de la saturation chromatique et de luminance maximum Ymax sont comparées à des seuils pour déterminer si une trace de lumière parasite est détectée ou non.
S’agissant de la valeur du temps d’exposition t, son utilisation s’appuie sur le fait que, typiquement, pour une caméra ajustant automatiquement son temps d’exposition à la luminosité d’une scène, l’information d’un temps d’exposition signifie que la scène observée est sombre. Ainsi, la probabilité d’avoir de la lumière parasite est nulle.
La comparaison des trois valeurs différentes t, Shw et Ymax à des valeurs seuils données, qui sont déterminées en fonction des caractéristiques spécifiques du capteur utilisé, apporte donc trois informations complémentaires dans la détection d’une trace de lumière parasite. Ceci rend donc cette approche d’autant plus robuste. Cela étant, la comparaison portant sur la valeur de temps d’exposition t peut être considérée comme non essentielle à la vérification opérée par le procédé sur une image. C’est pourquoi une variante du procédé peut consister à réaliser les mêmes étapes sans exploiter la valeur temps d’exposition t.
Finalement, dans le mode de réalisation illustré par la Figure 2, on considère qu’une image est affectée par la trace d’une lumière parasite si elle remplit trois conditions simultanément. Plus précisément, si la valeur de temps d’exposition t est inférieure à un seuil tth, si la valeur de largeur Shw est inférieure à un seuil Shw-th et si la valeur de luminance mamimum Ymax est supérieure à un seuil Ymax-thi. Dans l’affirmative, l’algorithme considère qu’une trace de lumière a été détectée pour l’image analysée. Dans le cas contraire, l’image est considérée comme vierge de toute trace de lumière parasite.
L’étape 205 reprend alors le résultat de l’étape 204 sous la forme du résultat délivré par le procédé indiquant à destination de l’ADAS ou d’un utilisateur quelconque de l’image, si l’image est ou non affectée par la présence de lumière parasite.
Avantageusement, le procédé n’effectue pas d’opérations complexes sur une image 2D pour obtenir ce résultat mais s’appuie sur des signaux en 1 D, c’est-à- dire une série des N x M pixels de l’image considérés en séquence, pour une image, à l’origine, de N lignes et M colonnes (où N et M sont des nombres entiers). De plus, le procédé utilise des valeurs qui peuvent être aisément déduites d’un espace de couleur donné pour faire des comparaisons, à savoir l’espace colorimétrique associé à la caméra d’acquisition comme le système RGB dans l’exemple. De ce fait, le procédé ne nécessite pas de ressources de calcul ou de mémoire importantes et peut d’autant plus facilement être implémenté en temps réel pour traiter chaque image numérique acquise, par exemple par une caméra vidéo embarquée dans un véhicule automobile.
Par ailleurs, un autre avantage du procédé tient au fait que celui-ci ne nécessite pas de présupposer la forme d’une trace laissée par une lumière parasite dans une image ou, de manière générale, son impact sur l’image en 2 dimensions. La détermination et l’exploitation de signaux 1 D et de valeurs simples issues de l’image permettent de détecter si celle-ci est affectée par une lumière parasite ou non.
La Figure 3 illustre un autre mode de réalisation du procédé selon l’invention.
Dans ce mode de réalisation les paramètres d’une image numérique acquise et représentés à l’étape 301 qui sont utilisés en entrée de l’algorithme intègrent, en plus des paramètres de luminance Y, de saturation chromatique S et de temps d’exposition t du mode de mise en oeuvre de la Figure 2 déjà décrits plus haut, les paramètres des composantes de chrominance U et V.
L’étape 302 est une étape d’obtention d’une distribution statistique Sh des valeurs de saturation chromatique S et de sa largeur Shw identique à l’étape 202 du mode de réalisation de la Figure 2.
En revanche, lors de l’étape 303 on détermine un ensemble de valeurs utilisées dans la suite du procédé et comprenant :
• la valeur maximum Ymax de la luminance Y obtenue sur l’ensemble des pixels de l’image ;
• les valeurs minimum L in et maximum U max, obtenues sur l’ensemble des pixels de l’image pour la première composante chrominance U ;
• les valeurs minimum Vmm et maximum Vmax, obtenues sur l’ensemble des pixels de l’image pour la seconde composante chrominance V ; et
• la valeur maximum Smax de la saturation chromatique S obtenue sur l’ensemble des pixels de l’image.
De manière similaire au mode de réalisation de la Figure 2, l’ordre des deux étapes 202 et 203 peut être inversé, et la détermination des valeurs minimum et maximum peut se faire uniquement pour une région d’intérêt donnée dans l’image.
L’étape 304 consiste simplement à calculer les valeurs Uüiff en soustrayant Umin à Umax et Vom en soustrayant Vmm à Vmax. En effet, ces différences reflètent la dynamique des couleurs de l’image. En ce sens, elles sont une indication supplémentaire de la présence ou non d’une trace de lumière parasite dans l’image (ou la région d’intérêt considérée, le cas échéant) puisque celle-ci tend à réduire ces dynamiques.
Au cours de l’étape 305, l’ensemble des valeurs calculées lors des étapes précédentes et destinées à être utilisées lors des étapes suivantes peuvent avantageusement être filtrées dans le temps sur plusieurs images acquises successivement. Plus précisément, une fonction de filtrage temporel peut être appliquée aux valeurs Ymax, Smax, t, Shw, Uüiff et \L . En effectuant, ce type de filtrage sur plusieurs valeurs déterminées pour des acquisitions successives, des effets d’artefacts potentiels qui apparaîtraient sur une seule image au sein d’une séquence peuvent être « lissés », voire supprimés, afin que l’algorithme ne soit pas affecté par de tels artefacts.
Ceci peut être obtenu, par exemple, avec une fonction du filtrage temporel de type passe-bas où l’équation régissant le calcul d’une valeur filtrée pour la niéme image d’une séquence d’images acquises est du type :
valeur_filtrée(n) = valeur_filtrée(n-1 ) x a + valeur_nonfiltrée(n) x (1- a) où n est un nombre entier et où a est une valeur prédéterminée comprise entre 0 et 1 , suivant que le filtre est plus ou moins « raide ».
L’Homme du métier appréciera que ce type de filtrage temporel peut être employé quel que soit le mode de réalisation du procédé implémenté et, en particulier, quels que soient les différents paramètres utilisés pour la détermination de la détection d’une trace de lumière parasite, par le procédé en question.
L’étape 306 consiste, de la même façon que pour l’étape 204 relative au mode de réalisation décrit en référence à la Figure 2, à interroger plusieurs conditions. Ces conditions portent sur les paramètres utilisés ou déterminés au cours des étapes précédentes et permettent de vérifier si une trace de lumière parasite est présente dans l’image. Dans ce mode de réalisation, outre les valeurs t, Shw et Ymax déjà utilisées dans le mode de réalisation de la Figure 2, les valeurs UDiff, VD^ et Smax sont aussi comparées à des seuils. De plus, leur comparaison est complétée par une seconde comparaison de la valeur Ymax, déjà comparée avec une première valeur de seuil comme dans le mode de réalisation de la Figure 2, mais avec une seconde valeur de seuil moins restrictive. Autrement dit, un deuxième ensemble de paramètres est comparé à des valeurs seuils pour renforcer encore la robustesse de l’algorithme dans la détection d’une trace de lumière parasite dans l’image.
En particulier, les conditions vérifiées à l’étape 306 sont :
• la valeur de la largeur Shw est inférieure à un seuil déterminé Shw-th ; et • la valeur filtrée du temps d’exposition t est inférieure à un seuil déterminé tth ; et
• la valeur filtrée de la luminance maximum Ymax est supérieure à un premier seuil déterminé Ythi ; et par ailleurs,
si cette dernière condition n’est pas remplie, alors les conditions suivantes sont examinées :
• la valeur filtrée de la différence VD^ est inférieure à un seuil déterminé ; et
• la valeur filtrée de la différence UDiff est inférieure à un seuil déterminé ; et
• la valeur filtrée maximum de la saturation chromatique Smax est inférieure à un seuil déterminé ; et
• la valeur filtrée maximum de la luminance Ymax est supérieure à un second seuil déterminé Yth2 inférieur au premier seuil Ythi.
Dans l’hypothèse de la vérification de toutes ces conditions simultanément, la détection de la présence d’une trace de lumière parasite dans l’image est validée. Autrement dit, à la fin de l’étape 306, la détection d’une trace de lumière parasite est positive (valeur logique 1 , ou VRAI). Cet état (la détection de lumière parasite considérée comme positive) est alors conservé en mémoire, par exemple à travers une variable, jusqu’à l’éventuelle vérification de la condition 307 pour une image suivante. Ainsi, lorsque les conditions de l’étape 306 ne sont pas toutes vérifiées, l’étape 307 est réalisée.
L’étape 307 est une étape d’invalidation de cette même détection. En particulier, lorsque la détection d’une trace avait été confirmée pour une image précédente, si les conditions de l’étape 307 sont vérifiées pour une image actuelle, alors la détection est infirmée. Dans un exemple où une variable reflète l’état de cette détection, celle-ci peut ainsi, après avoir pris un état correspondant à une détection positive, reprendre l’état correspondant à une détection négative.
Lors de l’étape 307, les conditions suivantes sont vérifiées :
• la valeur filtrée du temps d’exposition t est supérieure à un seuil déterminé ; et
• la valeur filtrée de la luminance maximum Ymax est inférieure à un seuil déterminé.
Dans l’hypothèse de la vérification de toutes ces conditions simultanément pour une image, la détection de la présence d’une trace de lumière parasite dans l’image est invalidée. Dans le cas contraire, l’état de la détection reste identique à celui qu’il était pour l’image précédente. On notera donc que les conditions examinées lors de l’étape 307 ne sont pas simplement inverses c’est-à-dire symétriques) des conditions examinées lors de l’étape 306. Plus précisément, ces conditions sont différentes en ce qu’elles sont plus exigeantes, c’est-à-dire qu’une fois que la détection de la présence de lumière parasite dans une image a été considérée comme positive de sorte que le dispositif passe dans un état où l’image est considérée comme étant affectée par de la lumière parasite, il est plus difficile d’invalider cette détection concernant une image subséquente dans une série d’images successivement acquises pour ramener le dispositif dans l’état où les images acquises sont considérées comme vierges de lumière parasite. Concrètement, cela signifie que sur une séquence d’images analysées en temps réel, après avoir déterminé qu’une ou des images étaient affectées par de la lumière parasite, des conditions plus strictes doivent être remplies pour pouvoir basculer à nouveau dans une situation où les images sont considérées comme fiables (c’est-à-dire sans lumière parasite) et peuvent donc être exploitées par l’ADAS. L’Homme du métier appréciera que ce dernier avantage est valable non seulement lorsqu’un ADAS exploite les images mais, plus généralement, quel que soit l’utilisateur ou le système exploitant les images acquises.
L’hystérésis produit par l’association de deux groupes de conditions non symétriques pour valider et invalider, respectivement, la détection de lumière parasite dans les images, permet ainsi de renforcer les garanties quant à l’utilisation d’images fidèles par l’ADAS pour le déclenchement d’opérations spécifiques d’aide à la conduite.
Finalement, lors de l’étape 308, le résultat issu des étapes 306 et 307 est délivré à l’ADAS et/ou est restitué à un utilisateur sous toute forme appropriée.
La présente invention a été décrite et illustrée dans la présente description détaillée et dans les figures des dessins annexés en référence à des modes de réalisation non limitatifs. La présente invention ne se limite pas, en effet, aux formes de réalisation présentées. D’autres variantes et modes de réalisation peuvent être déduits et mis en oeuvre par la personne du métier à la lecture de la présente description et des dessins.
Dans les revendications, le terme “comporter” n’exclut pas d’autres éléments ou d’autres étapes. Un seul processeur ou plusieurs autres unités de traitement peuvent être utilisés pour mettre en oeuvre l’invention. De même, plusieurs mémoires, éventuellement de types différents, peuvent être utilisées pour stocker des informations. Les différentes caractéristiques présentées et/ou revendiquées peuvent être avantageusement combinées. Leur présence dans la description ou dans des revendications dépendantes différentes, n’excluent pas cette possibilité. Les signes de référence ne sauraient être compris comme limitant la portée de l’invention.

Claims

REVENDICATIONS
1. Procédé de détection dynamique de la présence d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB et donnant un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et avec en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B, ledit procédé comprenant, lors de l’acquisition d’au moins une image numérique par le dispositif optique :
• le calcul, pour l’ensemble des pixels de l’image numérique, d’une distribution statistique Sh des valeurs de saturation chromatique S et la détermination de la largeur de cette distribution Shw à une hauteur déterminée ;
• la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur maximum de la luminance Y nommée Ymax ;
• le filtrage temporel, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs de largeur Shw, et de luminance maximum Ymax;
• la vérification de la détection de la présence d’une trace de lumière parasite, la détection étant considérée positive si, et uniquement si :
- la valeur filtrée de la largeur Shw est inférieure à un seuil de saturation chromatique déterminé ; et,
- la valeur filtrée de la luminance maximum Ymax est supérieure à un premier seuil de luminance déterminé.
2. Procédé selon la revendication 1 , dans lequel l’image numérique est acquise par un dispositif optique pendant une durée d’exposition t, l’étape de filtrage temporel comportant en outre le filtrage de la durée d’exposition t pour un nombre déterminé d’images numériques acquises successivement, la détection de la présence d’une trace de lumière parasite étant en outre considérée positive si :
la valeur filtrée de la durée d’exposition t est inférieure à un seuil déterminé.
3. Procédé selon l’une des revendications 1 et 2, comprenant en outre : • la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la première composante de chrominance U respectivement nommées Umm et Umax ;
• la détermination, sur l’ensemble des pixels de l’image numérique, de la valeur minimum et de la valeur maximum de la seconde composante de chrominance V respectivement nommées Vmin et Vmax ;
• la détermination de la valeur maximum Smax de la composante saturation chromatique S ;
• le calcul d’une valeur de différence U Dm en soustrayant la valeur minimum Umin à la valeur maximum Umax de la première composante de chrominance ;
• le calcul d’une valeur de différence Vom en soustrayant la valeur minimum Vmin à la valeur maximum Vmax de la seconde composante de chrominance ;
• l’application du filtrage temporel à chacune des valeurs précédentes ; et
• lors de la vérification de la détection de la présence d’une trace de lumière parasite la valeur filtrée de la luminance maximum Ymax est supérieure à un premier seuil de luminance déterminé, ladite détection étant considérée positive en outre si :
- la valeur filtrée de la différence de la de la seconde composante de chrominance \L est inférieure à un premier seuil de chrominance déterminé ; et,
- la valeur filtrée de la différence de la de la première composante de chrominance U Dm est inférieure à un second seuil de chrominance déterminé ; et,
- la valeur filtrée de la saturation chromatique maximum Smax est inférieure à un seuil déterminé ; et,
- la valeur filtrée de la luminance maximum Ymax est supérieure à un second seuil de luminance déterminé inférieur au premier seuil de luminance.
4. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel toutes les déterminations de valeurs minimum ou maximum d’une composante sont uniquement obtenues pour une partie seulement des pixels de l’image numérique correspondant à une région d’intérêt prédéterminée.
5. Procédé selon l’une quelconque des revendications 1 à 4, comprenant en outre la vérification de la détection négative de la présence d’une trace de lumière parasite, la détection étant considérée négative si et uniquement si :
• la valeur filtrée de durée d’exposition t est supérieure à un seuil déterminé ; et
• la valeur filtrée de luminance maximum Ymax est inférieure à un seuil déterminé.
6. Procédé selon l’une quelconque des revendications 1 à 5, dans lequel la fonction de filtrage du filtrage temporel est une fonction de type passe-bas où l’équation régissant le calcul d’une valeur filtrée pour la niéme image d’une séquence d’images acquises est du type :
valeur_filtrée(n) = valeur_filtrée(n-1 ) x a + valeur_nonfiltrée(n) x (1- a) où n est un nombre entier et où a est une valeur prédéterminée comprise entre 0 et 1.
7. Procédé selon l’une quelconque des revendications 1 à 6, dans lequel, si une image numérique acquise résulte d’une combinaison de plusieurs images avec plusieurs durées d’exposition différentes, alors la valeur de la durée d’exposition t utilisée par le procédé pour analyser cette image numérique est la valeur de la durée d’exposition la plus courte des différentes acquisitions qui en sont à l’origine.
8. Procédé selon l’une quelconque des revendications 1 à 7, dans lequel le dispositif optique est une caméra vidéo numérique composée d’au moins une lentille et d’un capteur photographique.
9. Procédé selon la revendication 8, dans lequel la caméra vidéo numérique est embarquée dans un véhicule automobile et fait partie d’un système d’aide à la conduite automobile dudit véhicule automobile.
10. Dispositif de détection dynamique de la présence d’une trace de lumière parasite dans une image numérique acquise par un dispositif optique pendant un temps d’exposition t, ladite image étant représentée dans un espace colorimétrique YUV déductible de l’espace colorimétrique RGB qui donne un triplet de composantes R, G et B à tous les pixels de l’image, par une composante de luminance Y, une première composante de chrominance U résultant de la différence entre les composantes B et G, et une seconde composante de chrominance V résultant de la différence entre les composantes R et G, et en outre une composante additionnelle S décrivant la saturation chromatique et qui résulte de la différence entre le maximum des composantes R, G et B et le minimum des composantes R, G et B,
ledit dispositif comprenant des moyens pour, lors de l’acquisition d’au moins une image numérique par le dispositif optique : • calculer, pour l’ensemble des pixels de l’image numérique, au moins une distribution statistique, à partir d’au moins une des valeurs correspondant à une composante de l’image, et déterminer la largeur de cette au moins une distribution à une hauteur déterminée ;
• déterminer, sur l’ensemble des pixels de l’image numérique, au moins une valeur minimum et une valeur maximum pour au moins une composante de l’image ;
• filtrer temporellement, pour un nombre déterminé d’images numériques acquises successivement, par une fonction de filtrage déterminée, des valeurs déterminées pour des composantes de l’image ; et
• vérifier la détection de la présence d’une trace de lumière parasite en comparant des valeurs filtrées ou non avec des seuils déterminés et en considérant la détection positive en fonction du résultat de ces comparaisons,
et le dispositif étant adapté pour mettre en oeuvre toutes les étapes d’un procédé selon l’une quelconque des revendications précédentes.
11. Système d’aide à la conduite automobile comprenant un dispositif conforme au dispositif selon la revendication 10, apte à mettre en oeuvre toutes les étapes du procédé selon l’une quelconque des revendications 1 à 9.
PCT/FR2019/050411 2018-02-27 2019-02-22 Détection dynamique de lumière parasite dans une image numérique Ceased WO2019166720A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1851703A FR3078427B1 (fr) 2018-02-27 2018-02-27 Detection dynamique de lumiere parasite dans une image numerique
FR1851703 2018-02-27

Publications (1)

Publication Number Publication Date
WO2019166720A1 true WO2019166720A1 (fr) 2019-09-06

Family

ID=62749098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2019/050411 Ceased WO2019166720A1 (fr) 2018-02-27 2019-02-22 Détection dynamique de lumière parasite dans une image numérique

Country Status (2)

Country Link
FR (1) FR3078427B1 (fr)
WO (1) WO2019166720A1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112218070A (zh) * 2020-10-10 2021-01-12 Oppo（重庆）智能科技有限公司 杂光检测方法、装置、存储介质与电子设备
CN113920009A (zh) * 2020-07-10 2022-01-11 宁波舜宇光电信息有限公司 基于高动态图像合成的杂散光量化方法
CN114511459A (zh) * 2022-01-18 2022-05-17 中国科学院合肥物质科学研究院 彩色图像对比度信息计算方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060273242A1 (en) * 2005-06-03 2006-12-07 Brion Technologies, Inc. System and method for characterizing aerial image quality in a lithography system
US20130286253A1 (en) * 2012-04-27 2013-10-31 Lg Innotek Co., Ltd. Image processing apparatus and image processing method for the same
US9262690B2 (en) * 2013-08-27 2016-02-16 Htc Corporation Method and device for detecting glare pixels of image
US9307207B2 (en) 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
US9497427B2 (en) 2013-07-15 2016-11-15 Semiconductor Components Industries, Llc Method and apparatus for image flare mitigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060273242A1 (en) * 2005-06-03 2006-12-07 Brion Technologies, Inc. System and method for characterizing aerial image quality in a lithography system
US20130286253A1 (en) * 2012-04-27 2013-10-31 Lg Innotek Co., Ltd. Image processing apparatus and image processing method for the same
US9307207B2 (en) 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
US9497427B2 (en) 2013-07-15 2016-11-15 Semiconductor Components Industries, Llc Method and apparatus for image flare mitigation
US9262690B2 (en) * 2013-08-27 2016-02-16 Htc Corporation Method and device for detecting glare pixels of image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920009A (zh) * 2020-07-10 2022-01-11 宁波舜宇光电信息有限公司 基于高动态图像合成的杂散光量化方法
CN112218070A (zh) * 2020-10-10 2021-01-12 Oppo（重庆）智能科技有限公司 杂光检测方法、装置、存储介质与电子设备
CN114511459A (zh) * 2022-01-18 2022-05-17 中国科学院合肥物质科学研究院 彩色图像对比度信息计算方法及装置

Also Published As

Publication number Publication date
FR3078427A1 (fr) 2019-08-30
FR3078427B1 (fr) 2021-04-02

Similar Documents

Publication Publication Date Title
EP3657784B1 (fr) Procédé d'estimation d'un défaut d'un système de capture d'images et systèmes associés
EP2465255B1 (fr) Système et procédé de capture d'images avec deux modes de fonctionnement
CA2834883C (fr) Procede pour commander une action, notamment une modification de nettete, a partir d'une image numerique en couleurs
FR3060180A1 (fr) Procede de traitement d’image numerique
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
WO2010081982A1 (fr) Controle de defauts optiques dans un systeme de capture d'images
WO2019166720A1 (fr) Détection dynamique de lumière parasite dans une image numérique
CA2965323C (fr) Procede de detection de pixels defectueux.
FR3054093B1 (fr) Procede et dispositif de detection d'un capteur d'images
FR2996034A1 (fr) Procede pour creer des images a gamme dynamique etendue en imagerie fixe et video, et dispositif d'imagerie implementant le procede.
EP1995693A1 (fr) Procédé de détection d'un objet en mouvement dans un flux d'images
FR2924514A1 (fr) Correction de bruit d'image.
EP4020978A1 (fr) Procede d'etalonnage d'une matrice de photodetecteurs, dispositif d'etalonnage et systeme d'imagerie associes
EP2756483B1 (fr) Procédé et système d'acquisition et de traitement d'images pour la détection du mouvement
EP3073441A1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
FR3102324A1 (fr) Procédé d’acquisition d’une image couleur et d’une image infra-rouge et système mettant en œuvre ledit procédé
FR2968876A1 (fr) Systeme d'acquisition d'images presentant une dynamique elevee
FR2945883A1 (fr) Procede et systeme de detection de l'etat ouvert ou ferme des yeux d'un visage.
FR3113165A1 (fr) Procédé et système pour imager une scène dans l’espace
FR3089662A1 (fr) Procédé de reconnaissance d’objets tels que des panneaux de signalisation au moyen d’une caméra embarquée dans un véhicule automobile
CA3105372A1 (fr) Traitement d'un bruit impulsionnel dans une sequence video
FR3066633A1 (fr) Procede de defloutage d'une image
FR3145638A1 (fr) Système d'acquisition d'une image couleur et d'une image infrarouge d'une scène
WO2025153777A1 (fr) Procédé et dispositif d'acquisition d'une pile d'images d'une scène a luminosite améliorée
FR3147417A1 (fr) Procédé et dispositif d’ajustement automatique de paramètres d’un appareil de capture d’images numériques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19713100

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19713100

Country of ref document: EP

Kind code of ref document: A1