[go: up one dir, main page]

FR2687000A1 - Method and device for detecting vehicles and markings on the ground - Google Patents

Method and device for detecting vehicles and markings on the ground Download PDF

Info

Publication number
FR2687000A1
FR2687000A1 FR9201067A FR9201067A FR2687000A1 FR 2687000 A1 FR2687000 A1 FR 2687000A1 FR 9201067 A FR9201067 A FR 9201067A FR 9201067 A FR9201067 A FR 9201067A FR 2687000 A1 FR2687000 A1 FR 2687000A1
Authority
FR
France
Prior art keywords
image
captured
images
camera
restitution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9201067A
Other languages
French (fr)
Other versions
FR2687000B1 (en
Inventor
Nguyen Hoang Giang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SA
Original Assignee
Renault SA
Regie Nationale des Usines Renault
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SA, Regie Nationale des Usines Renault filed Critical Renault SA
Priority to FR9201067A priority Critical patent/FR2687000A1/en
Publication of FR2687000A1 publication Critical patent/FR2687000A1/en
Application granted granted Critical
Publication of FR2687000B1 publication Critical patent/FR2687000B1/fr
Granted legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Procédé de détection d'obstacles présents sur la trajectoire d'un véhicule à partir d'images de la chaussée captées par deux caméras (1, 2) équipées d'objectifs (3, 4) effectuant respectivement la même prise de vue, dans les domaines des rayonnements visibles, et du proche infrarouge, ces deux images étant traitées par différence pour former une troisième image ou image de restitution, relevant uniquement le contraste des obstacles détectés par rapport au paysage, caractérisé en ce que les deux prises de vue sont asservies à une mesure continue de l'éclairement de la chaussée.Method for detecting obstacles present in the path of a vehicle from images of the roadway captured by two cameras (1, 2) equipped with lenses (3, 4) respectively taking the same shot, in the fields of visible radiation, and of near infrared, these two images being processed by difference to form a third image or restitution image, noting only the contrast of the obstacles detected with respect to the landscape, characterized in that the two shots are slaved continuous measurement of the illumination of the roadway.

Description

PROCèDE ET DISPOSrrIF DE DETECTION DE VEHICULES ET DE
MAROUAGES AU SOL
La présente invention se rapporte au domaine technique de l'aide à la conduite automobile. Plus précisément, elle concerne un procédé et un dispositif permettant de détecter et de visualiser des obstacles tels que les autres véhicules en stationnement ou en circulation sur la chaussée. Cette invention est particulièrement adaptée aux difficultés propres à la conduite dans des conditions de visiblité difficiles (nuit, brouillard...), sans que ces conditions en limitent l'application.METHOD AND DEVICE FOR DETECTING VEHICLES AND
GROOVES ON THE GROUND
The present invention relates to the technical field of driving assistance. More specifically, it relates to a method and a device making it possible to detect and visualize obstacles such as other vehicles parked or in circulation on the roadway. This invention is particularly suited to the difficulties inherent in driving in difficult visibility conditions (night, fog, etc.), without these conditions limiting its application.

Une technique connue pour détecter la présence d'obstacles sur le trajet d'un véhicule automobile, consiste à balayer la chaussée avec un faisceau radar à rayon laser de longueur d'onde comprise entre 600 nm et 900 nm, appelé faisceau LIDAR, ou avec un faisceau radar à hyperfréquence dont la fréquence est de l'ordre de 76 GHZ. Dans le cas du LIDAR, comme dans celui du radar à hyperfréquence, l'information fournie se limite à indiquer la présence d' obstacles sur la chaussée, tels que d'autres véhicules, sans spécifier leur position relative. Si, en cas de déplacement rectiligne, la position relative de l'obstacle détecté peut être déduite des coordonnées angulaires instantanées du faisceau intercepté, ce type de déduction devient totalement inopérent en virage, sauf à localiser l'obstacle détecté par d'autres moyens, et à recadrer l'image de celui-ci grâce à des repères appropriés.A known technique for detecting the presence of obstacles in the path of a motor vehicle, consists in scanning the roadway with a laser beam radar beam of wavelength between 600 nm and 900 nm, called LIDAR beam, or with a microwave radar beam whose frequency is of the order of 76 GHZ. In the case of LIDAR, as in that of microwave radar, the information provided is limited to indicating the presence of obstacles on the road, such as other vehicles, without specifying their relative position. If, in the event of rectilinear displacement, the relative position of the detected obstacle can be deduced from the instantaneous angular coordinates of the intercepted beam, this type of deduction becomes completely inoperative when cornering, except to locate the obstacle detected by other means, and crop the image of it with appropriate benchmarks.

La méthode dite "bispectrale", décrite dans la publication EP 0454 516 de la demanderesse repose sur le repérage des feux stop des véhicules se trouvant dans le champ de prospection. Cette méthode met en oeuvre deux caméras, dont la première est sensible aux rayonnements d'un domaine spectral couvrant l'infrarouge, mais plus large que celui-ci, tandis que la seconde capte les rayonnements visibles complétant l'infrarouge. Le traitement par différence des deux images captées conduit à une troisième image du champ ouvert au véhicule, relevant seulement le contraste de l'obstacle. L'application de ce procédé est toutefois d'une efficacité limitée, en raison de la variation fréquente de l'éclairement ambiant, impliquant notamment un réglage constant des objectifs et une modification des coefficients de pondération dans le traitement numérique des images.The so-called "bispectral" method, described in the applicant's publication EP 0454 516, is based on the identification of the stop lights of vehicles located in the field of prospecting. This method uses two cameras, the first of which is sensitive to radiation from a spectral domain covering the infrared, but wider than the latter, while the second captures the visible radiation completing the infrared. The difference processing of the two captured images leads to a third image of the field open to the vehicle, noting only the contrast of the obstacle. The application of this method is however of limited effectiveness, due to the frequent variation of the ambient lighting, implying in particular a constant adjustment of the objectives and a modification of the weighting coefficients in the digital processing of the images.

La présente invention vise à perfectionner la méthode "bispectrale" en fournissant au conducteur une image simplifiée, indiquant toutefois avec précision la silhouette et la position de l'obstacle détecté.The present invention aims to improve the "bispectral" method by providing the driver with a simplified image, however indicating precisely the silhouette and the position of the detected obstacle.

Elle concerne un procédé de détection d'obstacles présents sur la trajectoire d'un véhicule à partir d'images de la chaussée captées par deux caméras équipées d'objectifs effectuant respectivement la même prise de vue, dans les domaines des rayonnements visibles, et du proche infrarouge, ces deux images étant traitées par différence pour former une troisième image ou image de restitution, relevant uniquement le contraste des obstacles détectés par rapport au paysage. Ce procédé est caractérisé en ce que les deux prises de vue sont asservies à une mesure continue de l'éclairement de la chaussée.It relates to a method for detecting obstacles present on the path of a vehicle from images of the roadway captured by two cameras equipped with lenses performing the same shooting respectively, in the fields of visible radiation, and of near infrared, these two images being processed by difference to form a third image or restitution image, noting only the contrast of the obstacles detected in relation to the landscape. This process is characterized in that the two shots are slaved to a continuous measurement of the illumination of the roadway.

Selon un mode de réalisation de l'invention, les objectifs de chaque caméra sont asservis à une mesure continue de l'éclairement de la chaussée.According to one embodiment of the invention, the objectives of each camera are slaved to a continuous measurement of the illumination of the roadway.

Selon un mode de réalisation de l'invention, chaque caméra possède un iris asservi à une mesure continue de l'éclairement de la chaussée.According to one embodiment of the invention, each camera has an iris controlled by a continuous measurement of the illumination of the roadway.

Selon un mode de réalisation de l'invention, les images captées par chaque caméra sont numériques.According to one embodiment of the invention, the images captured by each camera are digital.

Selon un mode de réalisation de l'invention, les histogammes des deux images captées sont égalisées, de façon à pouvoir soustraire l'image captée dans le spectre visible, de l'image captée dans le proche infrarouge.According to one embodiment of the invention, the histograms of the two captured images are equalized, so that the image captured in the visible spectrum can be subtracted from the image captured in the near infrared.

Selon un mode de réalisation de l'invention, l'image de restitution est filtrée, et on détermine un seuil lumineux d'affichage, fonction de l'éclairement de la chaussée, pour ne conserver sur l'image de restitution, que la silhouette des véhicules détectés et des marquages au sol.According to one embodiment of the invention, the image of restitution is filtered, and a light threshold of display is determined, function of the illumination of the roadway, in order to preserve only on the restitution image, the silhouette detected vehicles and ground markings.

Selon un mode de réalisation de l'invention, la silhouette des véhicules détectés et des marquages au sol est restituée au conducteur sous forme d'une signature, constituée de rectangles blancs sur fond noir.According to one embodiment of the invention, the silhouette of the vehicles detected and of the markings on the ground is returned to the driver in the form of a signature, consisting of white rectangles on a black background.

Selon un mode de réalisation de l'invention, on détermine les maxima d'intensité de l'image de restitution, et on poursuit la signature des véhicules detectés, sur la base du déplacement de ces maxima dans l'image de restitution.According to one embodiment of the invention, the intensity maxima of the restitution image are determined, and the signature of the detected vehicles is continued, on the basis of the displacement of these maxima in the restitution image.

Selon un mode de réalisation de l'invention, pendant le temps de passage du véhicule effectuant la détection sous l'ombre des arbres défilant latéralement, on détermine la trajectoire des maxima uniquement à partir de l'image captée dans le spectre visible.According to one embodiment of the invention, during the passage time of the vehicle carrying out the detection under the shade of the trees moving sideways, the trajectory of the maxima is determined solely from the image captured in the visible spectrum.

Selon un mode de réalisation de l'invention, le conducteur est averti par voie sonore de l'entrée d'un maximum à l'intérieur d'une zone de sécurité dans l'image, cette zone étant déterminée à partir de la vitesse propre du véhicule effectuant la détection et des conditions d'adhérence au sol.According to one embodiment of the invention, the driver is warned by sound of the entry of a maximum inside a safety zone in the image, this zone being determined from the proper speed of the vehicle carrying out the detection and the ground grip conditions.

Selon un mode de réalisation de l'invention, le signal sonore d'avertissement a une fréquence inversement proportionnelle à une mesure de l'éloignement de ce maximum.According to one embodiment of the invention, the warning sound signal has a frequency inversely proportional to a measurement of the distance from this maximum.

L'invention concerne également un dispositif spécialement conçu pour la mise en oeuvre d'un procédé conforme à l'un quelconque des modes de réalisation précédents. Ce dispositif est caractérisé en ce qu'il comporte une unité centrale de traitement, reliée à une première caméra sensible aux rayonnements du domaine visible, et à une seconde caméra sensible aux rayonnements du proche infrarouge, dont les prises de vue sont asservies à un capteur d'éclairement également relié à l'unité centrale, en ce que chaque caméra est connectée à une unité de mémoire de trame, elle-même connectée à une unité de traitement d'image assurant sous le contrôle de i'unité centrale l'égalisation des histogrammes des deux images captées, et en ce qu'il comporte une unité de soustraction des images égalisées, reliée aux deux unités de mémoire de trame, un ensemble de filtrage disposé en sortie de l'unité de soustraction et une unité de visualisation de l'image de restitution après filtrage.The invention also relates to a device specially designed for implementing a method in accordance with any one of the preceding embodiments. This device is characterized in that it comprises a central processing unit, connected to a first camera sensitive to visible field radiation, and to a second camera sensitive to near infrared radiation, the shots of which are controlled by a sensor. also connected to the central unit, in that each camera is connected to a frame memory unit, itself connected to an image processing unit ensuring under the control of the central unit the equalization histograms of the two captured images, and in that it comprises a unit for subtracting the equalized images, connected to the two frame memory units, a filtering assembly arranged at the output of the subtraction unit and a display unit for the image of restitution after filtering.

Selon un mode de réalisation de l'invention, l'ensemble de filtrage est constitué d'un filtre passif, associé en série avec un élément de seuillage de luminosité, asservi.According to one embodiment of the invention, the filter assembly consists of a passive filter, associated in series with a brightness thresholding element, controlled.

Selon un mode de réalisation de l'invention, le capteur d'éclairement est relié à l'unité centrale par l'intermédiaire d!un luminence-mètre, et ses informations sont exploitées par celle-ci d'une part pour l'asservissement des prises de vue et de l'élément de seuillage, et d'autre part comme paramètre de pondération dans l'algorithme de traitement des images.According to one embodiment of the invention, the illumination sensor is connected to the central unit via a luminance meter, and its information is used by the latter on the one hand for the servo shots and the thresholding element, and secondly as a weighting parameter in the image processing algorithm.

Selon un mode de réalisation de l'invention, le dispositif comporte un avertisseur sonore, délivrant sous le contrôle de l'unité centrale, un signal relatant l'entrée d'un obstacle à l'intérieur d'une zone de sécurité dans l'image, déterminée.According to one embodiment of the invention, the device comprises an audible warning device, delivering under the control of the central unit, a signal relating to the entry of an obstacle inside a safety zone into the image, determined.

L'invention sera mieux comprise à la lecture de la description suivante d'un mode de réalisation de celle-ci, en liaison avec les dessins annexés, sur lesquels:
- la figure 1 est un schéma électrique du système de détection de l'invention,
- la figure 2 est un organigramme récapitulatif du procédé de l'invention, et
- la figure 3 illustre le traitement d'image réalisé conformément à l'invention. The invention will be better understood on reading the following description of an embodiment thereof, in conjunction with the appended drawings, in which:
FIG. 1 is an electrical diagram of the detection system of the invention,
FIG. 2 is a summary flowchart of the method of the invention, and
- Figure 3 illustrates the image processing performed in accordance with the invention.

Sur la figure 1, on a indiqué schématiquement la présence des deux caméras 1, 2 nécessaires à la mise en oeuvre de l'invention, ainsi que de leurs objectifs 3, 4 respectifs. La première caméra 3 est sensible aux rayonnements du spectre visible, par exemple entre 0,4 et 0,75 microns, tandis que la seconde caméra 4 saisit une image du même champ dans le spectre proche infrarouge, par exemple entre 0,6 et 1 micron. Les deux objectifs 3, 4 sont reliés à une unité centrale de traitement 5, recevant par ailleurs des informations sur la luminosité ambiante, en provenance d'un capteur 6, associé à un luminance-mètre 7. Le capteur 6 utilisé pourra avantageusement être un capteur à semi conducteur en silicium. Une caractéristique essentielle de l'invention consiste en ce que l'éclairement de la chaussée est mesuré en permanence par le capteur 6, de façon à asservir par l'intermédiaire de l'unité centrale 5, l'ouverture des objectifs 3, 4, ou l'iris électronique des caméras 1 et 2, à l'éclairement mesuré.In FIG. 1, the presence of the two cameras 1, 2 necessary for the implementation of the invention, as well as their respective objectives 3, 4, has been indicated diagrammatically. The first camera 3 is sensitive to radiation from the visible spectrum, for example between 0.4 and 0.75 microns, while the second camera 4 captures an image of the same field in the near infrared spectrum, for example between 0.6 and 1 micron. The two objectives 3, 4 are connected to a central processing unit 5, also receiving information on the ambient brightness, coming from a sensor 6, associated with a luminance meter 7. The sensor 6 used can advantageously be a silicon semiconductor sensor. An essential characteristic of the invention consists in that the illumination of the roadway is continuously measured by the sensor 6, so as to control, via the central unit 5, the opening of the objectives 3, 4, or the electronic iris of cameras 1 and 2, with the measured illumination.

En effet, l'asservissement de l'ouverture des objectifs 3, 4, peut être remplacé par le procédé connu sous le nom d"'iris électronique", notamment dans le cas où la caméra est un capteur d'images du type CCD (Charge Coupled Device). Ce procédé consiste à modifier le temps d'exposition du capteur d'image ou à contrôler les charges dues à l'effet électro-optique au niveau des éléments du CCD de manière continue, en fonction de l'éclairement
La première caméra 1 est reliée à une unité de mémoire de trame "visible" 8, elle même raccordée à une unité de traitement d'image "visible" 9. De même, la seconde caméra 2 est reliée à une unité de mémoire de trame "infrarouge" 10, elle même reliée à une une unité de traitement d'image "infrarouge" 11. Les unités de traitement 9, 11 ont pour fonction d'égaliser l'histogramme de l'image captée dans le spectre visible avec celui de l'image captée dans le proche infrarouge. L'unité centrale 5 et les deux unités de mémoire de trame 8, 10 sont connectées à une unité de soustraction d'images 12. L'image résultant de ensemble des traitements et de la soustraction transite par un premier filtre 13 de type classique, puis par un second filtre 14, ou "filtre de seuillage" 14, pour apparaitre sur une unité de visualisation 15 disposée dans le champ de vision habituel du conductèur. Par ailleurs, l'unité centrale 5 est raccordée à un avertisseur sonore 16, dont la fonction est de signaler au conducteur la pénétration des obstacles détectés, à l'intérieur d'un périmètre de sécurité prélablement déterminé.Indeed, the slaving of the aperture of the objectives 3, 4, can be replaced by the process known under the name of "electronic iris", in particular in the case where the camera is an image sensor of the CCD type ( Charge Coupled Device). This process consists in modifying the exposure time of the image sensor or in controlling the charges due to the electro-optical effect at the level of the CCD elements continuously, as a function of the illumination
The first camera 1 is connected to a "visible" frame memory unit 8, itself connected to a "visible" image processing unit 9. Likewise, the second camera 2 is connected to a frame memory unit "infrared" 10, itself connected to an "infrared" image processing unit 11. The processing units 9, 11 have the function of equalizing the histogram of the image captured in the visible spectrum with that of the image captured in the near infrared. The central unit 5 and the two frame memory units 8, 10 are connected to an image subtraction unit 12. The image resulting from all of the processing and the subtraction passes through a first filter 13 of conventional type, then by a second filter 14, or "thresholding filter" 14, to appear on a display unit 15 arranged in the usual field of vision of the conductor. Furthermore, the central unit 5 is connected to an audible warning device 16, the function of which is to signal to the driver the penetration of detected obstacles, within a previously determined safety perimeter.

Le fonctionnement de ce dispositif, résumé par l'organigramme de la figure 2, est le suivant. Comme indiqué plus haut, la commande de l'ouverture des objectifs 3, 4 est gérée par l'unité centrale 5, en fonction de 11 éclairement de la scène, quantifié par cette meme unité centrale, 5 sur la base des informations transmises par le capteur 6 et le luminance-mètre 7. L'éclairement de la scène est également exploité comme, paramètre de pondération dans l'algorithme de traitement d'images, notamment pour modifier l'histogramme des images captées par les caméras 1 2, et pour fixer le seuil imposé par le second filtre, ou filtre de seuillage 14.The operation of this device, summarized by the flowchart in Figure 2, is as follows. As indicated above, the command to open the objectives 3, 4 is managed by the central unit 5, as a function of the illumination of the scene, quantified by this same central unit, 5 on the basis of the information transmitted by the sensor 6 and the luminance meter 7. The lighting of the scene is also used as a weighting parameter in the image processing algorithm, in particular for modifying the histogram of the images captured by the cameras 1 2, and for set the threshold imposed by the second filter, or thresholding filter 14.

Les deux images superposées de la chaussée, acquises sous forme numérique par les caméras, l'une dans le spectre visible, et l'autre dans le proche infrarouge, sont mémorisées dans les deux unités de mémoire de trame 8, 10. En liaison avec l'unité centrale 5, les deux unités de traitement d'image 9, 11 procèdent à une égalisation de l'histogramme de l'image captée dans le spectre visible par celui de l'image captée dans le proche infrarouge.The two superimposed images of the roadway, acquired in digital form by the cameras, one in the visible spectrum and the other in the near infrared, are stored in the two frame memory units 8, 10. In connection with the central processing unit 5, the two image processing units 9, 11 carry out an equalization of the histogram of the image captured in the visible spectrum by that of the image captured in the near infrared.

Toujours sous le contrôle de l'unité centrale 5, l'unité de soustraction 12 effectue un traitement par différence des deux images ainsi égalisées, pour former une troisième image, ou image de restitution, relevant seulement le contraste des obstacles détectés, par rapport au paysage.Still under the control of the central unit 5, the subtraction unit 12 performs a difference processing of the two images thus equalized, to form a third image, or restitution image, noting only the contrast of the obstacles detected, relative to the landscape.

Le filtrage d'image effectué par le premier filtre 13 ou filtre passif est un filtrage classique. En revanche, le second filtre 14 impose un seuil de transmission d'image qui est fonction de la mesure d'éclairement de la chaussée. Le résultat de ce double filtrage est que l'image de restitution ne comporte plus que la silhouette des véhicules détectés, et celle des marquage au sol . L'image perçue par le conducteur, reproduite sur la partie droite de la figure 3 ("RESULT"), est binaire, la silhouette des partie droite de la figure 3 ("RESULT"), est binaire, la silhouette des véhicules et les marquages constituant des signatures sous forme de simples rectangles blancs sur fond noir. Dans le cas général, la signature d'un véhicule en image binaire ainsi obtenue, se résume à deux rectangles blancs sur fond noir, correspondant à sa carrosserie vue de l'arrière.The image filtering performed by the first filter 13 or passive filter is a conventional filtering. On the other hand, the second filter 14 imposes an image transmission threshold which is a function of the illumination measurement of the roadway. The result of this double filtering is that the image of restitution comprises only the silhouette of the vehicles detected, and that of the markings on the ground. The image perceived by the driver, reproduced on the right part of figure 3 ("RESULT"), is binary, the silhouette of the right part of figure 3 ("RESULT"), is binary, the silhouette of the vehicles and the markings constituting signatures in the form of simple white rectangles on a black background. In the general case, the signature of a vehicle in binary image thus obtained, comes down to two white rectangles on a black background, corresponding to its bodywork seen from the rear.

Lorsqu'un obstacle a été détecté, le dispositif de l'invention est capable de suivre celui-ci de façon à prolonger la transmission d'informations au conducteur, sous forme binaire. Cette opération, constituant une véritable "poursuite de signature" des véhicules détectés, consiste tout d'abord à rechercher les coordonnées du maximum d'intensité de l'obstacle. Bien entendu, ce maximum ne correspond pas forcément au centre géomètrique de l'obstacle. Pour éviter de focaliser la poursuite sur l'ombre du véhicule au lieu de la focaliser sur le véhicule lui-même, il est en effet nécessaire de ne pas "trainer" dans la poursuite, la signature due à l'ombre du véhicule.When an obstacle has been detected, the device of the invention is capable of tracking it so as to prolong the transmission of information to the driver, in binary form. This operation, constituting a veritable "signature pursuit" of the vehicles detected, consists first of all in seeking the coordinates of the maximum intensity of the obstacle. Of course, this maximum does not necessarily correspond to the geometric center of the obstacle. To avoid focusing the chase on the shadow of the vehicle instead of focusing it on the vehicle itself, it is indeed necessary not to "drag" in the chase, the signature due to the shadow of the vehicle.

Le dispositif de l'invention a en outre la capacité d'être indifférent au défilement des ombres des arbres sur les bords de la chaussée. A cet effet, l'unité centrale 5 impose temporairement au dispositif d'accrocher le maximum d'intensité de l'obstacle sur l'image captée dans le spectre visible, de façon à prévoir sur la base du déplacement de ce maximum, le déplacement du maximum d'intensité de l'image binaire résultant du traitement habituel. Cette faculté permet au dispositif de suivre en temps réel l'image des véhicules et celle des marquages au sol, sans être perturbéee par les zones d'ombre.The device of the invention also has the capacity to be indifferent to the movement of the shadows of the trees on the edges of the roadway. To this end, the central unit 5 temporarily imposes on the device to hang the maximum intensity of the obstacle on the image captured in the visible spectrum, so as to predict, on the basis of the displacement of this maximum, the displacement the maximum intensity of the binary image resulting from the usual processing. This ability allows the device to follow in real time the image of the vehicles and that of the markings on the ground, without being disturbed by the gray areas.

En fonction de la vitesse propre du véhicule équipé du dispositif de détection de l'invention, et des conditions d'adhérence au sol, l'unité centrale S détermine enfin une zone, dite "zone de sécurité dans l'image".As a function of the speed specific to the vehicle equipped with the detection device of the invention, and of the conditions of adhesion to the ground, the central unit S finally determines an area, called "safety zone in the image".

Le déplacement relatif des maxima d'intensité détectés, par rapport au véhicule équipé est surveillé de façon à avertir le conducteur que l'obstacle détecté pénètre dans la zone de sécurité. Une solution particulièrement avantageuse consiste à avertir le conducteur au moyen d'un signal sonore dont la fréquence est inversement proportionnelle à une mesure de l'éloignement de de ce maximum dans l'image. Cette mesure peut par exemple être constituée par l'ordonnée cartésienne du maximum dans un repère ayant pour axe d'abcisses un axe transversal à la direction de déplacement. Ce type de signal constitue en effet l'interface la plus efficace du point de vue de la sécurité, entre l'homme et la machine.The relative movement of the maximum intensity detected with respect to the equipped vehicle is monitored so as to warn the driver that the detected obstacle enters the safety zone. A particularly advantageous solution consists in warning the driver by means of an audible signal whose frequency is inversely proportional to a measurement of the distance from this maximum in the image. This measurement can for example be constituted by the Cartesian ordinate of the maximum in a reference frame having for abscissa axis an axis transverse to the direction of displacement. This type of signal constitutes in fact the most effective interface from the point of view of security, between man and machine.

En conclusion, l'invention permet au conducteur de détecter et de suivre les obstacles surgissant sur sa trajectoire, tout en évaluant leurs positons, relatives aux marquages. De plus, le conducteur est averti par voie sonore de la proximité des obstacles, avec son véhicule. Cette invention présente donc des qualités de fiabilité et de précision, inconnus des sytèmes existants. In conclusion, the invention allows the driver to detect and follow the obstacles arising on his path, while evaluating their positions, relating to the markings. In addition, the driver is warned audibly of the proximity of obstacles with his vehicle. This invention therefore has qualities of reliability and precision, unknown to existing systems.

Claims (16)

REVENDIC!ATIONSREVENDIC! ATIONS 1) Procédé de détection d'obstacles présents sur la trajectoire d'un véhicule à partir d'images de la chaussée captées par deux caméras (1, 2) équipées d'objectifs (3, 4) effectuant respectivement la même prise de vue, dans les domaines des rayonnements visibles, et du proche infrarouge, ces deux images étant traitées par différence pour former une troisième image ou image de restitution, relevant uniquement le contraste des obstacles détectés par rapport au paysage, caractérisé en ce que les deux prises de vue sont asservies à une mesure continue de l'éclairement de la chaussée. 1) Method for detecting obstacles present on the path of a vehicle from images of the roadway captured by two cameras (1, 2) equipped with objectives (3, 4) performing the same photograph respectively, in the fields of visible radiation, and of the near infrared, these two images being processed by difference to form a third image or restitution image, noting only the contrast of the obstacles detected with respect to the landscape, characterized in that the two shots are subject to a continuous measurement of road lighting. 2) Procédé de détection d'obstacles selon la revendication 1, caractérisé en ce que les objectifs (3, 4) de chaque caméra (1, 2) sont asservis à une mesure continue de l'éclairement de la chaussée.2) Method for detecting obstacles according to claim 1, characterized in that the objectives (3, 4) of each camera (1, 2) are slaved to a continuous measurement of the illumination of the roadway. 3) Procédé de détection d'obstacles selon la revendication 1, caractérisé en ce que chaque caméra possède un iris électronique asservi à une mesure continue de l'éclairement de la chaussée.3) A method of detecting obstacles according to claim 1, characterized in that each camera has an electronic iris controlled by a continuous measurement of the illumination of the roadway. 4) Procédé de détection d'obstacles selon, les revendications 1, 2 ou 3, caractérisé en ce que les images captées par chaque caméra (1, 2) sont numériques.4) Method for detecting obstacles according to claims 1, 2 or 3, characterized in that the images captured by each camera (1, 2) are digital. 5) Procédé de détection d'obstacles selon l'une des revendications I à 4, caractérisé en ce que les histogammes des deux images captées sont égalisées de façon à pouvoir soustraire l'image captée dans le spectre visible, de l'image captée dans le proche infrarouge.5) Method for detecting obstacles according to one of claims I to 4, characterized in that the histograms of the two captured images are equalized so as to be able to subtract the image captured in the visible spectrum, from the image captured in the near infrared. 6) Procédé de détection d'images selon l'une des revendications 1, à 5, caractérisé en ce que l'image de restitution est filtrée, et en ce qu'on détermine un seuil lumineux d'affichage, fonction de l'éclairement de la chaussée, pour ne conserver sur l'image de restitution, que la silhouette des véhicules détectés et des marquages au sol. 6) Image detection method according to one of claims 1, to 5, characterized in that the restitution image is filtered, and in that a display light threshold is determined, function of the illumination of the roadway, to keep only the silhouette of the vehicles detected and markings on the ground on the restitution image. 7) Procédé de détection selon la revendication 6, caractérisé en ce que la silhouette des véhicules détectés et des marquages au sol, est restituée au conducteur sous forme d'une signature, constituée de rectangles blancs sur fond noir.7) Detection method according to claim 6, characterized in that the silhouette of the vehicles detected and markings on the ground, is returned to the driver in the form of a signature, consisting of white rectangles on a black background. 8) Procédé de détection d'obstacles selon la revendication 7, caractérisé en ce qu'on détermine les maxima d'intensité de l'image de restitution, et en ce qu'on poursuit la signature des véhicules détectés, sur la base du déplacement de ces maxima dans l'image de restitution.8) Method for detecting obstacles according to claim 7, characterized in that the maximum intensity of the image of restitution is determined, and in that the signature of the detected vehicles is continued, on the basis of the displacement of these maxima in the restitution image. 9) Procédé de détection d'obstacles selon la revendication 8, caractérisé en ce que pendant le temps de passage du véhicule effectuant la détection sous l'ombre des arbres défilant latéralement, on détermine la trajectoire des maxima uniquement à partir de l'image captée dans le spectre visible.9) Method for detecting obstacles according to claim 8, characterized in that during the passage time of the vehicle carrying out the detection under the shade of the trees moving sideways, the trajectory of the maxima is determined solely from the captured image in the visible spectrum. 10) Procédé de détection selon les revendications 8 ou 9, caractérisé en ce que le conducteur est averti par voie sonore de l'entrée d'un maximum à l'intérieur d'une zone de sécurité dans l'image, cette zone étant déterminée à partir de la vitesse propre du véhicule effectuant la détection et des conditions d'adhérence au sol.10) Detection method according to claims 8 or 9, characterized in that the driver is warned by sound of the entry of a maximum inside a security zone in the image, this zone being determined from the vehicle's own speed detecting and ground grip conditions. 11) Procédé de détection selon la revendication 10, caractérisé en ce que le signal sonore d'avertissement présente une fréquence inversement proportionnelle à une mesure de l'éloignement de ce maximum.11) A detection method according to claim 10, characterized in that the warning sound signal has a frequency inversely proportional to a measurement of the distance from this maximum. 12) Dispositif de détection d'obstacles spécialement conçu pour la mise en oeuvre d'un procédé conforme à l'une quelconque des revendications précédentes, caractérisé en ce qu'il comporte une unité centrale de traitement (5), reliée à une première caméra (1) sensible aux rayonnements du domaine visible, et à une seconde caméra (2) sensible aux rayonnements du proche infrarouge, dont les prises de vue sont asservies à un capteur d'éclairement (6) également relié à l'unité centrale (5), en ce que chaque caméra (1, 2) est connectée à une unité de mémoire de trame (8, 10), elle-même connectée à une unité de traitement d'image (9, 11) assurant sous le contrôle de l'unité centrale (5), l'égalisation des histogrammés des deux images captées, en ce qu'il comporte une unité de soustraction (12) des images égalisées, reliée aux deux unités de mémoire de trame (8,12) Obstacle detection device specially designed for the implementation of a method according to any one of the preceding claims, characterized in that it comprises a central processing unit (5), connected to a first camera (1) sensitive to visible field radiation, and to a second camera (2) sensitive to near infrared radiation, whose shots are controlled by a light sensor (6) also connected to the central unit (5 ), in that each camera (1, 2) is connected to a frame memory unit (8, 10), itself connected to an image processing unit (9, 11) ensuring under the control of the central unit (5), the equalization of the histograms of the two captured images, in that it comprises a subtraction unit (12) of the equalized images, connected to the two frame memory units (8, 10), un ensemble de filtrage (13, 14) disposé en sortie de l'unité de soustraction (12), et une unité de visualisation (15) de l'image de restitution après filtrage. 10), a filter assembly (13, 14) disposed at the output of the subtraction unit (12), and a display unit (15) of the image of restitution after filtering. 13) Dispositif de détection d'obstacles selon la revendication 12, caractérisé en ce que l'ensemble de filtrage (13, 14) est constitué d'un filtre passif (13), associé en série avec un élément de seuillage de luminosité (14), asservi.13) obstacle detection device according to claim 12, characterized in that the filter assembly (13, 14) consists of a passive filter (13), associated in series with a brightness thresholding element (14 ), enslaved. 14) Dispositif de détection d'obstacles selon la revendication 13, caractérisé en ce que le capteur d'éclairement (6) est relié à l'unité centrale (5) par l'intermédiaire d'un luminence-mètre (7) et en ce que ses informations sont exploitées par celle-ci d'une part pour l'asservissement des prises de vue et de l'élément de seuillage (14), et d'autre part comme paramètre de pondération dans l'algorithme de traitement des images.14) Obstacle detection device according to claim 13, characterized in that the illumination sensor (6) is connected to the central unit (5) via a luminance meter (7) and in that its information is used by the latter on the one hand for the control of the shots and of the thresholding element (14), and on the other hand as a weighting parameter in the image processing algorithm . 15) Dispositif de détection d'obstacles selon les revendications 12, 13 ou 14, caractérisé en ce qu'il comporte un avertisseur sonore (16), délivrant sous le contrôle de l'unité centrale (5), un signal relatant l'entrée d'un obstacle à l'intérieur d'une zone de sécurité d'image, déterminée. 15) Obstacle detection device according to claims 12, 13 or 14, characterized in that it comprises an audible warning (16), delivering under the control of the central unit (5), a signal relating the input an obstacle inside a determined image security zone.
FR9201067A 1992-01-31 1992-01-31 Method and device for detecting vehicles and markings on the ground Granted FR2687000A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR9201067A FR2687000A1 (en) 1992-01-31 1992-01-31 Method and device for detecting vehicles and markings on the ground

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9201067A FR2687000A1 (en) 1992-01-31 1992-01-31 Method and device for detecting vehicles and markings on the ground

Publications (2)

Publication Number Publication Date
FR2687000A1 true FR2687000A1 (en) 1993-08-06
FR2687000B1 FR2687000B1 (en) 1995-04-28

Family

ID=9426194

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9201067A Granted FR2687000A1 (en) 1992-01-31 1992-01-31 Method and device for detecting vehicles and markings on the ground

Country Status (1)

Country Link
FR (1) FR2687000A1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2711593A1 (en) * 1993-10-25 1995-05-05 Daimler Benz Ag Device for monitoring the rear space, respectively before a motor vehicle in parking maneuver.
FR2753422A1 (en) * 1996-09-19 1998-03-20 Renault Vehicules Ind DIRECT CAMERA REVIEW DEVICE FOR VEHICLE
WO2001021438A1 (en) * 1999-09-23 2001-03-29 Bayerische Motoren Werke Aktiengesellschaft Sensor device for a motor vehicle used for detecting environmental parameters
GB2389989A (en) * 2001-03-28 2003-12-24 Hewlett Packard Co Camera with correction for infra-red response
WO2003107067A3 (en) * 2002-06-18 2004-04-08 Bayerische Motoren Werke Ag METHOD AND DEVICE FOR VISUALIZING THE ENVIRONMENT OF A VEHICLE BY MERGING AN INFRARED IMAGE AND A VISUAL REPRESENTATION AS A FUNCTION OF DISTANCES
WO2004070449A1 (en) * 2003-02-06 2004-08-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image
WO2006082502A1 (en) * 2005-02-04 2006-08-10 Fico Mirrors, Sa Method and system for improving the monitoring of the external environment of a motor vehicle
EP1400916A3 (en) * 2002-09-12 2007-01-03 Hitachi, Ltd. On board image processing apparatus
US7365771B2 (en) 2001-03-28 2008-04-29 Hewlett-Packard Development Company, L.P. Camera with visible and infra-red imaging
US7834905B2 (en) 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
CN106056594A (en) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 Double-spectrum-based visible light image extraction system and method
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
CN109552319A (en) * 2018-12-07 2019-04-02 南京航空航天大学 A kind of night intelligence DAS (Driver Assistant System) and method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437111A (en) * 1981-01-16 1984-03-13 Matsushita Electric Industrial Co., Ltd. Color television camera
WO1986005890A1 (en) * 1985-04-01 1986-10-09 Hughes Aircraft Company Dual mode video tracker
US4868652A (en) * 1980-08-19 1989-09-19 Elliott Brothers (London) Limited Head of display arrangements
EP0352831A1 (en) * 1988-06-24 1990-01-31 Laboratoires D'electronique Philips Television system for producing colour pictures at a low light intensity level
EP0392953A1 (en) * 1989-04-13 1990-10-17 Jean-Marie Tresse Microprogrammable electronic anticollision alarm control and aid for driving road motor vehicles
EP0412886A1 (en) * 1989-08-08 1991-02-13 Thomson-Csf Bispectrum imaging system and false colour display system
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
EP0454516A1 (en) * 1990-04-20 1991-10-30 Regie Nationale Des Usines Renault S.A. Obstacle display device, especially for automotive vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4868652A (en) * 1980-08-19 1989-09-19 Elliott Brothers (London) Limited Head of display arrangements
US4437111A (en) * 1981-01-16 1984-03-13 Matsushita Electric Industrial Co., Ltd. Color television camera
WO1986005890A1 (en) * 1985-04-01 1986-10-09 Hughes Aircraft Company Dual mode video tracker
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
EP0352831A1 (en) * 1988-06-24 1990-01-31 Laboratoires D'electronique Philips Television system for producing colour pictures at a low light intensity level
EP0392953A1 (en) * 1989-04-13 1990-10-17 Jean-Marie Tresse Microprogrammable electronic anticollision alarm control and aid for driving road motor vehicles
EP0412886A1 (en) * 1989-08-08 1991-02-13 Thomson-Csf Bispectrum imaging system and false colour display system
EP0454516A1 (en) * 1990-04-20 1991-10-30 Regie Nationale Des Usines Renault S.A. Obstacle display device, especially for automotive vehicle

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646614A (en) * 1993-10-25 1997-07-08 Mercedes-Benz Ag System for monitoring the front or rear parking space of a motor vehicle
FR2711593A1 (en) * 1993-10-25 1995-05-05 Daimler Benz Ag Device for monitoring the rear space, respectively before a motor vehicle in parking maneuver.
FR2753422A1 (en) * 1996-09-19 1998-03-20 Renault Vehicules Ind DIRECT CAMERA REVIEW DEVICE FOR VEHICLE
EP0830985A1 (en) * 1996-09-19 1998-03-25 RENAULT VEHICULES INDUSTRIELS Société dite: Rear view device with camera for vehicle
US6840342B1 (en) 1999-09-23 2005-01-11 Bayerische Motoren Werke Aktiengesellschaft Sensor device for a motor vehicle used for detecting environmental parameters
WO2001021438A1 (en) * 1999-09-23 2001-03-29 Bayerische Motoren Werke Aktiengesellschaft Sensor device for a motor vehicle used for detecting environmental parameters
GB2389989A (en) * 2001-03-28 2003-12-24 Hewlett Packard Co Camera with correction for infra-red response
GB2389989B (en) * 2001-03-28 2004-02-18 Hewlett Packard Co Camera with correction for infra-red response
US7365771B2 (en) 2001-03-28 2008-04-29 Hewlett-Packard Development Company, L.P. Camera with visible and infra-red imaging
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US7834905B2 (en) 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
EP1788420A3 (en) * 2002-06-18 2008-04-02 Bayerische Motorenwerke Aktiengesellschaft Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image
EP1801632A3 (en) * 2002-06-18 2008-04-02 Bayerische Motorenwerke Aktiengesellschaft Method and device for visualising the surroundings of a vehicle by fusing an infrared image and a visible image
EP1775619A3 (en) * 2002-06-18 2008-04-02 Bayerische Motorenwerke Aktiengesellschaft Method and device for visualising the environment of a vehicle by merging an infrared image and a visual image according to distance
WO2003107067A3 (en) * 2002-06-18 2004-04-08 Bayerische Motoren Werke Ag METHOD AND DEVICE FOR VISUALIZING THE ENVIRONMENT OF A VEHICLE BY MERGING AN INFRARED IMAGE AND A VISUAL REPRESENTATION AS A FUNCTION OF DISTANCES
EP1400916A3 (en) * 2002-09-12 2007-01-03 Hitachi, Ltd. On board image processing apparatus
CN100401129C (en) * 2003-02-06 2008-07-09 宝马股份公司 Method and apparatus for displaying the environment of a vehicle with a combination of infrared and visible images in relation to the environment
WO2004070449A1 (en) * 2003-02-06 2004-08-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image
US7199366B2 (en) 2003-02-06 2007-04-03 Bayerische Moteren Werke Aktiengesellschaft Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
ES2258399A1 (en) * 2005-02-04 2006-08-16 Fico Mirrors, S.A. Method and system for improving the monitoring of the external environment of a motor vehicle
US8044789B2 (en) 2005-02-04 2011-10-25 Fico Mirrors, S.A. Method and system for improving the monitoring of the external environment of a motor vehicle
WO2006082502A1 (en) * 2005-02-04 2006-08-10 Fico Mirrors, Sa Method and system for improving the monitoring of the external environment of a motor vehicle
ES2258399B1 (en) * 2005-02-04 2007-11-16 Fico Mirrors, S.A. METHOD AND SYSTEM TO IMPROVE THE SUPERVISION OF AN OUTSIDE ENVIRONMENT OF A MOTOR VEHICLE.
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
CN106056594A (en) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 Double-spectrum-based visible light image extraction system and method
CN109552319A (en) * 2018-12-07 2019-04-02 南京航空航天大学 A kind of night intelligence DAS (Driver Assistant System) and method
CN109552319B (en) * 2018-12-07 2023-07-25 南京航空航天大学 A nighttime intelligent assisted driving system and method

Also Published As

Publication number Publication date
FR2687000B1 (en) 1995-04-28

Similar Documents

Publication Publication Date Title
FR2687000A1 (en) Method and device for detecting vehicles and markings on the ground
US10257432B2 (en) Method for enhancing vehicle camera image quality
CN100420592C (en) Automatic car exterior light control system
JP4210431B2 (en) Method and apparatus for detecting an object on a window glass through which light passes
EP2061006B1 (en) Method of detecting a phenomenon that can reduce visibility for a vehicle
FR2919727A1 (en) METHOD FOR DETECTION BY A VEHICLE OF A VISIBILITY DISPERSING PHENOMENON
KR20150038032A (en) Stereo gated imaging system and method
JP2005515565A (en) Visibility obstruction identification method and identification apparatus in image sensor system
EP0687594A1 (en) Method and apparatus for detecting fog or smoke, suitable for a vehicle
JP2001028050A (en) Pedestrian detection device
EP0454516A1 (en) Obstacle display device, especially for automotive vehicle
EP2199152A1 (en) Method for switching automobile headlight lighting mode
FR2730201A1 (en) DEVICE FOR THE AUTOMATIC CORRECTION OF THE ORIENTATION OF AT LEAST ONE VEHICLE PROJECTOR DURING VARIATIONS OF PLATES THEREOF
US7612798B2 (en) Photographing system for a moving apparatus
FR2859860A1 (en) OBSTACLE DETECTION DEVICE HAVING A STEREOSCOPIC IMAGING SYSTEM INCLUDING TWO OPTICAL SENSORS
US20050231725A1 (en) Method and device for visual range measurements with image sensor systems
CN111756987B (en) Control method and device of vehicle-mounted camera and vehicle-mounted image capturing system
CN112419635B (en) Perimeter alarm method integrating grating and video
EP1024050A1 (en) Drive aid device for a motor vehicle
JP7077282B2 (en) Intelligent roadside unit and its information processing method
KR101823655B1 (en) System and method for detecting vehicle invasion using image
CN117584853A (en) Vehicle and control method thereof
US11025834B2 (en) Method and device for improving camera images for driver assistance systems
JP3929420B2 (en) Vehicle light amount detection device and vehicle illumination control device
KR20050006913A (en) System for detecting fog for vehicle and method for the same

Legal Events

Date Code Title Description
ST Notification of lapse