[go: up one dir, main page]

WO2018086662A1 - Detecting rain drops on a window pane by means of a camera and illumination - Google Patents

Detecting rain drops on a window pane by means of a camera and illumination Download PDF

Info

Publication number
WO2018086662A1
WO2018086662A1 PCT/DE2017/200104 DE2017200104W WO2018086662A1 WO 2018086662 A1 WO2018086662 A1 WO 2018086662A1 DE 2017200104 W DE2017200104 W DE 2017200104W WO 2018086662 A1 WO2018086662 A1 WO 2018086662A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
disc
recording
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2017/200104
Other languages
German (de)
French (fr)
Inventor
Dieter KRÖKEL
Gerhard Müller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112017003675.5T priority Critical patent/DE112017003675A5/en
Publication of WO2018086662A1 publication Critical patent/WO2018086662A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Definitions

  • the invention relates to the detection of raindrops on a pane by means of a camera and a lighting according to the independent claims.
  • the object of the present invention is now to propose an improved detection of raindrops on a pane by means of a camera and a lighting. This object is solved by the subject matters of the independent claims.
  • the present invention builds on the raindrop detection known from WO2012 / 09291 1A1. It has been found that this known detection method can lead to problems in the driver assistance function of a camera due to beating periods when detecting pulsed light sources, in particular to malfunctions such as a possible misdetection of Light signals such as traffic lights.
  • WO2014 / 1 14294A1 proposes a principle for image acquisition of pulsed light sources by means of a camera in which the time interval between two consecutive pictures of individual images is varied during the recording of a sequence of images for a driver assistance system function. As a result, beat periods in the recorded image sequence can be kept as short as possible and their influence on a driver assistance function can be reduced.
  • the present invention proposes to combine the "jitter concept" for detecting pulsed light sources according to WO2014 / 1 14294A1 with the known raindrop detection according to WO2012 / 09291 1 A1 in such a way that with a camera a raindrop detection by means of illumination with a possible
  • One embodiment of the invention now relates to a method for detecting raindrops on the outside of a pane by means of a camera arranged behind the pane and focused on a distant area in front of the pane and an illumination source for producing at least one of them A slice of directed light beam such that at least one beam reflected from the outside of the disc hits the camera
  • the method comprises the following steps: taking a series of images through the camera for a driver assistance function, wherein the image sequence is subdivided into time-constant functional cycles, temporally successive first and second acquisitions of one image are made in each functional cycle, and the time interval between the first and second functional cycle recordings is increased
  • Operating cycle is varied, generating the light beam directed onto the disc by the illumination source in a functional cycle within the time interval between the first and second recording, wherein a third recording of an image in this functional cycle for a rain detection function is made so that the at least one from the outside the disc reflected beam can be at least partially detected by the camera, and evaluating the third image of an image to detect rain on the outside of the disc.
  • the light beam directed onto the pane can only be generated by the illumination source in a functional cycle if the time interval between the first and second exposures in the functional cycle is greater than a predetermined time interval.
  • the predetermined interval may be selected depending on the recording period of the third recording, in particular at least equal to the recording period of the third recording.
  • the recording period of the third recording may be selected such that the at least one beam reflected from the outside of the disk is detected until an amount of light of the detected reflected beam in the third recording is sufficient to detect rain on the outside of the disk.
  • a third shot may also be taken in a functional cycle in which no light beam directed to the pane is generated by the illumination source, and this third image may additionally be used in the evaluation for detecting rain on the outside of the pane.
  • the third shot taken in a functional cycle in which no light beam directed to the disc was produced by the illumination source can be used to subtract the background in a third shot taken in a functional cycle in which one on the disc directed light beam is generated by the illumination source.
  • an embodiment of the invention relates to a device for detecting raindrops on the outside of a disc by means of a behind the disc and focused on a distant area in front of the disc camera and an illumination source for generating at least one light beam directed onto the disc such that at least one of Outside of the disc reflected beam impinges on the camera.
  • the device is designed to control the camera for recording a sequence of images for a driver assistance function, wherein the recording of the image sequence takes place in temporally congruent manner.
  • the illumination source for generating the light beam directed onto the disc in a functional cycle within the time interval between the first and second recordings, and to drive the camera to make a third photograph of an image in this functional cycle for a rain detection function such that the at least one beam reflected from the outside of the disk can be at least partially detected by the camera , and to evaluate the third image of an image for detecting rain on the outside of the disk.
  • the apparatus may include a processor for controlling the camera and the illumination source, and a memory in which a program is stored containing the processor for performing steps of a method according to the invention and as described herein and for controlling the camera and the illumination source accordingly configured.
  • the device may include an interface for data communication via a bus system of a vehicle.
  • an embodiment of the invention relates to a driver assistance system for use in a vehicle comprising a camera arranged behind the disc and focused on a distant area in front of the disc and a device having a processor for controlling the camera and a memory in which a program is stored, that configures the processor to perform steps of at least one method of implementing one or more camera-based driver assistance functions.
  • the driver assistance system further includes an illumination source arranged to generate at least one light beam directed to the disc such that at least one beam reflected from the outside of the disc hits the camera, and the program stored in the memory configures the processor to perform one of the steps Method according to the invention and as described herein and to a corresponding control of the camera and the illumination source.
  • FIG. 1 and 2 schematically the known from WO2012 / 09291 1A1 basic principle of raindrop detection with a possible arrangement of Beieuch ungsquelie and camera with beam paths in a dry disc (Fig. 1) and with changed beam paths in the rain on the disc (Fig 2), wherein a device according to the invention is used for controlling the illumination source and the camera;
  • FIG. 3 shows a representation of two consecutive image recording operation cycles by means of an image sensor of a driver assistance system camera, wherein two images with varying time intervals are recorded within each function cycle;
  • FIG. 4 shows a representation of two successive functional cycles for image recording by an image sensor of a driver assistance system camera, two images with varying time intervals being recorded within each functional cycle and a light pulse according to the present invention between the recording of the two images in a functional cycle and an image is taken for raindrop detection.
  • Fig. 1 shows the principle of operation of a device for detecting raindrops on a window 2 of a vehicle from WO2012 / 09291 1A1, which is based on a focused on the far field camera 1 and a lighting 3, a .
  • a generated by a Beieuch ungsquelie 3 light beam h is directed to the disc 2, that the reflected from the inside 2.1 and 2.2 outside of the disc rays as two spatially separated rays r1, r2 impinge on the lens or the camera 1. Because of the focus on the far field, the border of the beam bundles is only blurred on the image chip or image sensor of the camera 1 shown. But both beams r1, r2 are sufficiently separated and their respective amount of light can be measured with the image sensor. In the apparatus shown in Fig. 1, the main beam h of the illumination source 3 is used, therefore, the light of the illumination source may be preferably bundled.
  • the portion r1 of the main beam reflected at the air-disk interface (or disk inside 2.1) serves as a reference beam. From the proportion that is trans- mitted into the disk t1, the proportion serves as measuring beam r2, which is reflected at the disk-air interface (or disk outside 2.2) and hits the camera 1.
  • the decoupled from the disc 2 light component is denoted by t2. Not shown is the proportion of the beam, which is reflected several times within the disc 2 (on the inside 2.1 disc-air, after it was reflected on the outside 2.2 disc - air).
  • FIGS. 1 and 2 additionally show a device 8 which according to the invention is designed for rain detection or raindrop detection.
  • the device 8 comprises a processor 9, for example a microprocessor or micro-controller or application-specific processor, and a memory 10 connected thereto in data, for example a non-sensitive, programmable memory such as a flash memory.
  • a program is stored, the processor 9 for driving the invention of the camera 1 and the
  • Equilibration source 3 configured.
  • the control of the camera 1 and the illumination source 3 according to the invention will be explained in more detail below with reference to FIGS. 3 and 4.
  • the device 8 is in particular part of a driver assistance system and serves to implement camera-based driver assistance functions such as lane detection, object detection,
  • the device 8 also has an interface for data communication via a bus system 1 1 of a vehicle.
  • images captured by the camera 1 for the driver assistance function and the rain detection function can be transmitted via the interface and the bus system 1 1 to a central processing unit of a driver assistance system which can process the images and generate control signals for the actuators, for example within the framework of a Driver assistance function for automatic acceleration, braking and / or steering interventions and as part of the rain detection function for the activation of windscreen wipers,
  • FIGS. 1 and 2 offer the advantage of a pronounced signal change in the presence of rain 4 on the outside of the pane 2.2 for the raindrop detection or rain detection, as will be explained with reference to FIG.
  • the outer side 2.2 of the windshield 2 is wetted with raindrops 4, the predominant part t2 'of the light t1 is coupled out, so that the reflected part r2' is correspondingly weakened (see FIG. 2).
  • the reflected ray from the inside 2.1 2.1 r1 is unaffected.
  • the signal r2 "reduced in the rainfall due to raindrops 4 can be measured so easily and a windshield wiper can be correspondingly controlled.
  • the possibility of influencing a corresponding driver assistance function can be influenced by the illumination generated by the rays 3 h image recognition for object or lane detection such that the detection difficult, or even impossible, especially in poor lighting conditions, in which especially the reflected portion r1 of the rays h below Circumstances makes a detection in the twilight or heavy rain almost impossible.
  • FIG. 3 shows two successive functional cycles for image acquisition by means of the image chip or image sensor of the camera 1 of the device shown in FIGS. 1 and 2.
  • the image acquisition and the light generation for raindrop recognition are hereby controlled by a method according to the present invention.
  • the recording of the image sequence with the camera 1 is subdivided into so-called function cycles 6, 6 ', which have the same time duration, see FIG. 3.
  • the duration of the function cycles is such that the camera 1 sequentially images two images 5.1 within a functional cycle. 5.2 in cycle 6 and pictures 5.1 ! , 5.2 'in the next cycle 6'.
  • the images 5.2, 5.2 and 5.1 ', 5.2' are exposed for different lengths in the example shown, but not necessarily also different sizes (Doppelbeiichtung).
  • FIGS. 3 and 4 the first images of images (first images 5.1 or 5.1 'in cycle 8 or 6') and second images of images (second images 5.2 or 5.2 'in FIGS cycle
  • first and second images of the images 5.1, 5.1 ', 5.2, 5.2' are, in principle, a double exposure in the respective cycle 8 or 6 '.
  • first, second and third images of images will be referred to simply as first, second and third images, respectively.
  • the first and second images 5.1, 5.1 ', 5.2, 5.2' are shown as trapezoids in FIGS. 3 and 4, which illustrate the exposure of each recorded image for n
  • each of the images 5.1, 5.1 ', 5.2, 5.2' trapezoid before reading starts, which is symbolized in Fig. 3 and 4 by corresponding bars 6.1, 6.1 ', 6.2, 6.2'.
  • control signal 7 for reading out the pixels of the images is shown in FIGS. 3 and 4.
  • the readout of the first and second images 5.1, 5.1 'or 5.2, 5.2' in the functional cycle 6, 6 ' is triggered in each case by positive edges 7.1, 7.1 1 or 7.2, 7.2' of the control signal 7.
  • the time interval dt or dt 'between the positive edges 7.1 and 7.2 or 7.1' and 7.2 ' varies from functional cycle 6 to functional cycle 6', so that beating periods arising during the recording of pulsed light sources are kept as short as possible.
  • the varying time intervals dt, dt ' realize the previously mentioned "jitter concept".
  • the time intervals dt and dt ' can be generated by inserting so-called blanking phases 6.3, 6.3' between the images 5.1, 5.2 and 5.1 ', 5.2'.
  • blanking phases 6.3, 6.3' between the images 5.1, 5.2 and 5.1 ', 5.2'.
  • Such long blanking phases are usefully inserted so that constant durations of the function cycles 6, 6 'are achieved.
  • the blanking phases can be inserted relatively freely, so that the "jittering" of the second image 5.2, 5.2 'with respect to the first image 5.1, 5.1' can be achieved.
  • FIGS. 3 and 4 also show upper bars 6.1, 6.1, 6.2, 6.2 ', 6.3, 6.3', which display the image times 6.1, 6.1 ', 6.2, 6.2' for the first and second images 5.1, 5.1 'and 5.2, respectively. 5.2 'and the blanking phases 6.3, 6.3' between the first and second image per functional cycle 6, 6 'represent.
  • the image times 6.1, 6.1 ', 6.2, 6.2' can have different lengths if the images are of different sizes, as is the case in the example shown in FIGS. 3 and 4 (6.1, 6.1 '> 6.2, 6.2').
  • the period of func- tioncycles 8 and 8 ! is constant, while the period for the second images 5.2, 5.2 * is not constant within certain limits due to the "jitter" and the different lengths, from function cycle to function cycle varying blanking phases 6.3, 8.3 '.
  • the blanking phases 6.3, 6.3 ' are now used according to the invention to insert a third image or a third image, namely a rain sensor image, into a function cycle 8, 6', without the function cycle time being changed.
  • the third pictures are taken before the second, but after the first pictures.
  • Fig. 4 shows the insertion of third images 5.3 and 5.3 'in the function cycles 8 and 8'.
  • the blanking phase 8.3 is significantly shortened for this purpose, and two phases 8.4 and 6.5 are inserted before the blanking phase 6.3.
  • the phase 8.4 which follows the image time 6.1 for the first image 5.1, serves to irradiate a short light pulse 5.4 into the third image 5.3.
  • duration dtO is determined by the end of the Biidzeit 6.1 and the beginning of the phase 8.5, which corresponds to the image readout time for the third Biid 5.3 and is triggered by a further positive edge 7.3 of the control signal 7.
  • the blanking phase 6.3 is completely replaced by two phases 6.4' and 6.5 '.
  • the recording time for the rain sensor images 5.3, 5.3' is also much shorter than for the Driver assistance biider 5.1, 5.1 ', 5.2, 5.2', and thus the trapezoid of these images also smaller, as shown in Fig. 4 can be seen.
  • the phase 6.4 overlaps with the recording of the second image 5.2', so that the light pulse 5.4 'in the second image 5.2' is visible and this is affected. pregnant, in particular the evaluation of Biidinhaits and thus possibly a corresponding driver assistance function.
  • the production of a Lichtpuises in a functional cycle and / or the inclusion of a Regensensbiides suppressed or suspended in other words, it may therefore be provided that rain sensor images with light pulse radiation are recorded only in certain functional cycles.
  • a "jitter sequence” may include the following "phase shifts" in picture lines:
  • the device 8 of FIGS. 1 and 2 would activate the illumination sources 3 at the given time only in these functional cycles and detect a third rain sensor image with the camera 1 without the detection of the first and second images for the driver assistance function being impaired by the gene detection would.
  • a condition for a decision on the generation of a Lichtpuises 5.4, 5.4 'without affecting the second image 5.2, 5.2' may be satisfied if the time interval between the recording of the first and the second image in a functional cycle is greater than a predetermined interval, the depending on the recording period of the third image, in particular at least equal to this duration can be selected.
  • the recording time duration of the third image can again be selected such that the at least one beam r2 reflected by the outside 2.2 of the disk 2; r2 'is detected until a quantity of light of the detected reflected beam r2; r2 'in the third recording for the detection of rain 4 on the outside 2.2 of the disc 2 is sufficient.
  • the recording time duration of the third image can be varied over a plurality of successive functional cycles in order to be able to determine when a sufficient amount of light for rain detection can be detected. It is conceivable that, starting from a very short recording period, the recording period is gradually increased, which are compared with the different recording periods in the third images 5.3, 5.3 'and it is determined at which recording period a change in the third images 5.3, 5.3' detected at least one beam r2 reflected from outside 2.2 of the disk 2; r2 'occurs.
  • a third recording can be made in a functional cycle in which none of the
  • Disk 2 directed light beam h is generated by the illumination source 3, for example in Fig. 4 in the cycle 6 'without incident light pulse 5.4'.
  • This third recording without light pulse can then additionally during evaluation for the detection of Rain 4 on the outside 2.2 of the disc 2 are used, in particular as a reference image or to subtract the background in the third shot and so to improve the essential for the rain detection function light detection in the third shot.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

The invention relates to a method for detecting rain drops (4) on the outer side (2.2) of a window pane (2) by means of a camera (1) arranged behind the window pane (2) and focused on a long-distance range in front of the window pane, and an illumination source (3) for generating at least one light beam (h) directed onto the window pane (2) in such a way that at least one beam (r2; r2') reflected from the outer side (2.2) of the window pane (2) impinges on the camera (1), wherein the method comprises the following steps: capturing a sequence of images (5.1, 5.2, 5.1', 5.2') using the camera (1) for a driver assistance function, wherein the capturing of the image sequence is divided into temporally constant function cycles (6, 6'), a first and second capture (5.1, 5.2, 5.1', 5.2') of a respective image occurs temporally consecutively in each function cycle (6, 6') and the time interval (dt, dt') between the first and second capture (5.1, 5.2, 5.1', 5.2') is varied from function cycle (6) to function cycle (6'); generating the light beam (h; 5.4, 5.4') directed onto the window pane (2) using the illumination source (3) in a function cycle within the time interval between the first and second capture (5.1, 5.2, 5.1', 5.2'), wherein a third capture of an image (5.3, 5.3') is made in this function cycle for a rain detection function such that the at least one beam (r2; r2') reflected from the outer side (2.2) of the window pane (2) can be at least partially recorded by the camera (1); and evaluating the amount of light of the at least one, at least partially recorded beam (r2; r2') reflected from the outer side (2.2) of the window pane (2) in order to detect rain (4) on the outer side (2.2) of the window pane (2).

Description

ERKENNUNG VON REGENTROPFEN AUF EINER SCHEIBE MITTELS EINER KAMERA UND EINER BELEUCHTUNG  DETECTION OF RAINDROPS ON A WINDOW USING A CAMERA AND A LIGHTING

Die Erfindung betrifft die Erkennung von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung gemäß den unabhängigen Ansprüchen. The invention relates to the detection of raindrops on a pane by means of a camera and a lighting according to the independent claims.

Aus der WO2012/09291 1A1 ist es bekannt, Regentropfen auf einer Scheibe mittels einer Beleuch ungsquelle und einer Kamera insbesondere eines Fahrerassistenzsystems zu erkennen. Um gleichzeitig mit dem Kamerabild Fahrerassistenzfunkti- onen realisieren zu können, darf Licht der Beleuchtungsquelle das Fahrerassistenzbild nicht stören. Hierzu wird vorgeschlagen, für die Regetropfendetektion auf einem Bildchip oder Bildsensor der Kamera einen Bereich zu wählen, der außerhalb des Fahrerassistenzbildes auf dem Bildchip liegt. Wenn der Biidchip oder eine bauliche Integration der Beleuchtung keine ausreichende Größe für eine räumlich getrennte Abbildung der Lichtflecke und des Fahrerassistenzbereichs auf dem Bildchip zulässt, so wird vorgeschlagen, alternierend mit dem Fahrerassistenzbild ein Extrabild der Regensensorlichtfiecken aufzunehmen. In diesem Fall wird dann die Beleuchtung während der Aufnahme des Fahrerassistenzbüdes abgeschaltet und für die Aufnahme des Regensensorbildes wieder angeschaltet. It is known from WO2012 / 09291 1A1 to detect raindrops on a pane by means of a lighting source and a camera, in particular a driver assistance system. In order to be able to realize driver assistance functions simultaneously with the camera image, the light from the illumination source must not disturb the driver assistance image. For this purpose, it is proposed to select a region for the Regetropfendetektion on a picture chip or image sensor of the camera, which lies outside the driver assistance image on the image chip. If the slide chip or a structural integration of the illumination does not allow sufficient size for spatially separate imaging of the light spots and the driver assistance area on the image chip, it is proposed to record an extra image of the rain sensor light spots alternating with the driver assistance image. In this case, the illumination is then turned off during the recording of the driver assistance and turned back to record the rain sensor image.

Aufgabe der vorliegenden Erfindung ist es nun, eine verbesserte Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und einer Beleuchtung vorzuschlagen Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst.The object of the present invention is now to propose an improved detection of raindrops on a pane by means of a camera and a lighting. This object is solved by the subject matters of the independent claims.

Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen. Further embodiments of the invention will become apparent from the dependent claims.

Die vorliegende Erfindung baut auf der aus der WO2012/09291 1A1 bekannten Regentropfendetektion auf. Es hat sich gezeigt, dass diese bekannte Detektions- methode bei der Erkennung gepulst betriebener Lichtquellen zu Problemen bei der Fahrerassistenzfunktion einer Kamera aufgrund von Schwebungsperioden führen kann, insbesondere zu Fehlfunktionen wie einer möglichen Fehldetektion von Lichtsignalen wie Ampeln. Zur Vermeidung solcher Schwebungsperioden schlägt die WO2014/1 14294A1 ein Prinzip zur Bildaufnahme von gepulst betriebenen Lichtquellen mittels einer Kamera vor, bei dem bei der Aufnahme einer Bildfolge für eine Fahrerassistenzsystemfunktion der Zeitabstand zwischen zwei zeitlich aufei- nander folgenden Aufnahmen einzelner Bilder variiert wird. Dadurch können Schwebungsperioden in der aufgenommenen Bildfolge möglichst kurz gehalten und ihr Einfluss auf eine Fahrerassistenzfunktion reduziert werden. Daher schlägt die vorliegende Erfindung vor, das„Jitterkonzept" zur Erfassung gepulst betriebener Lichtquellen nach der WO2014/1 14294A1 mit der bekannten Regentropfendetek- tion gemäß der WO2012/09291 1 A1 derart zu kombinieren, dass mit einer Kamera eine Regentropfendetektion mittels Beleuchtung mit einer möglichst geringen Beeinflussung einer kamerabasierten Fahrerassistenzfunktion durchgeführt werden kann. Eine Ausführungsform der Erfindung betrifft nun ein Verfahren zur Erkennung von Regentropfen auf der Außenseite einer Scheibe mittels einer hinter der Scheibe angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera und einer Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls derart, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Das Verfahren weist die folgenden Schritte auf: Aufnehmen einer Folge von Bildern durch die Kamera für eine Fahrerassistenzfunktion, wobei die Aufnahme der Bildfolge in zeitlich konstante Funktionszyklen unterteilt ist, zeitlich aufeinanderfolgend eine erste und eine zweite Aufnahme jeweils eines Bildes in jedem Funktionszyklus gemacht werden und der Zeitabstand zwischen der ersten und zweiten Aufnahme von Funktionszyklus zuThe present invention builds on the raindrop detection known from WO2012 / 09291 1A1. It has been found that this known detection method can lead to problems in the driver assistance function of a camera due to beating periods when detecting pulsed light sources, in particular to malfunctions such as a possible misdetection of Light signals such as traffic lights. In order to avoid such beat periods, WO2014 / 1 14294A1 proposes a principle for image acquisition of pulsed light sources by means of a camera in which the time interval between two consecutive pictures of individual images is varied during the recording of a sequence of images for a driver assistance system function. As a result, beat periods in the recorded image sequence can be kept as short as possible and their influence on a driver assistance function can be reduced. Therefore, the present invention proposes to combine the "jitter concept" for detecting pulsed light sources according to WO2014 / 1 14294A1 with the known raindrop detection according to WO2012 / 09291 1 A1 in such a way that with a camera a raindrop detection by means of illumination with a possible One embodiment of the invention now relates to a method for detecting raindrops on the outside of a pane by means of a camera arranged behind the pane and focused on a distant area in front of the pane and an illumination source for producing at least one of them A slice of directed light beam such that at least one beam reflected from the outside of the disc hits the camera The method comprises the following steps: taking a series of images through the camera for a driver assistance function, wherein the image sequence is subdivided into time-constant functional cycles, temporally successive first and second acquisitions of one image are made in each functional cycle, and the time interval between the first and second functional cycle recordings is increased

Funktionszyklus variiert wird, Erzeugen des auf die Scheibe gerichteten Lichtstrahls durch die Beleuchtungsquelle in einem Funktionszyklus innerhalb des Zeitabstands zwischen der ersten und zweiten Aufnahme, wobei eine dritte Aufnahme eines Bildes in diesem Funktionszyklus für eine Regendetektionsfunktion so gemacht wird, dass der mindestens eine von der Außenseite der Scheibe reflektierte Strahl mittels der Kamera zumindest teilweise erfasst werden kann, und Auswerten der dritten Aufnahme eines Bildes zur Detektion von Regen auf der Außenseite der Scheibe . Der auf die Scheibe gerichtete Lichtstrahl kann durch die Beleuchtungsquelle nur dann in einem Funktionszyklus erzeugt werden, wenn der Zeitabstand zwischen der ersten und zweiten Aufnahme in dem Funktionszyklus größer als ein vorbestimmter Zeitabstand ist. Operating cycle is varied, generating the light beam directed onto the disc by the illumination source in a functional cycle within the time interval between the first and second recording, wherein a third recording of an image in this functional cycle for a rain detection function is made so that the at least one from the outside the disc reflected beam can be at least partially detected by the camera, and evaluating the third image of an image to detect rain on the outside of the disc. The light beam directed onto the pane can only be generated by the illumination source in a functional cycle if the time interval between the first and second exposures in the functional cycle is greater than a predetermined time interval.

Der vorbestimmte Zeitabstand kann abhängig von der Aufnahmezeitdauer der dritten Aufnahme, insbesondere mindestens gleich der Aufnahmezeitdauer der dritten Aufnahme gewählt werden. The predetermined interval may be selected depending on the recording period of the third recording, in particular at least equal to the recording period of the third recording.

Die Aufnahmezeitdauer der dritten Aufnahme kann derart gewählt werden, dass der mindestens eine von der Außenseite der Scheibe reflektierte Strahl so lange erfasst wird, bis eine Lichtmenge des erfassten reflektierten Strahls in der dritten Aufnahme zur Detektion von Regen auf der Außenseite der Scheibe ausreicht. The recording period of the third recording may be selected such that the at least one beam reflected from the outside of the disk is detected until an amount of light of the detected reflected beam in the third recording is sufficient to detect rain on the outside of the disk.

Eine dritte Aufnahme kann auch in einem Funktionszyklus, in dem kein auf die Scheibe gerichteter Lichtstrahl durch die Beleuchtungsquelle erzeugt wird, gemacht werden, und diese dritte Aufnahme kann zusätzlich beim Auswerten zur Detektion von Regen auf der Außenseite der Scheibe verwendet werden. A third shot may also be taken in a functional cycle in which no light beam directed to the pane is generated by the illumination source, and this third image may additionally be used in the evaluation for detecting rain on the outside of the pane.

Die dritte Aufnahme, die in einem Funktionszyklus gemacht wurde, in dem kein auf die Scheibe gerichteter Lichtstrahl durch die Beleuchtungsquelle erzeugt wurde, kann zur Subtraktion des Hintergrunds in einer dritten Aufnahme verwendet werden, die in einem Funktionszyklus gemacht wurde, in dem ein auf die Scheibe gerichteter Lichtstrahl durch die Beleuchtungsquelle erzeugt wird. The third shot taken in a functional cycle in which no light beam directed to the disc was produced by the illumination source can be used to subtract the background in a third shot taken in a functional cycle in which one on the disc directed light beam is generated by the illumination source.

Weiterhin betrifft eine Ausführungsform der Erfindung eine Vorrichtung zur Erkennung von Regentropfen auf der Außenseite einer Scheibe mittels einer hinter der Scheibe angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera und einer Beleuchtungsquelle zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls derart, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Die Vorrichtung ist hierbei ausgebildet, die Kamera zum Aufnehmen einer Folge von Bildern für eine Fahrerassistenzfunktion anzusteuern, wobei die Aufnahme der Bildfolge in zeitlich kon- stante Funktionszyklen unterteilt ist, zeitlich aufeinanderfolgend eine erste und eine zweite Aufnahme jeweils eines Bildes in jedem Funktionszyklus gemacht werden und der Zeitabstand zwischen der ersten und zweiten Aufnahme von Funktionszyklus zu Funktionszyklus variiert wird, die Beleuchtungsquelle zum Erzeugen des auf die Scheibe gerichteten Lichtstrahls in einem Funktionszyklus innerhalb des Zeitabstands zwischen der ersten und zweiten Aufnahme anzusteuern und die Kamera anzusteuern, um eine dritte Aufnahme eines Bildes in diesem Funktionszyklus für eine Regendetektionsfunktion so zu machen, dass der mindestens eine von der Außenseite der Scheibe reflektierte Strahl mittels der Kamera zumindest teilweise erfasst werden kann, und die dritte Aufnahme eines Bildes zur Detektion von Regen auf der Außenseite der Scheibe auszuwerten . Furthermore, an embodiment of the invention relates to a device for detecting raindrops on the outside of a disc by means of a behind the disc and focused on a distant area in front of the disc camera and an illumination source for generating at least one light beam directed onto the disc such that at least one of Outside of the disc reflected beam impinges on the camera. In this case, the device is designed to control the camera for recording a sequence of images for a driver assistance function, wherein the recording of the image sequence takes place in temporally congruent manner. subdividing temporally successive first and second shots of one image in each functional cycle and varying the time interval between the first and second shots from functional cycle to functional cycle, the illumination source for generating the light beam directed onto the disc in a functional cycle within the time interval between the first and second recordings, and to drive the camera to make a third photograph of an image in this functional cycle for a rain detection function such that the at least one beam reflected from the outside of the disk can be at least partially detected by the camera , and to evaluate the third image of an image for detecting rain on the outside of the disk.

Die Vorrichtung kann einen Prozessor zum Steuern der Kamera und der Beleuchtungsquelle und einen Speicher aufweisen, in dem ein Programm abgelegt ist, das den Prozessor zum Ausführen von Schritten eines Verfahren nach der Erfindung und wie hierin beschrieben und zu einer dementsprechenden Steuerung der Kamera und der Beleuchtungsquelle konfiguriert. The apparatus may include a processor for controlling the camera and the illumination source, and a memory in which a program is stored containing the processor for performing steps of a method according to the invention and as described herein and for controlling the camera and the illumination source accordingly configured.

Die Vorrichtung kann eine Schnittstelle zur Datenkommunikation über ein Bussystem eines Fahrzeugs aufweisen. The device may include an interface for data communication via a bus system of a vehicle.

Schließlich betrifft eine Ausführungsform der Erfindung ein Fahrerassistenzsystem für den Einsatz in einem Fahrzeug aufweisend eine hinter der Scheibe angeordnete und auf einen Fernbereich vor der Scheibe fokussierten Kamera und eine Vorrichtung mit einem Prozessor zum Steuern der Kamera und einem Speicher , in dem ein Programm abgelegt ist, das den Prozessor zum Ausführen von Schritten mindestens eines Verfahrens zum Implementieren einer oder mehrerer Kame- ra-basierter Fahrerassistenzfunktionen konfiguriert. Das Fahrerassistenzsystem weist ferner eine Beleuchtungsquelle auf, die zur Erzeugung mindestens eines auf die Scheibe gerichteten Lichtstrahls derart angeordnet ist, dass mindestens ein von Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft, und das im Speicher abgelegte Programm konfiguriert den Prozessor zum Ausführen von Schritten eines Verfahrens nach der Erfindung und wie hierin beschrieben und zu einer dementsprechenden Steuerung der Kamera und der Beleuchtungsquelle. Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit dem/den in der/den Zeichnung(en) dargestellten Ausführungsbeispiel(en). Die Zeichnungen zeigen in Finally, an embodiment of the invention relates to a driver assistance system for use in a vehicle comprising a camera arranged behind the disc and focused on a distant area in front of the disc and a device having a processor for controlling the camera and a memory in which a program is stored, that configures the processor to perform steps of at least one method of implementing one or more camera-based driver assistance functions. The driver assistance system further includes an illumination source arranged to generate at least one light beam directed to the disc such that at least one beam reflected from the outside of the disc hits the camera, and the program stored in the memory configures the processor to perform one of the steps Method according to the invention and as described herein and to a corresponding control of the camera and the illumination source. Further advantages and possible applications of the present invention will become apparent from the following description in conjunction with the / in the drawing (s) illustrated embodiment (s). The drawings show in

Fig. 1 und 2 schematisch das aus der WO2012/09291 1A1 bekannte Grundprinzip der Regentropfendetektion mit einer möglichen Anordnung von Beieuch ungsquelie und Kamera mit Strahlengängen bei einer trockenen Scheibe (Fig. 1 ) und mit ver- änderten Strahlengängen bei Regen auf der Scheibe (Fig. 2), wobei eine Vorrichtung gemäß der Erfindung zum Steuern der Beleuchtungsquelle und der Kamera eingesetzt ist; 1 and 2 schematically the known from WO2012 / 09291 1A1 basic principle of raindrop detection with a possible arrangement of Beieuch ungsquelie and camera with beam paths in a dry disc (Fig. 1) and with changed beam paths in the rain on the disc (Fig 2), wherein a device according to the invention is used for controlling the illumination source and the camera;

Fig. 3 eine Darstellung von zwei aufeinanderfolgenden Funktionszyklen zur Bild- aufnähme mittels eines Bildsensors einer Fahrerassistenzsystem-Kamera, wobei innerhalb jedes Funktionszyklus zwei Bilder mit variierendem Zeitabstand aufgenommen werden; und 3 shows a representation of two consecutive image recording operation cycles by means of an image sensor of a driver assistance system camera, wherein two images with varying time intervals are recorded within each function cycle; and

Fig. 4 eine Darstellung von zwei aufeinanderfolgenden Funktionszyklen zur Bild- aufnähme mitteis eines Bildsensors einer Fahrerassistenzsystem-Kamera, wobei innerhalb jedes Funktionszyklus zwei Bilder mit variierendem Zeitabstand aufgenommen werden und zwischen der Aufnahme der beiden Bilder in einem Funkti- onszykius ein Lichtpuls gemäß der vorliegenden Erfindung eingestrahlt und ein Bild zur Regentropfendetektion aufgenommen wird. 4 shows a representation of two successive functional cycles for image recording by an image sensor of a driver assistance system camera, two images with varying time intervals being recorded within each functional cycle and a light pulse according to the present invention between the recording of the two images in a functional cycle and an image is taken for raindrop detection.

In der folgenden Beschreibung können gleiche, funktional gleiche und funktional zusammenhängende Elemente mit den gleichen Bezugszeichen versehen sein. Absolute Werte sind im Folgenden nur beispielhaft angegeben und sind nicht als die Erfindung einschränkend zu verstehen. In the following description, identical, functionally identical and functionally connected elements may be provided with the same reference numerals. Absolute values are given below by way of example only and are not to be construed as limiting the invention.

Fig. 1 zeigt das Funktionsprinzip einer Vorrichtung zur Detektion von Regentropfen auf einer Scheibe 2 eines Fahrzeugs aus der WO2012/09291 1A1 , die auf einer auf den Fernbereich fokussierten Kamera 1 und einer Beleuchtung 3 basiert, die einen , Fig. 1 shows the principle of operation of a device for detecting raindrops on a window 2 of a vehicle from WO2012 / 09291 1A1, which is based on a focused on the far field camera 1 and a lighting 3, a .

b oder mehrere gebündelte Strahlen h nutzt. Ein von einer Beieuch ungsquelie 3 erzeugter Lichtstrahl h wird so auf die Scheibe 2 gerichtet, dass die von der Innenseite 2.1 und Außenseite 2.2 der Scheibe reflektierten Strahlen als zwei räumlich getrennte Strahlen r1 , r2 auf das Objektiv bzw. die Kamera 1 auftreffen. Wegen der Fokussierung auf den Fernbereich ist die Umrandung der Strahienbündel nur unscharf auf den Bildchip bzw. Bildsensor der Kamera 1 abgebildet. Aber beide Strahlen r1 , r2 sind ausreichend getrennt und ihre jeweilige Lichtmenge ist mit dem Bildsensor messbar. Bei der in Fig. 1 gezeigten Vorrichtung wird der Hauptstrahl h der Beieuchtungsquelie 3 verwendet, daher kann das Licht der Beleuchtungsquelle vorzugsweise gebündelt sein. Der an der Luft-Scheibe-Grenzfläche (bzw. Scheibeninnenseite 2.1 ) reflektierte Anteil r1 des Hauptstrahls dient als Referenzstrahl. Vom Anteil, der in die Scheibe transrnittiert t1 wird, dient der Anteil als Messstrahl r2, der an der Scheibe-Luft-Grenzfiäche (bzw. Scheibenaußenseite 2.2) reflektiert wird und auf die Kamera 1 trifft. Der aus der Scheibe 2 ausgekoppelte Lichtanteil ist mit t2 bezeichnet. Nicht dargestellt ist der Anteil des Strahls, der mehrfach innerhalb der Scheibe 2 reflektiert wird (an der Innenseite 2.1 Scheibe-Luft, nachdem er an der Außenseite 2.2 Scheibe - Luft reflektiert wurde).  b or several bundled beams h uses. A generated by a Beieuch ungsquelie 3 light beam h is directed to the disc 2, that the reflected from the inside 2.1 and 2.2 outside of the disc rays as two spatially separated rays r1, r2 impinge on the lens or the camera 1. Because of the focus on the far field, the border of the beam bundles is only blurred on the image chip or image sensor of the camera 1 shown. But both beams r1, r2 are sufficiently separated and their respective amount of light can be measured with the image sensor. In the apparatus shown in Fig. 1, the main beam h of the illumination source 3 is used, therefore, the light of the illumination source may be preferably bundled. The portion r1 of the main beam reflected at the air-disk interface (or disk inside 2.1) serves as a reference beam. From the proportion that is trans- mitted into the disk t1, the proportion serves as measuring beam r2, which is reflected at the disk-air interface (or disk outside 2.2) and hits the camera 1. The decoupled from the disc 2 light component is denoted by t2. Not shown is the proportion of the beam, which is reflected several times within the disc 2 (on the inside 2.1 disc-air, after it was reflected on the outside 2.2 disc - air).

In Fig. 1 und 2 ist zusätzlich eine Vorrichtung 8 gezeigt, die erfindungsgemäß zur Regendetektion bzw. Regentropfen-Erkennung ausgebildet ist. Die Vorrichtung 8 weist einen Prozessor 9, beispielsweise einen Mikroprozessor oder Mikrokontroiler oder anwendungsspezifischen Prozessor, und einen mit diesem datenmäßig verbunden Speicher 10, beispielsweise einen nichtfiüchtigen, programmierbaren Speicher wie einen Flash-Speicher, auf. Im Speicher 10 ist ein Programm abgelegt, das den Prozessor 9 zum erfindungsgemäßen Ansteuern der Kamera 1 und derFIGS. 1 and 2 additionally show a device 8 which according to the invention is designed for rain detection or raindrop detection. The device 8 comprises a processor 9, for example a microprocessor or micro-controller or application-specific processor, and a memory 10 connected thereto in data, for example a non-sensitive, programmable memory such as a flash memory. In the memory 10, a program is stored, the processor 9 for driving the invention of the camera 1 and the

Beieuchtungsquelie 3 konfiguriert. Die erfindungsgemäße Ansteuerung der Kamera 1 und der Beleuchtungsquelle 3 wird nachfolgend noch im Detail unter Bezugnahme auf die Fig. 3 und 4 erläutert. Die Vorrichtung 8 ist insbesondere Teil eines Fahrerassistenzsystems und dient zur Implementierung Kamera-basierter Fahrer- assistenzfunktionen wie beispielsweise eine Fahrspurerkennung, Objektdetektion,Equilibration source 3 configured. The control of the camera 1 and the illumination source 3 according to the invention will be explained in more detail below with reference to FIGS. 3 and 4. The device 8 is in particular part of a driver assistance system and serves to implement camera-based driver assistance functions such as lane detection, object detection,

Abstandsermittlung und dergleichen Fahrerassistenzfunktionen, die durch Verarbeitung von mit der Kamera 1 erfassten Bildern implementiert werden können, als auch zur Implementierung einer Regendetektionsfunktion im Zusammenspiei mit der Beleuchtungsquelle 3. Die Vorrichtung 8 verfügt zudem über eine Schnittstelle zur Datenkommunikation über ein Bussystem 1 1 eines Fahrzeugs. Beispielsweise können über die Schnittstelle und das Bussystem 1 1 von der Kamera 1 erfassfe Bilder für die Fahrerassistenzfunktion und die Regendetektionsfunktion an eine zentrale Recheneinheit eines Fahrerassistenzsystems übertragen werden, das die Bilder verarbeiten und davon abhängig beispielsweise Steuersignale für die Aktoren erzeugen kann, beispielsweise im Rahmen einer Fahrerassistenzfunktion für automatische Beschleunigungs-, Brems- und/oder Lenkeingriffe und im Rahmen der Regendetektionsfunktion für die Aktivierung von Scheibenwischern, Distance detection and the like driver assistance functions, which can be implemented by processing images captured with the camera 1, as well as to implement a rain detection function in conjunction with the illumination source 3. The device 8 also has an interface for data communication via a bus system 1 1 of a vehicle. For example, images captured by the camera 1 for the driver assistance function and the rain detection function can be transmitted via the interface and the bus system 1 1 to a central processing unit of a driver assistance system which can process the images and generate control signals for the actuators, for example within the framework of a Driver assistance function for automatic acceleration, braking and / or steering interventions and as part of the rain detection function for the activation of windscreen wipers,

Die in den Fig. 1 und 2 gezeigte Anordnung bietet für die Regentropfenerkennung bzw. Regendetektion den Vorteil einer ausgeprägten Signaiänderung bei Vorliegen von Regen 4 auf der Scheibenaußenseite 2,2 wie anhand von Fig. 2 erläutert wird. Wenn im Regenfail die Außenseite 2.2 der Windschutzscheibe 2 mit Regentropfen 4 benetzt wird, wird der überwiegende Teil t2' des Lichts t1 ausgekoppelt, so dass der reflektierte Anteil r2' entsprechend geschwächt wird (siehe Fig. 2). Der von der Innenseite 2.1 reflektierte Strahl r1 ist davon unbeeinfiusst. Durch den Vergleich der gemessenen Lichtmengen beider Strahlen (r1 zu r2 bzw. r2!) kann so leicht das im Regenfall aufgrund von Regentropfen 4 verminderte Signal r2" gemessen werden und ein Scheibenwischer entsprechend angesteuert werden. The arrangement shown in FIGS. 1 and 2 offers the advantage of a pronounced signal change in the presence of rain 4 on the outside of the pane 2.2 for the raindrop detection or rain detection, as will be explained with reference to FIG. If, in the rainfall, the outer side 2.2 of the windshield 2 is wetted with raindrops 4, the predominant part t2 'of the light t1 is coupled out, so that the reflected part r2' is correspondingly weakened (see FIG. 2). The reflected ray from the inside 2.1 2.1 r1 is unaffected. By comparing the measured amounts of light of both beams (r1 to r2 or r2 ! ), The signal r2 "reduced in the rainfall due to raindrops 4 can be measured so easily and a windshield wiper can be correspondingly controlled.

Bei der Benutzung der Kamera 1 der in Fig. 1 und 2 gezeigten Vorrichtung von einem kamerabasierten Fahrerassistenzsystem, beispielsweise einem Spurhaltesystem, einem Objektdetektionssystem oder dergleichen System mit Bilderkennung besteht durch die Beleuchtung 3 und die von ihr erzeugten Strahlen h die Möglichkeit der Beeinflussung einer entsprechenden Fahrerassistenzfunktion. Beispielsweise kann durch die von der Beleuchtung 3 erzeugten Strahlen h eine Bilderkennung zur Objekt- oder Fahrspurdetektion derart beeinflusst werden, dass die Erkennung erschwert, oder sogar unmöglich gemacht wird, insbesondere bei schlechten Belichtungsverhältnissen, bei denen vor allem der reflektierte Anteil r1 der Strahlen h unter Umständen eine Detektion in der Dämmerung oder bei starkem Regen nahezu unmöglich macht. Um dies zu vermeiden, wird nun gemäß der vorliegenden Erfindung bei der Regentropfenerkennung so vorgegangen, dass bei der Aufnahme einer Bildfolge für eine Fahrerassistenzsystemfunktion der Zeitabstand zwischen zwei zeitlich aufeinander folgenden Aufnahmen einzelner Bilder variiert wird, und innerhalb des Zeitabstands zwischen den zwei aufeinanderfolgenden Aufnahmen der auf die Scheibe 2 gerichtete Lichtstrahl h erzeugt wird, mit anderen Worten also das Licht für die Regentropfenerkennung dann erzeugt wird, wenn kein Bild aufgenommen wird. Hierdurch kann einerseits eine Erfassung gepulst betriebener Lichtquellen, beispielsweise von LED-Ampeln oder -Scheinwerfern im Rahmen der Fahrerassistenzfunktion gewährleistet werden, und andererseits kann eine Regentropfenerkennung basierend auf einer aktiven Lichtquelle möglichst ohne Beeinflussung der Fahrerassistenzfunktion arbeiten. When using the camera 1 of the device shown in FIGS. 1 and 2 by a camera-based driver assistance system, such as a lane keeping system, an object detection system or the like system with image recognition by the illumination 3 and the beams h generated by it, the possibility of influencing a corresponding driver assistance function , For example, can be influenced by the illumination generated by the rays 3 h image recognition for object or lane detection such that the detection difficult, or even impossible, especially in poor lighting conditions, in which especially the reflected portion r1 of the rays h below Circumstances makes a detection in the twilight or heavy rain almost impossible. In order to avoid this, it is now according to the present invention in the raindrop detection proceeded so that in the Recording an image sequence for a driver assistance system function of the time interval between two temporally successive shots of individual images is varied, and within the time interval between the two successive shots of the directed onto the disc 2 light beam h is generated, in other words, the light for the raindrop recognition then generates when no picture is taken. As a result, on the one hand detection of pulsed light sources, for example of LED traffic lights or headlamps within the driver assistance function can be ensured, and on the other hand, raindrop recognition based on an active light source as possible without affecting the driver assistance function.

Fig. 3 zeigt zwei aufeinanderfolgenden Funktionszyklen zur Bildaufnahme mittels des Bildchips oder Bildsensors der Kamera 1 der in Fig. 1 und 2 gezeigten Vorrichtung. Die Bildaufnahme und die Lichterzeugung zur Regentropfenerkennung werden hierbei mit einem Verfahren gemäß der vorliegenden Erfindung gesteuert. FIG. 3 shows two successive functional cycles for image acquisition by means of the image chip or image sensor of the camera 1 of the device shown in FIGS. 1 and 2. The image acquisition and the light generation for raindrop recognition are hereby controlled by a method according to the present invention.

Die Aufnahme der Bildfolge mit der Kamera 1 ist in sogenannte Funktionszyklen 6, 6' unterteilt, welche dieselbe Zeitdauer besitzen, siehe Fig. 3. Die Zeitdauer der Funktionszyklen ist so bemessen, dass die Kamera 1 innerhalb eines Funktions- zykius nacheinander zwei Bilder 5.1 , 5.2 im Zyklus 6 und Bilder 5.1 !, 5.2' im darauffolgenden Zyklus 6'aufnehmen kann. Die Bilder 5.2, 5.2 bzw. 5.1 ', 5.2' sind im gezeigten Beispiel unterschiedlich lange belichtet, aber nicht notwendigerweise auch unterschiedlich groß (Doppelbeiichtung). In Fig. 3 und 4 sind die im jeweiligen Zyklus 8 bzw. 6' ersten Aufnahmen von Bildern (erste Bilder 5.1 bzw. 5.1 ' im Zyklus 8 bzw. 6') und zweiten Aufnahmen von Bildern (zweite Bilder 5.2 bzw. 5.2' im ZyklusThe recording of the image sequence with the camera 1 is subdivided into so-called function cycles 6, 6 ', which have the same time duration, see FIG. 3. The duration of the function cycles is such that the camera 1 sequentially images two images 5.1 within a functional cycle. 5.2 in cycle 6 and pictures 5.1 ! , 5.2 'in the next cycle 6'. The images 5.2, 5.2 and 5.1 ', 5.2' are exposed for different lengths in the example shown, but not necessarily also different sizes (Doppelbeiichtung). In FIGS. 3 and 4, the first images of images (first images 5.1 or 5.1 'in cycle 8 or 6') and second images of images (second images 5.2 or 5.2 'in FIGS cycle

8 bzw. 8') für die Fahrerassistenzfunktion vorgesehen. Bei den ersten und zweiten Aufnahmen der Bilder 5.1 , 5.1 ', 5.2, 5.2' handelt es sich im Prinzip um eine Doppelbelichtung im jeweiligen Zyklus 8 bzw. 6'. Nachfolgend werden erste, zweite und dritte Aufnahmen von Bildern vereinfacht als erste, zweite bzw. dritte Bilder be- zeichnet. 8 or 8 ') provided for the driver assistance function. The first and second images of the images 5.1, 5.1 ', 5.2, 5.2' are, in principle, a double exposure in the respective cycle 8 or 6 '. In the following, first, second and third images of images will be referred to simply as first, second and third images, respectively.

Die ersten und zweiten Bilder 5.1 , 5.1 ', 5.2, 5.2' sind in Fig. 3 und 4 als Trapeze dargestellt, welche die Belichtung jedes aufgenommenen Bildes für einen im so- n The first and second images 5.1, 5.1 ', 5.2, 5.2' are shown as trapezoids in FIGS. 3 and 4, which illustrate the exposure of each recorded image for n

genannten„roMing shutter" -Verfahren betriebenen Bildchip bzw. Bildsensor symbolisieren. Wenn die Kamera 1 keinen mechanischen Verschluss aufweist, muss die Belichtung elektronisch gesteuert werden. Dies erfolgt im Jolling shutter"-Verfahren zeilenweise, d.h. jede Bildzeiie des Biidchips bzw. Bildsensors wird nacheinander durch eine entsprechende Steuerelektronik aktiviert, um ein zeilenweise Aufnahme eines Bildes zu ermöglichen. Das Auslesen der Pixel des aufgenommenen Bildes kann dagegen kontinuierlich erfolgen, aber erst nach der Belichtung der ersten Zeile starten. Daher beginnt jedes die Bilder 5.1 , 5.1 ', 5.2, 5.2' darstellende Trapez vor dem Auslesen, was in Fig. 3 und 4 durch entsprechende Balken 6.1 , 6.1 ', 6.2, 6.2' symbolisiert ist. If the camera 1 does not have a mechanical shutter, then the exposure must be controlled electronically, in line with the shuttering method, line by line, i. Each Bildzeiie the Biidchips or image sensor is activated sequentially by an appropriate control electronics to allow a line by line recording of an image. The reading of the pixels of the recorded image, however, can be done continuously, but only after the exposure of the first line start. Therefore, each of the images 5.1, 5.1 ', 5.2, 5.2' trapezoid before reading starts, which is symbolized in Fig. 3 and 4 by corresponding bars 6.1, 6.1 ', 6.2, 6.2'.

In den Fig. 3 und 4 ist zudem das Steuersignal 7 zum Auslesen der Pixel der Bilder gezeigt. Das Auslesen der ersten und zweiten Bilder 5.1 , 5.1 ' bzw. 5.2, 5.2' im Funktionszyklus 6, 6' wird jeweils durch positive Flanken 7.1 , 7.11 bzw. 7.2, 7.2' des Steuersignais 7 getriggert. Der zeitliche Abstand dt bzw. dt' zwischen den positiven Flanken 7.1 und 7.2 bzw. 7.1 ' und 7.2' variiert von Funktionszyklus 6 zu Funktionszyklus 6', so dass bei der Aufnahme von gepulst betriebenen Lichtquellen entstehende Schwebungsperioden möglichst kurz gehalten werden. Die variierenden Zeitabstände dt, dt' realisieren das vorab erwähnte„Jitterkonzept". In addition, the control signal 7 for reading out the pixels of the images is shown in FIGS. 3 and 4. The readout of the first and second images 5.1, 5.1 'or 5.2, 5.2' in the functional cycle 6, 6 'is triggered in each case by positive edges 7.1, 7.1 1 or 7.2, 7.2' of the control signal 7. The time interval dt or dt 'between the positive edges 7.1 and 7.2 or 7.1' and 7.2 'varies from functional cycle 6 to functional cycle 6', so that beating periods arising during the recording of pulsed light sources are kept as short as possible. The varying time intervals dt, dt 'realize the previously mentioned "jitter concept".

Die zeitlichen Abstände dt und dt' können durch Einfügen von sogenannten Blankingphasen 6.3, 6.3' zwischen den Bildern 5.1 , 5.2 bzw. 5.1 ', 5.2' erzeugt werden. Hierbei werden sinnvollerweise derart lange Blankingphasen eingefügt, dass konstante Zeitdauern der Funktionszyklen 6, 6' erreicht werden. Die Blankingphasen können relativ frei eingefügt werden, so dass das„Jittern" des zweiten Bildes 5.2, 5.2' in Bezug auf das erste Bild 5.1 , 5.1 ' erzielt werden kann. The time intervals dt and dt 'can be generated by inserting so-called blanking phases 6.3, 6.3' between the images 5.1, 5.2 and 5.1 ', 5.2'. In this case, such long blanking phases are usefully inserted so that constant durations of the function cycles 6, 6 'are achieved. The blanking phases can be inserted relatively freely, so that the "jittering" of the second image 5.2, 5.2 'with respect to the first image 5.1, 5.1' can be achieved.

In Fig. 3 und 4 sind zudem obere Balken 6.1 , 6.1 6.2, 6.2', 6.3, 6.3' gezeigt, welche die Biidzeiten 6.1 , 6.1 ', 6.2, 6.2' für die ersten und zweiten Bilder 5.1 , 5.1 ' bzw. 5.2, 5.2' und die Blankingphasen 6.3, 6.3' zwischen dem ersten und zweiten Bild pro Funktionszyklus 6, 6' darstellen. Die Biidzeiten 6.1 , 6.1 ', 6.2, 6.2' können unterschiedlich lang sein, wenn die Bilder unterschiedlich groß sind, wie es im in den Fig. 3 und 4 gezeigten Beispiel der Fall ist (6.1 , 6.1 ' > 6.2, 6.2'). Die Periode der Fun k- tionszykien 8 und 8! ist konstant, während die Periode für die zweiten Bilder 5.2, 5.2* innerhalb gewissen Grenzen aufgrund des„Jittern" und der unterschiedlich langen, von Funktionszyklus zu Funktionszyklus variierenden Blankingphasen 6.3, 8.3' dagegen nicht konstant ist. FIGS. 3 and 4 also show upper bars 6.1, 6.1, 6.2, 6.2 ', 6.3, 6.3', which display the image times 6.1, 6.1 ', 6.2, 6.2' for the first and second images 5.1, 5.1 'and 5.2, respectively. 5.2 'and the blanking phases 6.3, 6.3' between the first and second image per functional cycle 6, 6 'represent. The image times 6.1, 6.1 ', 6.2, 6.2' can have different lengths if the images are of different sizes, as is the case in the example shown in FIGS. 3 and 4 (6.1, 6.1 '> 6.2, 6.2'). The period of func- tioncycles 8 and 8 ! is constant, while the period for the second images 5.2, 5.2 * is not constant within certain limits due to the "jitter" and the different lengths, from function cycle to function cycle varying blanking phases 6.3, 8.3 '.

Die Blankingphasen 6.3, 6.3' werden nun erfindungsgemäß dafür genutzt, in einen Funktionszyklus 8, 6' eine dritte Aufnahme eines Bildes bzw. ein drittes Biid, nämlich ein Regensensorbild einzufügen, ohne dass die Funktionszykluszeit geändert wird. Die dritten Bilder werden dadurch vor den zweiten, aber nach den ersten Bildern aufgenommen. Fig. 4 zeigt die Einfügung von dritten Bildern 5.3 und 5.3' in die Funktionszyklen 8 bzw. 8'. im Funktionszyklus 8 ist hierzu die Blankingphase 8.3 deutlich verkürzt, und vor der Blankingphase 6.3 sind zwei Phasen 8.4 und 6.5 eingefügt. Die Phase 8.4, die auf die Bildzeit 6.1 für das erste Bild 5.1 folgt, dient zum Einstrahlen eines kurzen Lichtpulses 5.4 in das dritte Biid 5.3. Ihre Zeitdauer dtO wird durch das Ende der Biidzeit 6.1 und dem Beginn der Phase 8.5 bestimmt, welche der Bildauslesezeit für das dritte Biid 5.3 entspricht und durch eine weitere positive Flanke 7.3 des Steuersignais 7 getriggert wird. Im Funktionszyklus 6' ist die Blankingphase 6.3 durch zwei Phasen 6.4' und 6.5' vollständig ersetzt. Die Phase 6.4' mit der Zeitdauer dtO', während der ein kurzer Lichtpuls 5.4' in das Regen- sensorbiid 5.3' eingestrahlt wird, überlappt hierbei mit der Aufnahme des zweitenThe blanking phases 6.3, 6.3 'are now used according to the invention to insert a third image or a third image, namely a rain sensor image, into a function cycle 8, 6', without the function cycle time being changed. The third pictures are taken before the second, but after the first pictures. Fig. 4 shows the insertion of third images 5.3 and 5.3 'in the function cycles 8 and 8'. In the function cycle 8, the blanking phase 8.3 is significantly shortened for this purpose, and two phases 8.4 and 6.5 are inserted before the blanking phase 6.3. The phase 8.4, which follows the image time 6.1 for the first image 5.1, serves to irradiate a short light pulse 5.4 into the third image 5.3. Its duration dtO is determined by the end of the Biidzeit 6.1 and the beginning of the phase 8.5, which corresponds to the image readout time for the third Biid 5.3 and is triggered by a further positive edge 7.3 of the control signal 7. In the functional cycle 6 ', the blanking phase 6.3 is completely replaced by two phases 6.4' and 6.5 '. The phase 6.4 'with the duration dtO', during which a short light pulse 5.4 'is irradiated into the rain sensor substrate 5.3', overlaps here with the recording of the second

Bildes 5.2', so dass in dieses Fahrerassistenzbild der eingestrahlte Lichtpuls 5.4' sichtbar ist und damit das Fahrerassistenzbild beeinträchtigten kann. Das Auslesen des dritten Bidles 5.3' wird durch eine positive Flanke 7.3' des Steuersignals 7 getriggert. Image 5.2 ', so that in this driver assistance image of the irradiated light pulse 5.4' is visible and thus can affect the driver assistance image. The reading of the third Bidles 5.3 'is triggered by a positive edge 7.3' of the control signal 7.

Da für die Regensensorbilder 5.3, 5.3' in der Regel wesentlich weniger Zeilen, beispielsweise 100 Zeilen als für die Fahrerassistenzbilder 5.1 , 5.1 ', 5.2, 5.2' benötigt werden, ist die Aufnahmezeit für die Regensensorbilder 5.3, 5.3' auch deutlich kürzer als für die Fahrerassistenzbiider 5.1 , 5.1 ', 5.2, 5.2', und damit das Trapez dieser Bilder auch kleiner, wie in Fig. 4 zu erkennen ist. As for the rain sensor images 5.3, 5.3 'usually much fewer lines, such as 100 lines than for the driver assistance images 5.1, 5.1', 5.2, 5.2 'are required, the recording time for the rain sensor images 5.3, 5.3' is also much shorter than for the Driver assistance biider 5.1, 5.1 ', 5.2, 5.2', and thus the trapezoid of these images also smaller, as shown in Fig. 4 can be seen.

Wie oben erwähnt überlappt die Phase 6.4' mit der Aufnahme des zweiten Bildes 5.2', so dass der Lichtpuls 5.4' im zweiten Bild 5.2' sichtbar ist und dieses beein- trächtigen kann, insbesondere die Auswertung des Biidinhaits und damit gegebenenfalls eine entsprechende Fahrerassistenzfunktion. Um eine solche Beeinträchtigung zu vermeiden, und da es für eine sichere Regendetektion nicht unbedingt erforderlich ist, in jedem Funktionszyklus ein Regensensorbild mit dazugehörigem Lichtpuis aufzunehmen, kann unter bestimmten Bedingungen die Erzeugung eines Lichtpuises in einem Funktionszyklus und/oder die Aufnahme eines Regensensor- biides unterdrückt bzw. ausgesetzt werden. Mit anderen Worten kann also vorgesehen sein, dass nur in bestimmten Funktionszyklen Regensensorbilder mit Lichtpu!s-Einstrahiung aufgenommen werden. As mentioned above, the phase 6.4 'overlaps with the recording of the second image 5.2', so that the light pulse 5.4 'in the second image 5.2' is visible and this is affected. pregnant, in particular the evaluation of Biidinhaits and thus possibly a corresponding driver assistance function. In order to avoid such an impairment, and since it is not absolutely necessary for a safe rain detection to record a rain sensor image with associated Lichtpuis in each functional cycle, under certain conditions, the production of a Lichtpuises in a functional cycle and / or the inclusion of a Regensensbiides suppressed or suspended. In other words, it may therefore be provided that rain sensor images with light pulse radiation are recorded only in certain functional cycles.

Beispielsweise kann eine „Jittersequenz" folgende „Phasenverschiebungen" in Bildzeiien enthalten: For example, a "jitter sequence" may include the following "phase shifts" in picture lines:

Figure imgf000013_0001
Figure imgf000013_0001

Wenn 100 Zeilen für ein Regensensorbild ausreichen, könnte immer eine Aufnahme eines dritten Bildes bzw. Regensensorbiides und die Erzeugung eines Lichtpulses zwischen die Aufnahmen des ersten und zweiten Bildes in den Funktionszyklen eingefügt werden, in denen die„Phasenverschiebung" > 100 Zeilen ist, Bei der vorgenannten„Jittersequenz" wäre dies bei Funktionszyklen Nr. 2, 4, 8, 8, 10, 1 1 , 12, 14, 15 und 16 der Fall. Demnach würde die Vorrichtung 8 von Fig. 1 und 2 nur in diesen Funktionszyklen die Beleuchtungsqueile 3 zur gegebenen Zeit aktivieren und mit der Kamera 1 ein drittes Regensensorbild erfassen, ohne dass die Erfassung der ersten und zweiten Bilder für die Fahrerassistenzfunktion durch die Re- gendetektion beeinträchtigt würden. Eine Bedingung für eine Entscheidung über die Erzeugung eines Lichtpuises 5.4, 5.4' ohne Beeinflussung des zweiten Bildes 5.2, 5.2' kann erfüllt sein, wenn der Zeitabstand zwischen der Aufnahme des ersten und des zweiten Bildes in einem Funktionszyklus größer als ein vorbestimmter Zeitabstand ist, der abhängig von der Aufnahmezeitdauer des dritten Bildes, insbesondere mindestens gleich dieser Dauer gewählt werden kann. Die Aufnahmezeitdauer des dritten Bildes kann wiederum derart gewählt werden, dass der mindestens eine von der Außenseite 2.2 der Scheibe 2 reflektierte Strahl r2; r2' so lange erfasst wird, bis eine Lichtmenge des erfassten reflektierten Strahls r2; r2' in der dritten Aufnahme zur Detektion von Regen 4 auf der Außenseite 2.2 der Scheibe 2 ausreicht. Beispielsweise kann die Aufnahmezeitdauer des dritten Bildes über mehrere aufeinanderfolgende Funkti- onszykien variiert werden, um so feststellen zu können, wann eine zur Regende- tektion ausreichende Lichtmenge erfasst werden kann. Denkbar ist, dass ausgehend von einer sehr kurzen Aufnahmezeitdauer die Aufnahmezeitdauer graduell erhöht wird, die mit den unterschiedlichen Aufnahmezeitdauern erfassten im dritten Bilder 5.3, 5.3' verglichen werden und festgestellt wird, bei welcher Aufnahmezeitdauer eine Veränderung des in den dritten Bildern 5.3, 5.3' erfassten mindestens einen von Außenseite 2.2 der Scheibe 2 reflektierten Strahls r2; r2' auftritt. If 100 lines are sufficient for a rain sensor image, it could always be a recording of a third image or Regensensorbiides and the generation of a light pulse be inserted between the recordings of the first and second picture in the function cycles in which the "phase shift"> 100 lines, in the aforementioned "jitter sequence" this would be at function cycles No. 2, 4, 8, 8, 10, 1 1, 12, 14, 15 and 16 the case. Accordingly, the device 8 of FIGS. 1 and 2 would activate the illumination sources 3 at the given time only in these functional cycles and detect a third rain sensor image with the camera 1 without the detection of the first and second images for the driver assistance function being impaired by the gene detection would. A condition for a decision on the generation of a Lichtpuises 5.4, 5.4 'without affecting the second image 5.2, 5.2' may be satisfied if the time interval between the recording of the first and the second image in a functional cycle is greater than a predetermined interval, the depending on the recording period of the third image, in particular at least equal to this duration can be selected. The recording time duration of the third image can again be selected such that the at least one beam r2 reflected by the outside 2.2 of the disk 2; r2 'is detected until a quantity of light of the detected reflected beam r2; r2 'in the third recording for the detection of rain 4 on the outside 2.2 of the disc 2 is sufficient. For example, the recording time duration of the third image can be varied over a plurality of successive functional cycles in order to be able to determine when a sufficient amount of light for rain detection can be detected. It is conceivable that, starting from a very short recording period, the recording period is gradually increased, which are compared with the different recording periods in the third images 5.3, 5.3 'and it is determined at which recording period a change in the third images 5.3, 5.3' detected at least one beam r2 reflected from outside 2.2 of the disk 2; r2 'occurs.

Um die Regendetektionsfunktion zu verbessern, kann nach der Erfindung auch eine dritte Aufnahme in einem Funktionszyklus gemacht werden, in dem kein auf dieIn order to improve the rain detection function, according to the invention, a third recording can be made in a functional cycle in which none of the

Scheibe 2 gerichteter Lichtstrahl h durch die Beleuchtungsquelle 3 erzeugt wird, beispielsweise in Fig. 4 im Zyklus 6' ohne eingestrahlten Lichtpuls 5.4'. Diese dritte Aufnahme ohne Lichtpuls kann dann zusätzlich beim Auswerten zur Detektion von Regen 4 auf der Außenseite 2.2 der Scheibe 2 verwendet werden, insbesondere als Referenzbild oder um den Hintergrund in der dritten Aufnahme zu subtrahieren und so die für die Regendetektionsfunktion wesentliche Lichterkennung in der dritten Aufnahme zu verbessern. Disk 2 directed light beam h is generated by the illumination source 3, for example in Fig. 4 in the cycle 6 'without incident light pulse 5.4'. This third recording without light pulse can then additionally during evaluation for the detection of Rain 4 on the outside 2.2 of the disc 2 are used, in particular as a reference image or to subtract the background in the third shot and so to improve the essential for the rain detection function light detection in the third shot.

Claims

Patentansprüche claims 1 . Verfahren zur Erkennung von Regentropfen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels 1 . Method for detecting raindrops (4) on the outside (2.2) of a pane (2) by means of - einer hinter der Scheibe (2) angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera (1 ) und  - One behind the disc (2) arranged and focused on a distant area in front of the disc camera (1) and - einer Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h) derart, dass mindestens ein von Außenseite (2.2) der Scheibe (2) reflektierter Strahl (r2; r2') auf die Kamera (1 ) auftrifft,  - an illumination source (3) for generating at least one light beam (h) directed towards the pane (2) such that at least one beam (r2 'r2') reflected from the outside (2.2) of the pane (2) touches the camera (1) strikes, wobei das Verfahren die folgenden Schritte aufweist:  the method comprising the following steps: - Aufnehmen einer Folge von Bildern (5.1 , 5.2, 5.1 ', 5.2') durch die Kamera (1 ) für eine Fahrerassistenzfunktion, wobei die Aufnahme der Bildfolge in zeitlich konstante Funktionszyklen (6, 6') unterteilt ist, zeitlich aufeinanderfolgend eine erste und eine zweite Aufnahme (5.1 , 5.2, 5.1 ', 5.2') jeweils eines Bildes in jedem Funktionszyklus (6, 6') gemacht werden und der Zeitabstand zwischen der ersten und zweiten Aufnahme (5.1 , 5.2, 5.1 ', 5.2') von Funktionszyklus (6) zu Funktionszyklus (6') variiert wird, - Recording a sequence of images (5.1, 5.2, 5.1 ', 5.2') by the camera (1) for a driver assistance function, wherein the recording of the image sequence in time-constant function cycles (6, 6 ') is divided, temporally successively a first and a second image (5.1, 5.2, 5.1 ', 5.2') of one image in each functional cycle (6, 6 ') is made and the time interval between the first and second image (5.1, 5.2, 5.1', 5.2 ') of the functional cycle (6) is varied to functional cycle (6 '), - Erzeugen des auf die Scheibe (2) gerichteten Lichtstrahls (h; 5.4, 5.4') durch die Beleuchtungsquelle (3) in einem Funktionszyklus innerhalb des Zeitabstands zwischen der ersten und zweiten Aufnahme (5.1 , 5.2, 5.1 ', 5.2'), wobei eine dritte Aufnahme eines Bildes (5.3, 5.3') in diesem Funktionszyklus für eine Regendetektionsfunktion so gemacht wird, dass der mindestens eine von der Außenseite (2.2) der Scheibe (2) reflektierte Strahl (r2; r2') mittels der Kamera (1 ) zumindest teilweise erfasst werden kann, und Generating the light beam (h; 5.4, 5.4 ') directed onto the pane (2) by the illumination source (3) in a functional cycle within the time interval between the first and second receptacles (5.1, 5.2, 5.1', 5.2 ') a third image (5.3, 5.3 ') is taken in this functional cycle for a rain detection function such that the at least one beam (r2; r2') reflected from the outside (2.2) of the disk (2) is detected by the camera (1). at least partially, and - Auswerten der dritten Aufnahme eines Bildes (5.3, 5.3') zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2).  - Evaluating the third image of an image (5.3, 5.3 ') for the detection of rain (4) on the outside (2.2) of the disc (2). 2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der auf die Scheibe (2) gerichtete Lichtstrahl (h) durch die Beleuchtungsquelle (3) nur dann in einem Funktionszyklus erzeugt wird, wenn der Zeitabstand zwischen der ersten und zweiten Aufnahme in dem Funktionszyklus größer als ein vorbestimmter Zeitabstand ist. 2. The method according to claim 1, characterized in that on the disc (2) directed light beam (h) through the Lighting source (3) is only generated in a functional cycle when the time interval between the first and second recording in the functional cycle is greater than a predetermined time interval. 3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der vorbestimmte Zeitabstand abhängig von der Aufnahmezeitdauer der dritten Aufnahme, insbesondere mindestens gleich der Aufnahmezeitdauer der dritten Aufnahme gewählt wird. 3. The method according to claim 2, characterized in that the predetermined time interval is selected depending on the recording period of the third recording, in particular at least equal to the recording period of the third recording. 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Aufnahmezeitdauer der dritten Aufnahme derart gewählt wird, dass der mindestens eine von der Außenseite (2.2) der Scheibe (2) reflektierte Strahl (r2; r2') so lange erfasst wird, bis eine Lichtmenge des erfassten reflektierten Strahls (r2; r2') in der dritten Aufnahme zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2) ausreicht. 4. The method according to claim 3, characterized in that the recording period of the third recording is selected such that the at least one of the outside (2.2) of the disc (2) reflected beam (r2; r2 ') is detected until a Amount of light of the detected reflected beam (r2; r2 ') in the third recording for the detection of rain (4) on the outside (2.2) of the disc (2) is sufficient. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine dritte Aufnahme auch in einem Funktionszyklus, in dem kein auf die Scheibe (2) gerichteter Lichtstrahl (h; 5.4, 5.4') durch die Beleuchtungsquelle (3) erzeugt wird, gemacht wird, und diese dritte Aufnahme zusätzlich beim Auswerten zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2) verwendet wird. 5. The method according to any one of the preceding claims, characterized in that a third recording in a functional cycle in which no on the disc (2) directed light beam (h; 5.4, 5.4 ') is generated by the illumination source (3) made is used, and this third recording is additionally used in the evaluation for the detection of rain (4) on the outside (2.2) of the disc (2). 6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die dritte Aufnahme, die in einem Funktionszyklus gemacht wurde, in dem kein auf die Scheibe (2) gerichteter Lichtstrahl (h; 5.4, 5.4') durch die 6. The method according to claim 5, characterized in that the third image taken in a functional cycle in which no light beam (h; 5.4, 5.4 ') directed at the disc (2) passes through Beleuchtungsquelle (3) erzeugt wurde, zur Subtraktion des Hintergrunds in einer dritten Aufnahme verwendet wird, die in einem Funktionszyklus gemacht wurde, in dem ein auf die Scheibe (2) gerichteter Lichtstrahl (h; 5.4, 5.4') durch die Beleuchtungsquelle (3) erzeugt wird.  Illumination source (3) was used to subtract the background in a third image taken in a functional cycle in which a light beam (h; 5.4, 5.4 ') directed onto the disc (2) is reflected by the illumination source (3). is produced. 7. Vorrichtung (8) zur Erkennung von Regentropfen (4) auf der Außenseite (2.2) einer Scheibe (2) mittels 7. Device (8) for detecting raindrops (4) on the outside (2.2) of a disc (2) by means of - einer hinter der Scheibe (2) angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera (1 ) und  - One behind the disc (2) arranged and focused on a distant area in front of the disc camera (1) and - einer Beleuchtungsquelle (3) zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h) derart, dass mindestens ein von Außenseite (2.2) der Scheibe (2) reflektierter Strahl (r2; r2') auf die Kamera (1 ) auftrifft,  - an illumination source (3) for generating at least one light beam (h) directed towards the pane (2) such that at least one beam (r2 'r2') reflected from the outside (2.2) of the pane (2) touches the camera (1) strikes, wobei die Vorrichtung (8) ausgebildet ist,  wherein the device (8) is formed - die Kamera (1 ) zum Aufnehmen einer Folge von Bildern (5.1 , 5.2, 5.1 ', 5.2') für eine Fahrerassistenzfunktion anzusteuern, wobei die Aufnahme der Bildfolge in zeitlich konstante Funktionszyklen (6, 6') unterteilt ist, zeitlich aufeinanderfolgend eine erste und eine zweite Aufnahme (5.1 , 5.2, 5.1 ', 5.2') jeweils eines Bildes in jedem Funktionszyklus (6, 6') gemacht werden und der Zeitabstand zwischen der ersten und zweiten Aufnahme (5.1 , 5.2, 5.1 ', 5.2') von Funktionszyklus (6) zu Funktionszyklus (6') variiert wird,  - To control the camera (1) for taking a series of images (5.1, 5.2, 5.1 ', 5.2') for a driver assistance function, wherein the recording of the image sequence in time-constant function cycles (6, 6 ') is divided, temporally successive a first and a second image (5.1, 5.2, 5.1 ', 5.2') of one image in each function cycle (6, 6 ') and the time interval between the first and second images (5.1, 5.2, 5.1', 5.2 ') of Function cycle (6) is varied to functional cycle (6 '), - die Beleuchtungsquelle (3) zum Erzeugen des auf die Scheibe (2) gerichteten Lichtstrahls (h; 5.4, 5.4') in einem Funktionszyklus innerhalb des Zeitabstands zwischen der ersten und zweiten Aufnahme (5.1 , 5.2, 5.1 ', 5.2') anzusteuern und die Kamera (1 ) anzusteuern, um eine dritte Aufnahme eines Bildes (5.3, 5.3') in diesem Funktionszyklus für eine Re- gendetektionsfunktion so zu machen, dass der mindestens eine von der Außenseite (2.2) der Scheibe (2) reflektierte Strahl (r2; r2') mittels der Kamera (1 ) zumindest teilweise erfasst werden kann, und  - to control the illumination source (3) for generating the light beam (h; 5.4, 5.4 ') directed onto the disc (2) in a functional cycle within the time interval between the first and second receptacles (5.1, 5.2, 5.1', 5.2 ') and to actuate the camera (1) in order to make a third image of an image (5.3, 5.3 ') in this functional cycle for a gene detection function such that the at least one beam (r2) reflected from the outside (2.2) of the pane (2) r2 ') can be detected at least partially by means of the camera (1), and - die dritte Aufnahme eines Bildes (5.3, 5.3') zur Detektion von Regen (4) auf der Außenseite (2.2) der Scheibe (2) auszuwerten . the third image of an image (5.3, 5.3 ') for the detection of rain (4) on the outside (2.2) of the disc (2). 8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass sie einen Prozessor (9) zum Steuern der Kamera (1 ) und der 8. Apparatus according to claim 7, characterized in that it comprises a processor (9) for controlling the camera (1) and the Beleuchtungsquelle (3) und einen Speicher (10) aufweist, in dem ein Lighting source (3) and a memory (10), in which a Programm abgelegt ist, das den Prozessor (9) zum Ausführen von Schritten eines Verfahren nach einem der Ansprüche 1 bis 6 und zu einer Program containing the processor (9) for performing steps of a method according to one of claims 1 to 6 and to a dementsprechenden Steuerung der Kamera (1 ) und der Beleuchtungsquelle (3) konfiguriert.  corresponding control of the camera (1) and the illumination source (3) configured. 9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass sie eine Schnittstelle zur Datenkommunikation über ein Bussystem (1 1 ) eines Fahrzeugs aufweist. 9. Apparatus according to claim 7 or 8, characterized in that it comprises an interface for data communication via a bus system (1 1) of a vehicle. 10. Fahrerassistenzsystem für den Einsatz in einem Fahrzeug aufweisend - eine hinter der Scheibe (2) angeordnete und auf einen Fernbereich vor der Scheibe fokussierten Kamera (1 ) und 10. Driver assistance system for use in a vehicle comprising - a behind the disc (2) arranged and focused on a distant area in front of the disc camera (1) and - eine Vorrichtung (8) mit einem Prozessor (9) zum Steuern der Kamera (1 ) und einem Speicher (10), in dem ein Programm abgelegt ist, das den Prozessor (9) zum Ausführen von Schritten mindestens eines Verfahrens zum Implementieren einer oder mehrerer Kamera-basierter Fahrerassistenzfunktionen konfiguriert,  - a device (8) having a processor (9) for controlling the camera (1) and a memory (10) in which a program is stored, the processor (9) for performing steps of at least one method for implementing a or configured with several camera-based driver assistance functions, dadurch gekennzeichnet, dass characterized in that - das Fahrerassistenzsystem ferner eine Beleuchtungsquelle (3) aufweist, die zur Erzeugung mindestens eines auf die Scheibe (2) gerichteten Lichtstrahls (h) derart angeordnet ist, dass mindestens ein von Außenseite (2.2) der the driver assistance system further comprises an illumination source (3) arranged to generate at least one light beam (h) directed towards the disc (2) such that at least one of the outer sides (2.2) of the Scheibe (2) reflektierter Strahl (r2; r2') auf die Kamera (1 ) auftrifft, und - das im Speicher (10) abgelegte Programm den Prozessor (9) zum Ausführen von Schritten eines Verfahrens nach einem der Ansprüche 1 bis 6 und zu einer dementsprechenden Steuerung der Kamera (1 ) und der Beleuchtungsquelle (3) konfiguriert. Disk (2) reflected beam (r2; r2 ') impinges on the camera (1), and the program stored in the memory (10) configures the processor (9) to perform steps of a method according to any one of claims 1 to 6 and to control the camera (1) and the illumination source (3) accordingly.
PCT/DE2017/200104 2016-11-08 2017-10-02 Detecting rain drops on a window pane by means of a camera and illumination Ceased WO2018086662A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112017003675.5T DE112017003675A5 (en) 2016-11-08 2017-10-02 Detecting raindrops on a glass by means of a camera and lighting

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016221869.7A DE102016221869A1 (en) 2016-11-08 2016-11-08 Detecting raindrops on a glass by means of a camera and lighting
DE102016221869.7 2016-11-08

Publications (1)

Publication Number Publication Date
WO2018086662A1 true WO2018086662A1 (en) 2018-05-17

Family

ID=60117426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2017/200104 Ceased WO2018086662A1 (en) 2016-11-08 2017-10-02 Detecting rain drops on a window pane by means of a camera and illumination

Country Status (2)

Country Link
DE (2) DE102016221869A1 (en)
WO (1) WO2018086662A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012092911A1 (en) 2010-11-30 2012-07-12 Conti Temic Microelectronic Gmbh Detection of raindrops on a pane by means of a camera and lighting
WO2013065868A1 (en) * 2011-11-02 2013-05-10 Ricoh Company, Ltd. Attached matter detector and vehicle equipment control apparatus
WO2014005585A1 (en) * 2012-07-05 2014-01-09 Continental Automotive Gmbh Camera system for detecting the state of a vehicle window
WO2014114294A1 (en) 2013-01-28 2014-07-31 Conti Temic Microelectronic Gmbh Method for detecting light sources operated in a pulsed manner
EP3002711A1 (en) * 2014-10-03 2016-04-06 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, carrier medium, and device control system for controlling vehicle-mounted devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012092911A1 (en) 2010-11-30 2012-07-12 Conti Temic Microelectronic Gmbh Detection of raindrops on a pane by means of a camera and lighting
WO2013065868A1 (en) * 2011-11-02 2013-05-10 Ricoh Company, Ltd. Attached matter detector and vehicle equipment control apparatus
WO2014005585A1 (en) * 2012-07-05 2014-01-09 Continental Automotive Gmbh Camera system for detecting the state of a vehicle window
WO2014114294A1 (en) 2013-01-28 2014-07-31 Conti Temic Microelectronic Gmbh Method for detecting light sources operated in a pulsed manner
EP3002711A1 (en) * 2014-10-03 2016-04-06 Ricoh Company, Ltd. Image capturing apparatus, image capturing method, carrier medium, and device control system for controlling vehicle-mounted devices

Also Published As

Publication number Publication date
DE112017003675A5 (en) 2019-03-28
DE102016221869A1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
EP2384295B2 (en) Camera system and method for capturing the surroundings of a vehicle
DE102010062496B4 (en) Method and device for processing image information from two sensors of a stereo sensor system suitable for image acquisition
WO2003097420A1 (en) Rain sensor
DE102010015214A1 (en) Method and device for driver assistance when driving a vehicle by detecting weather-related visual restrictions
DE112017004948B4 (en) Image pickup control apparatus, image pickup control method and recording medium on which it is recorded
DE102009055269A1 (en) Method for determining the relative movement by means of an HDR camera
DE102015107406A1 (en) Camera for a motor vehicle with at least two light guides and an optical filter element, driver assistance system and motor vehicle
DE102010010906A1 (en) Method for producing representation and environment of vehicle for driver assistance system, involves detecting environmental areas in stored camera image, and utilizing image area of camera image for producing representation of areas
WO2006072555A1 (en) Method for determining the displacement of a vehicle
DE102015012809A1 (en) Image recording device for a motor vehicle and method for operating such an image recording device
DE102011083745B4 (en) A method for monocular motion stereo-based automatic automatic parking free parking, computer program product and device
DE102014209863A1 (en) Method and device for operating a stereo camera for a vehicle and stereo camera for a vehicle
WO2014005585A1 (en) Camera system for detecting the state of a vehicle window
WO2018086662A1 (en) Detecting rain drops on a window pane by means of a camera and illumination
EP2758288A1 (en) Image capturing device for a vehicle
DE102016118335A1 (en) A method for detecting a contamination on a lens of a camera of a motor vehicle based on brightness values in images, camera and motor vehicle
DE102012104131A1 (en) Method for automatically adjusting e.g. frame frequency of complementary metal oxide imager for image-based driver assistance system, involves adjusting control parameters of imager based on recognized dense periodic structures of light
DE102012112118A1 (en) Using an image sensor to record fast consecutive images
DE102021000508A1 (en) Method for calibrating a gated camera, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device
DE102020007064B4 (en) Method for calibrating a first lighting device, a second lighting device and an optical sensor, control device for carrying out such a method, calibration device with such a control device and motor vehicle with such a calibration device
DE102021004516B3 (en) Method for operating a gated camera, control device for carrying out such a method, gated camera with such a control device and motor vehicle with such a gated camera
DE102021003728B4 (en) Method for operating a gated camera, control device for carrying out such a method, gated camera device with such a control device and motor vehicle with such a gated camera device
WO2018033365A1 (en) Method for detecting a light beam bundle of a surrounding zone of a motor vehicle in at least two different focal lengths using a camera system, camera system, and motor vehicle
DE102023131900A1 (en) Test setup and method for stimulating an infrared camera-based environment detection system
WO2024104624A1 (en) Apparatus and method for determining a reduced transparency of a window of a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17784545

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112017003675

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17784545

Country of ref document: EP

Kind code of ref document: A1