[go: up one dir, main page]

DE102009008770A1 - Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data - Google Patents

Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data Download PDF

Info

Publication number
DE102009008770A1
DE102009008770A1 DE102009008770A DE102009008770A DE102009008770A1 DE 102009008770 A1 DE102009008770 A1 DE 102009008770A1 DE 102009008770 A DE102009008770 A DE 102009008770A DE 102009008770 A DE102009008770 A DE 102009008770A DE 102009008770 A1 DE102009008770 A1 DE 102009008770A1
Authority
DE
Germany
Prior art keywords
pixel
checked
determined
images
characteristic value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009008770A
Other languages
German (de)
Inventor
Fabian Diegmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Priority to DE102009008770A priority Critical patent/DE102009008770A1/en
Publication of DE102009008770A1 publication Critical patent/DE102009008770A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The method involves selecting an image detection element, and temporarily moving an image detection sensor (17) to an environment. Data with information about characteristics of movement are determined. Images are sequentially recorded by imaging detection areas by the image detection sensor. The images are determined depending on the data. A characteristic value i.e. grey value, of a pixel in the images associated to the image detection element is determined. Distance between the images is determined depending on the data. An independent claim is also included for a device for detection of a defective image pixel detection element of an image detection area in an image detection sensor.

Description

Die Erfindung betrifft ein Verfahren zur Detektion mindestens eines fehlerhaften Bildpunkterfassungsbereichs eines Bilderfassungsbereichs eines Bilderfassungssensors, bei dem mit Hilfe des Bilderfassungssensors Bilder mit Abbildungen eines Erfassungsbereiches sequenziell aufgenommen werden. Ferner wird ein zu überprüfendes Bildpunkterfassungselement ausgewählt und jeweils ein charakteristischer Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkts in mehreren nacheinander aufgenommenen Bildern ermittelt. Des Weiteren wird der charakteristische Wert mindestens eines an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunkts in jedem der Bilder ermittelt, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkts ermittelt wird. Die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements erfolgt zumindest in Abhängigkeit von den für den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt und für mindestens ein an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkt ermittelten charakteristischen Werten. Ferner betrifft die Erfindung eine Vorrichtung zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors.The The invention relates to a method for detecting at least one erroneous pixel detection area of an image detection area an image acquisition sensor using the image acquisition sensor Images with images of a detection area recorded sequentially become. Further, a pixel detection element to be checked becomes selected and each have a characteristic value of the the pixel detection element to be checked associated pixel in several sequentially recorded images determined. Furthermore, the characteristic value becomes at least one to the pixel, the one to be checked Associated with the pixel detection element, adjacent pixel in each of the pictures is determined, in which the characteristic value of the pixel detection element to be checked associated pixel is determined. The assessment of the defectiveness of the pixel detection element to be checked takes place at least depending on the the pixel detection element to be checked assigned pixel and for at least one of the associated with the pixel detection element to be checked Pixel adjacent pixel determined characteristic values. Furthermore, the invention relates to a device for detection at least a defective pixel detection element of an image acquisition region an image capture sensor.

Die Vorrichtung und das Verfahren werden vorzugsweise in Verbindung mit Fahrerassistenzsystemen von Fahrzeugen eingesetzt, insbesondere bei Fahrerassistenzsystemen von Straßenfahrzeugen. Ein solches Fahrerassistenzsystem umfasst zumindest einen Bilderfassungssensor, der Bilder mit Abbildungen eines Erfassungsbereichs erfasst werden. Es werden den Bildern entsprechende Bilddaten erzeugt, die mit Hilfe einer Verarbeitungseinheit weiterverarbeitet werden.The The device and the method are preferably connected used with driver assistance systems of vehicles, in particular in driver assistance systems of road vehicles. One such driver assistance system comprises at least one image acquisition sensor, the images are captured with images of a detection area. It the images are generated corresponding image data, with the help of a processing unit to be further processed.

Das Fahrerassistenzsystem dient beispielsweise zur Steuerung der Lichtabgabe der Frontscheinwerfer des Fahrzeugs. Die Frontscheinwerfer werden insbesondere derart gesteuert, dass eine optimale, d. h. eine größtmögliche, Ausleuchtung des Bereichs vor dem Fahrzeug erreicht wird, ohne dass andere Verkehrsteilnehmer, beispielsweise Fahrer vorausfahrender Fahrzeuge oder Fahrer entgegenkommender Fahrzeuge, geblendet werden. Des Weiteren kann mit Hilfe des Fahrerassistenzsystems eine Korrektur der Lichtabstrahlung der Frontscheinwerfer in Folge der Eigenbewegung des Fahrzeugs, insbesondere in Folge einer Nick- und/oder Gierbewegung des Fahrzeugs, kompensiert werden. Hierzu werden in den mit Hilfe des Bilderfassungssensors erfassten Bildern insbesondere Abbildungen selbstleuchtender Objekte detektiert. In Abhängigkeit der Position der Abbildungen der selbstleuchtenden Objekte in einem erfassten Bild und/oder dem Verlauf der Position der Abbildung eines selbstleuchtenden Objektes in mehreren nacheinander aufgenommenen Bildern einer Bildfolge werden die Frontscheinwerfer durch die Steuereinheit angesteuert. Um eine fehlerhafte Ansteuerung der Frontscheinwerfer und eine hierdurch bedingte eventuelle Gefährdung des Straßenverkehrs zu verhindern, müssen fehlerhafte Bildpunkterfassungselemente des Bilderfassungsbereiches des Bilderfassungssensors detektiert werden. Ist ein Bildpunkterfassungselement fehlerhaft, so dass der diesem Bildpunkterfassungselement zugeordnete Bildpunkt beispielsweise dauerhaft einen sehr niedrigen oder sehr hohen Grauwert hat. Dieser Bildpunkt kann dann als selbstleuchtendes Objekt klassifiziert werden. Daraufhin kann dann eine fehlerhafte Assistenzfunktion bereitgestellt werden. Ein Lichtassistenzsystem kann beispielsweise die Fontscheinwerfer des Fahrzeugs auf Grund des falsch klassifizierten Objekts falsch ansteuern.The Driver assistance system is used, for example, to control the light output the headlight of the vehicle. The headlights will be in particular controlled such that an optimal, d. H. a greatest possible, Illumination of the area in front of the vehicle is achieved without others Road users, such as drivers of vehicles in front or driver of oncoming vehicles, dazzled. Furthermore can with the help of the driver assistance system, a correction of the light emission the headlight due to the proper motion of the vehicle, in particular as a result of a pitching and / or yawing motion of the vehicle compensated become. For this purpose, in the detected with the help of the image acquisition sensor Images in particular images of self-luminous objects detected. Depending on the position of the pictures of the self-luminous Objects in a captured image and / or the course of the position the picture of a self-luminous object in several successive taken pictures of a sequence of images are the headlights controlled by the control unit. To a faulty control the headlamp and any resulting risk To prevent road traffic, must defective pixel detection elements the image detection area of the image detection sensor detected become. Is a pixel detection element defective, so that the For example, this pixel associated with this pixel detection element permanently has a very low or very high gray value. This pixel can then be classified as a self-luminous object. thereupon then a faulty assistance function can be provided. A light assistance system, for example, the font headlights of the vehicle due to the wrong classified object wrong drive.

Es sind verschiedene Verfahren zur Ermittlung fehlerhafter Bildpunkterfassungselemente bekannt. Bei einem ersten Verfahren wird der Grauwert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in mehreren nacheinander aufgenommenen Bildern einer Bildfolge ermittelt. Ebenso werden in den Bildern der Bildfolge jeweils die Grauwerte der zu dem dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt benachbarten Bildpunkte ermittelt. Der Verlauf des Grauwerts des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in jedem Bild der Bildfolge wird mit dem Verlauf der Grauwerte der benachbarten Bildpunkte verglichen. In Abhängigkeit vom Vergleichsergebnis wird festgelegt, ob das zu überprüfende Bildpunkterfassungselement fehlerhaft ist oder nicht. Nachteilig an diesem Verfahren ist, dass der Grauwert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und der benachbarten Bildpunkte in einer großen Anzahl von Bildern ermittelt werden muss. Dies hat zur Folge, dass insbesondere bei Systemen mit beschränktem Speicher die Untersuchung aller Bilderfassungssensoren eines Bilderfassungsbereiches eines Bilderfassungssensors sehr viel Zeit in Anspruch nimmt.It are various methods for detecting erroneous pixel detectors known. In a first method, the gray value of the to be checked Pixel detection element associated pixel in several successively recorded images of a sequence of images determined. As well In the images of the sequence of images, the gray values are assigned to the pixel detection element to be checked assigned pixel adjacent pixels determined. The course of the Gray value of the pixel detection element to be checked assigned pixel in each image of the image sequence is with the History of the gray values of the adjacent pixels compared. In Depending on the comparison result, it is determined whether the pixel detection item to be checked is defective is or not. A disadvantage of this method is that the gray value of the pixel detection element to be checked associated pixel and the adjacent pixels in a large Number of images must be determined. This has the consequence that especially for systems with limited memory the Examination of all image acquisition sensors of an image acquisition area an image acquisition sensor takes a lot of time.

Bei einem weiteren Verfahren werden der Grauwert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und die Grauwerte der diesem Bildpunkt benachbarten Bildpunkte nur in einem Bild ermittelt. Der Grauwert des dem zu überprüfenden Bildpunkterfassungselements zugeordneten Bildpunktes wird mit dem Grauwert der benachbarten Bildpunkte verglichen. Ergibt sich eine große Abweichung zwischen den ermittelten Grauwerten, so wird das zu überprüfende Bildpunkterfassungselement als fehlerhaft eingestuft. Nachteilig an diesem Verfahren ist, dass Bildpunkterfassungselemente leicht fälschlicherweise als fehlerhaft klassifiziert werden können. Insbesondere selbstleuchtende Objekte die weit vor dem Fahrzeug angeordnet sind, insbesondere in großer Entfernung, können bei der Abbildung in dem mit Hilfe des Bilderfassungssensor erfassten Bildes durch nur einen Bildpunkt abgebildet werden, so dass dieser eine Bildpunkt einen wesentlich höheren Grauwert als die benachbarten Bildpunkte aufweist. Die Klassifizierung des diesem Bildpunkt zugeordneten Bildpunkterfassungselements als fehlerhaft wäre falsch und könnte zu Fehlern bei der weiteren Verarbeitung der mit Hilfe des Bilderfassungssensors erfassten Bilddaten führen.In a further method, the gray value of the pixel associated with the pixel to be checked and the gray values of the pixels adjacent to this pixel are determined only in one image. The gray value of the pixel assigned to the pixel to be checked is compared with the gray value of the neighboring pixels. If there is a large deviation between the determined gray values, then the pixel detection element to be checked is classified as defective. Disadvantageous In this method, pixel detectors may easily be erroneously classified as defective. In particular, self-luminous objects which are arranged far in front of the vehicle, in particular at a great distance, can be imaged by only one pixel during imaging in the image acquired with the aid of the image acquisition sensor, so that this one pixel has a significantly higher gray value than the neighboring pixels. The classification of the pixel associated with this pixel as defective would be incorrect and could lead to errors in the further processing of the image data acquired with the aid of the image acquisition sensor.

Verfahren zur Detektion fehlerhafter Bildpunkte mit CMOS-Sensoren oder CCD-Sensoren sind in den Dokumenten US 7009644 B1 , CA 2150736C , EP 1343311 A2 und EP 687106A1 beschrieben.Methods for detecting defective pixels with CMOS sensors or CCD sensors are in the documents US 7009644 B1 . CA 2150736C . EP 1343311 A2 and EP 687106A1 described.

Es ist Aufgabe der Erfindung, eine Vorrichtung und ein Verfahren zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors anzugeben, bei denen eine Beurteilung der Fehlerhaftigkeit des Bildpunkterfassungselements zuverlässig in kurzer Zeit mit geringem Ressourcenbedarf erfolgt.It Object of the invention, an apparatus and a method for Detection of at least one defective pixel detection element indicate an image capture area of an image capture sensor, in which an assessment of the defectiveness of the pixel detection element Reliable in a short time with low resource requirements.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und eine Vorrichtung mit den Merkmalen des unabhängigen Vorrichtungsanspruchs gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.These The object is achieved by a method having the features of the patent claim 1 and a device with the features of the independent Device claim solved. Advantageous developments The invention are defined in the dependent claims specified.

Gemäß der Erfindung werden bei dem Verfahren zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors mit Hilfe des Bilderfassungssensors Bilder mit Abbildungen eines Erfassungsbereichs sequenziell als Bildfolge aufgenommen. Ferner wird ein zu überprüfendes Bildpunkterfassungselement ausgewählt und jeweils ein charakteristischer Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in mehreren nacheinander aufgenommenen Bildern ermittelt. Des Weiteren wird der charakteristische Wert mindestens eines an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunktes in jedem der Bilder ermittelt, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird. Die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements erfolgt zumindest in Abhängigkeit von den für den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt und mindestens ein an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkt ermittelten charakteristischen Werten. Der Bilderfassungssensor wird zumindest zeitweise relativ zur Umgebung bewegt und es werden zumindest Daten mit Informationen über mindestens eine Eigenschaft dieser Bewegung ermittelt.According to the Invention are in the method for detecting at least one erroneous pixel detection element of an image capturing area an image acquisition sensor using the image acquisition sensor Images with images of a detection area sequentially as Image sequence recorded. Furthermore, a to be checked Pixel detection element selected and each a characteristic Value of the pixel detection item to be checked associated pixel in several consecutively recorded Determined images. Furthermore, the characteristic value at least one to the pixel, the one to be checked Pixel detection element is assigned, adjacent pixel in each of the pictures in which the characteristic value of the the pixel detection element to be checked assigned pixel is determined. The assessment of the defectiveness of the pixel detection element to be checked takes place at least depending on the the pixel detection element to be checked assigned pixel and at least one of the to be checked Pixel detection element associated pixel adjacent pixel determined characteristic values. The image capture sensor is at least temporarily moved relative to the environment and it will be at least data with information about at least one Property of this movement determined.

Die Anzahl der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, wird zumindest in Abhängigkeit dieser Daten festgelegt. Dadurch wird erreicht, dass nur in einer geringen Anzahl von Bildern der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und mindestens eines angrenzendes Bildpunktes ermittelt werden muss, um die Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselementes sicher zu bestimmen. Ist auf Grund der Eigenschaft der Bewegung nur eine Ermittlung des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und des mindestens einen angrenzenden Bildpunktes in einer geringen Anzahl von Bildern notwendig, so erfolgt die Ermittlung der charakteristischen Werte auch nur in dieser geringen Anzahl von Bildern. Auf diese Weise wird zum Einen die Zeit, die benötigt wird, um die Fehlerhaftigkeit eines Bildpunkterfassungselementes zu ermitteln, reduziert und zum Anderen werden die benötigten Ressourcen, insbesondere der benötigte Speicher und der notwendige Rechenaufwand, reduziert.The Number of pictures in which the characteristic value of the to be checked Pixel detection element assigned pixel is determined is determined at least as a function of this data. This ensures that only in a small number of pictures the characteristic value of the one to be checked Pixel detection element associated pixel and at least an adjacent pixel must be determined to the defectiveness of the pixel detection element to be checked safe to determine. Is due to the property of the movement only a determination of the characteristic value of the one to be checked Pixel detection element associated pixel and the at least an adjacent pixel in a small number of images necessary, the characteristic values are determined even in this small number of pictures. This way will On the one hand, the time it takes to make the mistake a pixel detection element to determine, reduced and the Others will have the needed resources, in particular the required memory and the necessary computational effort, reduced.

Bei einer alternativen Ausführungsform der Erfindung ist die Anzahl der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, voreingestellt. Der Abstand zwischen den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, wird zumindest in Abhängigkeit der Daten mit Informationen über mindestens eine Eigenschaft der Bewegung festgelegt. Auf diese Weise wird ebenfalls erreicht, dass die benötigte Zeit zur sicheren Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements minimiert werden kann.at an alternative embodiment of the invention is the Number of pictures in which the characteristic value of the to be checked Pixel detection element assigned pixel is determined preset. The distance between the pictures in which the characteristic Value of the pixel detector to be checked Pixel is determined, at least in dependence the data with information about at least one property of movement. In this way it is also achieved that the time needed to reliably assess the defectiveness of the pixel detection element to be checked can be minimized.

Bei einer weiteren alternativen Ausführungsform der Erfindung wird anstatt der Anzahl der Bilder die Zeit, in der in den erfassten Bildern der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeord neten Bildpunkts ermittelt wird, zumindest in Abhängigkeit der Daten mit Informationen über die erste Eigenschaft der Bewegung voreingestellt.at a further alternative embodiment of the invention instead of the number of pictures, the time is recorded in the Pictures the characteristic value of the one to be checked Pixel detection element associated with pixel is determined at least depending on the data with information about the first property of the movement is preset.

Es ist vorteilhaft, den charakteristischen Wert jedes an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunktes in den Bildern zu ermitteln. Durch die Ermittlung der charakteristischen Werte aller angrenzenden Bildpunkte wird die Beurteilungsgüte erhöht. Insbesondere wird hiermit ausgeschlossen, dass auf Grund eines defekten angrenzenden Bildpunkterfassungselements eine falsche Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements erfolgt.It is advantageous to have the characteristic value of each at the pixel point to be checked Determine sungselement associated pixel adjacent pixel in the images. By determining the characteristic values of all adjacent pixels, the quality of evaluation is increased. In particular, it is hereby excluded that due to a defective adjoining pixel detection element, an incorrect assessment of the defectiveness of the pixel detection element to be checked takes place.

Es ist besonders vorteilhaft, den Verlauf des charakteristischen Werts des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und der Verlauf des charakteristischen Werts mindestens eines an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunktes über die Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zu ermitteln und die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von dem Verlauf des charakteristischen Werts des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und dem Verlauf des charakteristischen Wertes des mindestens einem an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunktes durchzuführen. Hierdurch wird die Beurteilungsgüte weiter verbessert, da durch den Vergleich der Verläufe der charakteristischen Werte auch dann eine falsche Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselementes vermieden wird, wenn mit Hilfe des dem zu überprüfenden Bildpunkterfassungselementes zugeordneten Bildpunktes ein Objekt abgebildet wird, das auf Grund seiner Entfernung zum Bilderfassungs sensor und/oder seiner Abmessungen in dem mit Hilfe des Bilderfassungssensors erfassten Bildes nur durch einen Bildpunkt abgebildet wird.It is particularly advantageous, the course of the characteristic value of the pixel detection element to be checked associated pixel and the course of the characteristic Value of at least one of those to be checked Pixel detection element associated pixel adjacent pixel the pictures in which the characteristic value of the pixel detection element to be checked associated pixel is determined, determine and the assessment the defectiveness of the pixel detection element to be checked at least depending on the course of the characteristic Value of the pixel detector to be checked Pixel and the course of the characteristic value of at least one to the pixel, the one to be checked Pixel detection element is assigned, adjacent pixel perform. This becomes the grade of judgment further improved, because by comparing the gradients the characteristic values then also a wrong judgment the defectiveness of the pixel detection element to be checked is avoided, if with the help of the one to be checked Pixel detection element associated with an object that is due to its distance to the image capture sensor and / or its dimensions in the detected by means of the image acquisition sensor Picture is represented by only one pixel.

Bei einer bevorzugten Ausführungsform der Erfindung wird bildweise der Mittelwert der charakteristischen Werte der an dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkte ermittelt. Auf diese Weise kann die Beurteilungsgüte weiter erhöht werden, da durch die Ermittlung des Mittelwertes der charakteristischen Werte eventuelle Ausreißer der charakteristischen Werte der angrenzenden Bildpunkte abgemildert werden. Als Mittelwert wird insbesondere das arithmetische Mittel der charakteristischen Werte der angrenzenden Bildpunkte verwendet. Alternativ kann auch der Median der charakteristischen Werte der angrenzenden Bildpunkte verwendet werden.at A preferred embodiment of the invention is imagewise the mean of the characteristic values of the one to be tested Pixel detection element associated pixel adjacent pixels determined. In this way, the evaluation quality can continue be increased because by the determination of the mean value the characteristic values possible outliers of the characteristic Values of the adjacent pixels are mitigated. As an average in particular the arithmetic mean of the characteristic Values of adjacent pixels used. Alternatively, too the median of the characteristic values of the adjacent pixels be used.

Bei einer besonders vorteilhaften Ausführungsform der Erfindung wird der Verlauf des charakteristischen Werts des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und der Verlauf des Mittelwerts der charakteristischen Werte der angrenzenden Bildpunkte über die Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelt. Die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements erfolgt zumindest in Abhängigkeit von dem Verlauf des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselements zugeordneten Bildpunktes und dem Verlauf des Mittelwerts der charakteristischen Werte der angrenzenden Bildpunkte.at a particularly advantageous embodiment of the invention becomes the course of the characteristic value of the one to be checked Pixel detection element associated pixel and the gradient the average of the characteristic values of the adjacent pixels the pictures in which the characteristic value of the one to be checked Pixel detection element assigned pixel is determined determined. The judgment of the defectiveness of the pixel detection element to be checked takes place at least as a function of the course of the characteristic value of the pixel detection element to be checked associated pixel and the course of the mean of the characteristic Values of the adjacent pixels.

Ferner ist es vorteilhaft, wenn ein Mittelwert der in den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelten charakteristischen Werte des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und ein Mittelwert der in allen Bildern, in denen der charakteristischer Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelten charakteristischen Werte des bzw. der an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkts angrenzenden Bildpunkten ermittelt wird. Die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements erfolgt zumindest in Abhängigkeit von diesen Mittelwerten. Auf diese Weise kann die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements durch einen einfachen Vergleich zweier Werte erfolgen.Further It is advantageous if an average of the pictures in which the characteristic value of the one to be checked Pixel detection element assigned pixel is determined determined characteristic values of the to be examined Pixel detection element associated pixel and an average value in all pictures in which the characteristic value of the associated with the pixel detection element to be checked Pixel is determined, determined characteristic values of the one to the to be checked pixel detection element associated pixel is determined adjacent pixels. The assessment of the defectiveness of the to be examined Pixel detection element takes place at least in dependence from these means. In this way, the assessment of the Deficiency of the pixel detection element to be checked by a simple comparison of two values.

Als charakteristischer Wert wird vorzugsweise der Grauwert des jeweiligen Bildpunktes ermittelt. Die Grauwerte unterschiedlicher Bildpunkte lassen sich auf einfache Weise ermitteln und auf einfache Weise miteinander vergleichen. Des Weiteren kann der Grauwert sowohl bei Schwarz-Weiß-Bilderfassungssensoren als auch bei Farbbilderfassungssensoren ermittelt werden.When characteristic value is preferably the gray value of the respective Pixel determined. The gray values of different pixels can be easily determined and easily compare. Furthermore, the gray value can be seen in both Black and white image sensing sensors as well as color image sensing sensors be determined.

Darüber hinaus ist es vorteilhaft, zumindest Daten mit Information über eine erste Eigenschaft der Bewegung und mindestens eine zweite Eigenschaft der Bewegung zu ermitteln und die Anzahl der Bilder bzw. den Abstand zwischen den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten festzulegen. Hierdurch kann die Anzahl der für eine sichere Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements notwendigen Bilder weiter differenziert und somit die zur Beurteilung der Fehlerhaftigkeit notwendige Zeit und der hierfür notwendige Ressourceneinsatz weiter reduziert werden.About that In addition, it is advantageous to have at least data with information about a first property of the movement and at least a second property of the Determine movement and the number of images or the distance between the pictures in which the characteristic value of the associated with the pixel detection element to be checked Pixel is determined, at least in dependence of this To set data. This can be the number of for a reliable assessment of the defectiveness of the product under review Pixel detection element necessary images further differentiated and thus the time necessary to judge the defectiveness and further reduced the resources required for this purpose become.

Bei einer bevorzugten Ausführungsform der Erfindung wird zumindest ein Teil der mit Hilfe des Bilderfassungssensors erfassten Bilddaten von einem Fahrerassistenzsystem eines Fahrzeuges, insbesondere eines Straßenfahrzeuges, weiterverarbeitet. Hierdurch können die mit Hilfe des Bilderfassungssensors erfassten Bilddaten sowohl für das Fahrerassistenzsystem des Fahrzeugs als auch für die Detektion von fehlerhaften Bildpunkterfassungselementen verwendet werden, so dass nicht für das Fahrerassistenzsystem und die Detektion der fehlerhaften Bildpunkterfassungselemente jeweils unterschiedliche Bilddaten aufgenommen werden müssen. Auf diese Weise wird der Aufwand reduziert.In a preferred embodiment of According to the invention, at least part of the image data acquired with the aid of the image acquisition sensor is further processed by a driver assistance system of a vehicle, in particular of a road vehicle. As a result, the image data acquired with the aid of the image acquisition sensor can be used both for the driver assistance system of the vehicle and for the detection of defective image detection elements, so that different image data do not have to be recorded for the driver assistance system and the detection of the defective image detection elements. In this way, the effort is reduced.

Ferner ist es vorteilhaft, als erste Eigenschaft der Bewegung die Geschwindigkeit, mit der der Bilderfassungssensor relativ zur Umgebung bewegt wird, zu verwenden. Je höher die Geschwindigkeit ist, desto geringer ist die Anzahl der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und die Grauwerte der angrenzenden Bildpunkte ermittelt werden müssen, um die Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zu beurteilen. Durch die hohe Geschwindigkeit ändern sich die in den mit Hilfe des Bilderfassungssensors erfassten Bildern abgebildeten Objekte bzw. die Position eines abgebildeten Objektes in nacheinander aufgenommenen Bildern und somit auch die Grauwerte der Bildpunkte der Bilder schnell, so dass für die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements nur wenige Bilder ausgewertet werden müssen.Further it is advantageous, as the first property of the movement, the speed, with which the image acquisition sensor is moved relative to the environment, to use. The higher the speed, the lower is the number of images in which the characteristic value of the the pixel detection element to be checked assigned pixel and the gray values of the adjacent pixels must be determined in order to verify the defectiveness of the To judge pixel detection element. Change by the high speed the images captured in the image acquisition sensor imaged objects or the position of an imaged object in consecutively taken pictures and thus also the gray values the pixels of the pictures quickly, so for the assessment the defectiveness of the pixel detection element to be checked only a few images need to be evaluated.

Es ist besonders vorteilhaft, die Geschwindigkeit und die Gierrate des Fahrzeuges zu ermitteln und die Anzahl der Bilder bzw. den Abstand zwischen den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit der Geschwindigkeit und der Gierrate des Fahrzeugs festzulegen. Durch die zusätzliche Berücksichtigung der Gierrate des Fahrzeugs kann die Anzahl der für eine Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements notwendigen Bilder weiter differenziert werden. Bei einer Kurvenfahrt des Fahrzeugs und einer somit hohen Gierrate ist davon auszugehen, dass sich die in den Bildern abgebildeten Objekte bzw. die Position der Abbildungen der in den Bildern abgebildeten Objekte in den Bildern schnell verändert und sich somit auch die Grauwerte der einzelnen Bildpunkte schnell verändern. Die Geschwindigkeit des Fahrzeugs und die Gierrate des Fahrzeugs werden insbesondere mit Hilfe des Fahrzeug-Buses für die Festlegung der Anzahl bzw. des Abstands der für die Beurteilung der Fehlerhaftigkeit des Bildpunkterfassungselements notwendigen Bilder bereitgestellt. Die Gierrate wird insbesondere über den Lenkwinkel des Fahrzeugs ermittelt. Zusätzlich oder alternativ kann bei der Festlegung der Anzahl der Bilder bzw. des Abstands zwischen den Bildern, in denen der charakteristische Werte des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, die Ausrichtung des Bilderfassungssensors berücksichtigt werden.It is particularly advantageous, the speed and the yaw rate of the vehicle and the number of images or the distance between the pictures in which the characteristic value of the associated with the pixel detection element to be checked Pixel is determined, at least in dependence of Speed and yaw rate of the vehicle. By the additional consideration of the yaw rate The vehicle can be the number of times for a review the defectiveness of the pixel detection element to be checked necessary images are further differentiated. When cornering of the vehicle and thus a high yaw rate is expected that the objects shown in the pictures or the position the pictures of the objects shown in the pictures in the pictures quickly changed and thus also the gray values of change individual pixels quickly. The speed of the vehicle and the yaw rate of the vehicle in particular with the help of the vehicle bus for the determination of the number or the distance of the for the assessment of the defectiveness of the pixel detection element necessary images. The yaw rate is determined in particular by the steering angle of the vehicle determined. Additionally or alternatively, in the determination the number of pictures or the distance between the pictures, in the characteristic values of the one to be tested Pixel detection element assigned pixel is determined takes into account the orientation of the image acquisition sensor become.

Bei einer besonders bevorzugten Ausführungsform der Erfindung wird zumindest das erste Bild, in dem der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, in mindestens zwei Bereiche aufgeteilt. Ferner wird ermittelt, in welchem Bereich der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkt angeordnet ist. Die Anzahl der Bilder bzw. der Abstand zwischen den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, wird zumindest in Abhängigkeit davon, in welchem Bereich der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkt angeordnet ist, festgelegt. Es ist besonders vorteilhaft, wenn das erste Bild in sieben Bereiche aufgeteilt wird. Hierdurch wird erreicht, dass die Anzahl der bzw. der Abstand zwischen den für die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements notwendigen Bilder weiter differenziert wird. Hierdurch werden die notwendige Zeit und der notwendige Ressourceneinsatz für die Beurteilung der Fehlerhaftigkeit des Bildpunkterfassungselementes weiter reduziert. Das erste Bild wird insbesondere in einen Fernbereich, zwei obere Seitenbereiche, zwei untere Seitenbereiche, einen Himmelbereich und einen Straßenbereich eingeteilt. Befindet sich der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkt beispielsweise in einem der unteren Seitenbereiche, so müssen zur Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements weniger Bilder verwendet werden als bei der Beurteilung der Fehlerhaftigkeit eines Bildpunkterfassungselements, dessen zugeordneter Bildpunkt im Fernbereich angeordnet ist. Bei einer Fahrt des Fahrzeugs entlang der Straße verändern sich die in den Seitenbereichen der Bilder abgebildeten Objekte bzw. die Positionen der Abbildungen dieser Objekte schneller als die im Fernbereich abgebildeten Objekte bzw. die Positionen der Abbildungen der im Fernbereich abgebildeten Objekte.at a particularly preferred embodiment of the invention will be at least the first picture in which the characteristic value of the pixel detection element to be checked assigned pixel is determined in at least two areas divided up. It also determines in which area the one to be checked Pixel image detection element associated pixel is arranged. The number of pictures or the distance between the pictures, in which the characteristic value of the one to be examined Pixel detection element assigned pixel is determined will at least depending on which area that of the pixel detection element to be checked assigned pixel is fixed. It's special advantageous if the first image is divided into seven areas. This ensures that the number of or the distance between for the assessment of the defectiveness of the product under review Pixel detection element necessary images further differentiated becomes. This will provide the necessary time and resources for judgment of the defectiveness of the pixel detection element reduced. The first picture becomes especially in a distant area, two upper side areas, two lower side areas, a sky area and divided a street area. Is the the pixel detection element to be checked associated pixel for example in one of the lower side regions, so must to assess the defectiveness of the examined Pixel detectors to use less images than in assessing the defectiveness of a pixel detection element, whose assigned pixel is located in the far field. at a movement of the vehicle along the road change the objects displayed in the side areas of the images or the positions of the pictures of these objects faster than that in the far range imaged objects or the positions of the images of the objects depicted in the far field.

Es ist vorteilhaft, wenn als Bilderfassungssensor ein CMOS-Sensor oder ein CCD-Sensor verwendet wird. Solchen Sensoren lassen sich kostengünstig beschaffen.It is advantageous if as image acquisition sensor, a CMOS sensor or a CCD sensor is used. Such sensors can be inexpensively obtain.

Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bildpunkterfassungsbereichs eines Bilderfassungssensors, wobei der Bilderfassungssensor Bilder mit Abbildungen eines Erfassungsbereichs sequenziell aufnimmt. Ferner umfasst die Vorrichtung eine Verarbeitungseinheit zum Verarbeiten der mit Hilfe des Bilderfassungssensors erfassten Bilddaten, wobei die Verarbei tungseinheit mindestens ein zu überprüfendes Bildpunkterfassungselement auswählt und jeweils einen charakteristischen Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in mehreren nacheinander aufgenommenen Bildern ermittelt. Ferner ermittelt die Verarbeitungseinheit den charakteristischen Wert mindestens eines an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunktes in jedem der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird. Die Verarbeitungseinheit ermittelt die Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von den für den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt und für mindestens ein an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkt charakteristischen Werten. Ferner umfasst die Vorrichtung eine Bewegungseinheit zur zumindest zeitweisen Bewegung des Bilderfassungssensors relativ zur Umgebung, wobei die Verarbeitungseinheit zumindest Daten mit Informationen über mindestens eine Eigenschaft dieser Bewegung ermittelt. Die Verarbeitungseinheit ermittelt die Anzahl der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten.Another aspect of the invention relates to an apparatus for detecting at least one defective pixel detection element of a pixel detection area of an image detection sensor, wherein the image detection sensor images with Ab sequences of a detection area sequentially. Furthermore, the device comprises a processing unit for processing the image data acquired with the aid of the image acquisition sensor, wherein the processing unit selects at least one pixel detection element to be checked and in each case determines a characteristic value of the pixel associated with the pixel to be examined in a plurality of successively recorded images. Furthermore, the processing unit determines the characteristic value of at least one pixel adjoining the pixel to be checked in each of the images in which the characteristic value of the pixel assigned to the pixel to be checked is determined. The processing unit determines the defectiveness of the pixel detection element to be checked, at least as a function of the pixel associated with the pixel to be checked, and for at least one pixel adjacent to the pixel associated with the pixel to be examined. Furthermore, the device comprises a movement unit for at least temporary movement of the image acquisition sensor relative to the environment, wherein the processing unit determines at least data with information about at least one property of this movement. The processing unit determines the number of images in which the characteristic value of the pixel associated with the pixel to be checked is determined, at least as a function of this data.

Bei einer alternativen Ausführungsform der Erfindung ist die Anzahl der Bilder, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, voreingestellt. Die Verarbeitungseinheit ermittelt den Abstand zwischen den Bildern, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit der Daten mit Informationen über die mindestens eine Eigenschaft der Bewegung.at an alternative embodiment of the invention is the Number of pictures in which the characteristic value of the to be checked Pixel detection element assigned pixel is determined preset. The processing unit determines the distance between the pictures in which the characteristic value of the one to be checked Pixel detection element assigned pixel is determined at least depending on the data with information about the at least one property of the movement.

Die durch den unabhängigen Vorrichtungsanspruch spezifizierte Vorrichtung kann in gleicher Weise weitergebildet werden wie das erfindungsgemäße Verfahren. Insbesondere kann die Vorrichtung mit den in den auf das Verfahren zurückbezogenen abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.The specified by the independent device claim Device can be developed in the same way as that inventive method. In particular, can the device with the dependent in the back on the method Claims specified or corresponding Device features are further developed.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand von Ausführungsbeispielen näher erläutert.Further Features and advantages of the invention will become apparent from the following Description, which in conjunction with the attached Figures the invention based on embodiments explained in more detail.

Es zeigen:It demonstrate:

1 eine Seitenansicht eines Fahrzeugs mit einem Bilderfassungssensor; 1 a side view of a vehicle with an image detection sensor;

2 ein Ablaufdiagramm eines Verfahrens zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereiches eines Bilderfassungssensors gemäß einer ersten Ausführungsform der Erfindung; 2 a flowchart of a method for detecting at least one defective pixel detection element of an image detection area of an image detection sensor according to a first embodiment of the invention;

3 ein Ablaufdiagramm eines Verfahrens zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors gemäß einer zweiten Ausführungsform der Erfindung; 3 a flowchart of a method for detecting at least one defective pixel detection element of an image detection area of an image detection sensor according to a second embodiment of the invention;

4 die Aufteilung eines mit Hilfe des Bilderfassungssensors erfassten Bildes in fünf Bereiche; und 4 the division of an image captured by the image acquisition sensor into five areas; and

5 die Aufteilung eines mit Hilfe des Bilderfassungssensors erfassten Bildes in sieben Bereiche. 5 splitting an image captured by the image acquisition sensor into seven areas.

In 1 ist eine Seitenansicht eines Fahrzeugs 12 in einer Verkehrssituation 10 bei der Fahrt des Fahrzeugs 12 entlang einer Fahrbahn 14 gezeigt. Das Fahrzeug 12 hat ein Kamerasystem 16 mit mindestens einem Bilderfassungssensor 17. Das Kamerasystem 16 kann beispielsweise ein Stereokamerasystem oder ein Monokamerasystem, sowie ein Farbkamerasystem oder ein Schwarz-Weiß-Kamerasystem zur Ermittlung von Grauwerten sein. Der Bilderfassungssensor 17 umfasst einen aus einer Vielzahl von Bildpunkterfassungselementen gebildeten Bilderfassungsbereich. Jedes mit Hilfe des Bilderfassungssensors 17 erfasste Bild umfasst eine Vielzahl von, vorzugsweise matrixförmig angeordneten, Bildpunkten, die im Folgenden auch als Pixel bezeichnet werden. Jeder Bildpunkt ist einem Bildpunkterfassungselement zugeordnet. Bei dem Bilderfassungssensor 17 handelt es sich vorzugsweise um einen CMOS-Sensor oder einen CCD-Sensor.In 1 is a side view of a vehicle 12 in a traffic situation 10 while driving the vehicle 12 along a roadway 14 shown. The vehicle 12 has a camera system 16 with at least one image acquisition sensor 17 , The camera system 16 For example, it may be a stereo camera system or a monocamera system, as well as a color camera system or a black-and-white camera system for determining gray values. The image capture sensor 17 includes an image capture area formed of a plurality of pixel detection elements. Each with the help of the image acquisition sensor 17 Captured image comprises a plurality of, preferably arranged in matrix form, pixels, which are also referred to below as pixels. Each pixel is associated with a pixel detection element. In the image capture sensor 17 it is preferably a CMOS sensor or a CCD sensor.

Der Bilderfassungssensor 17 erfasst eine Bildfolge von Bildern mit Abbildungen eines Erfassungsbereichs vor dem Fahrzeug 12. Der horizontale Erfassungsbereich ist in 1 schematisch durch die Strichlinien 18, 20 dargestellt. Ferner werden den Bildern entsprechende Bilddaten erzeugt. Die erzeugten Bilddaten werden vom Kamerasystem 16 zu einer im Fahrzeug 12 angeordneten Verarbeitungseinheit 22 übertragen und von dieser weiterverarbeitet. Insbesondere werden die Bilddaten in der Verarbeitungseinheit 22 verarbeitet, um ein Fahrerassistenzsystem für den Fahrzeugführer des Fahrzeugs 12 bereitzustellen. Pro Sekunde werden vorzugsweise 10 bis 25 Bilder von dem Bilderfassungssensor 17 des Kamerasystems 16 fortlaufend aufgenommen und verarbeitet.The image capture sensor 17 captures an image sequence of images with images of a detection area in front of the vehicle 12 , The horizontal detection area is in 1 schematically by the dashed lines 18 . 20 shown. Furthermore, the images are generated corresponding image data. The generated image data are from the camera system 16 to one in the vehicle 12 arranged processing unit 22 transmitted and further processed by this. In particular, the image data is in the processing unit 22 processed to a driver assistance system for the driver of the vehicle 12 provide. Per second are vorzugswei See 10 to 25 pictures of the image capture sensor 17 of the camera system 16 continuously recorded and processed.

Die durch das Kamerasystem 16 erzeugten Bilddaten eines Objektes 28 werden von der Verarbeitungseinheit 22 verarbeitet, wobei die Abbildung des Objektes 28 als Objektabbildung bzw. Objekt detektiert und vorzugsweise der Objekttyp des Objektes 28 klassifiziert wird. Auf diese Weise können Verkehrsschilder, Leiteinrichtungen, Straßenleuchten, auf der Fahrspur vorausfahrende Fahrzeuge und auf der Gegenfahrbahn der Fahrbahn 14 entgegenkommende Fahrzeuge als Objekt detektiert und deren Objekttyp klassifiziert werden. Insbesondere wird die Position der in einem Bild detektierten Objekte 28 ermittelt und mit der Position derselben Objekte 28 in einem in der Bildfolge nachfolgenden Bild verglichen. Der Vergleich der Position von Objekten 28 in einem Bild und einem nach diesem Bild aufgenommenen zweiten Bild wird beispielsweise benutzt, um das Fahrverhalten zu beeinflussen und/oder dem Fahrer des Fahrzeugs 12 gezielt Informationen zum Umfeld geben zu können. Eine Verfolgung einer Position eines Objektes 28 in mehreren nacheinander aufgenommenen Bildern wird auch als Tracking bezeichnet.The through the camera system 16 generated image data of an object 28 be from the processing unit 22 processed, taking the picture of the object 28 detected as an object image or object and preferably the object type of the object 28 is classified. In this way, traffic signs, guidance devices, street lights, on the lane ahead vehicles and on the opposite lane of the road 14 oncoming vehicles are detected as an object and their object type classified. In particular, the position of the objects detected in an image becomes 28 determined and with the position of the same objects 28 compared in a subsequent image in the image sequence. The comparison of the position of objects 28 in an image and a second image taken after this image is used, for example, to influence the driving behavior and / or the driver of the vehicle 12 to give targeted information about the environment. A tracking of a position of an object 28 in several consecutively taken pictures is also called tracking.

Die mit Hilfe der Verarbeitungseinheit 22 weiterverarbeiteten Bilddaten können beispielsweise bei der Steuerung der mit Hilfe eines Frontscheinwerfers 26 des Fahrzeugs 12 bewirkten Lichtabstrahlung und Lichtverteilung durch ein den Frontscheinwerfer 26 ansteuerndes Lichtsteuermodul 24 genutzt werden. Die Frontscheinwerfer 26 sollen insbesondere derart angesteuert werden, dass die durch die Frontscheinwerfer 26 bewirkte Lichtabstrahlung den Verkehrsraum vor dem Fahrzeug 12 optimal ausleuchtet, d. h. dass der Verkehrsraum vor dem Fahrzeug 12 größtmöglich ausgeleuchtet wird, ohne dass andere Verkehrsteilnehmer, beispielsweise ein Fahrzeugführer eines vorausfahrenden Fahrzeugs und/oder Fahrzeugführer entgegenkommender Fahrzeuge, geblendet werden. Für die Ansteuerung der Frontscheinwerfer 26 werden in den mit Hilfe des Bilderfassungssensors 17 erfassten Bildern insbesondere Abbildungen von selbstleuchtenden Objekten detektiert und die detektierten selbst leuchtenden Objekte in bewegte und ortsfeste Objekte klassifiziert. Ferner wird die Position der Abbildung der selbstleuchtenden Objekte in den einzelnen Bildern der Bildfolge ermittelt. Die Steuerung der Frontscheinwerfer 26 erfolgt insbesondere in Abhängigkeit von dem ermittelten Objekttyp, der Position eines detektieren selbstleuchtenden Objektes in einem Bild und/oder dem Vergleich der Position eines solchen Objektes in mehreren nacheinander als Bildfolge aufgenommenen Bildern.The with the help of the processing unit 22 further processed image data, for example, in the control of using a headlight 26 of the vehicle 12 caused light emission and light distribution through a front headlight 26 controlling light control module 24 be used. The headlights 26 should be controlled in particular such that by the front headlights 26 caused light emission the traffic space in front of the vehicle 12 optimally illuminates, ie that the traffic space in front of the vehicle 12 is illuminated as possible, without other road users, such as a driver of a vehicle in front and / or drivers of oncoming vehicles are dazzled. For controlling the headlights 26 be in with the help of the image acquisition sensor 17 Captured images detected in particular images of self-luminous objects and classified the detected self-luminous objects into moving and stationary objects. Furthermore, the position of the image of the self-luminous objects in the individual images of the image sequence is determined. The control of the headlights 26 takes place in particular as a function of the determined object type, the position of a detected self-luminous object in an image and / or the comparison of the position of such an object in several consecutively taken as a sequence of images.

Die Detektion der selbstleuchtenden Objekte erfolgt insbesondere mit Hilfe des Grauwerts der Bildpunkte eines mit Hilfe des Bilderfassungssensors 17 erfassten Bildes. Ein heller Bildpunkt bzw. mehrere helle benachbarte Bildpunkte werden als selbstleuchtendes Objekt klassifiziert. Ist ein Bildpunkterfassungselement des Bilderfassungssensors 17 fehlerhaft, so hat der dem fehlerhaften Bildpunkterfassungselement zugeordnete Bildpunkt nicht den korrekten Grauwert, den er auf Grund des durch ihn zumindest teilweise abgebildeten Objektes haben müsste. Insbesondere kann der Grauwert eines Bildpunktes, der einem fehlerhaften Bildpunkterfassungselement zugeordnet ist, einen zu hohen Wert haben und der Bildpunkt somit zu hell sein. Bei der Detektion von selbstleuchtenden Objekten kann ein solcher sehr heller Bildpunkt fälschlicherweise als selbstleuchtendes Objekt klassifiziert werden, obwohl in der Position, die durch den zu hellen Bildpunkt abgebildet wird, kein selbstleuchtendes Objekt angeordnet ist. Insbesondere selbstleuchtende Objekte, die in großer Entfernung zum Fahrzeug 12 angeordnet sind, können bei ihrer Abbildung in den mit Hilfe des Bilderfassungssensors 17 erfassten Bildern nur durch einen oder sehr wenige Bildpunkte abgebildet werden, so dass auch nur ein einem fehlerhaften Bildpunkterfassungselement zugeordneter Bildpunkt zu einer falschen Detektion von selbstleuchtenden Objekten führen kann. Eine fehlerhafte Detektion von selbstleuchtenden Objekten in den mit Hilfe des Bilderfassungssensors 17 erfassten Bildern kann somit zu einer falschen Steuerung der Frontscheinwerfer 26 führen, so dass eine Gefährdung des Straßenverkehrs durch die Blendung anderer Verkehrsteilnehmer nicht ausgeschlossen werden kann. Der einem fehlerhaften Bildpunkterfassungselement zugeordnete Bildpunkt wird im Folgenden kurz als fehlerhafter Bildpunkt bezeichnet.The detection of the self-luminous objects takes place in particular with the aid of the gray value of the pixels of one with the aid of the image acquisition sensor 17 captured image. A bright pixel or several bright neighboring pixels are classified as self-luminous object. Is a pixel detection element of the image acquisition sensor 17 erroneous, the pixel assigned to the defective pixel detection element does not have the correct gray value which it would have due to the object at least partially imaged by it. In particular, the gray value of a pixel associated with a defective pixel detection element may be too high and the pixel may therefore be too bright. In the detection of self-luminous objects, such a very bright pixel may be erroneously classified as a self-luminous object, even though no self-luminous object is located in the position imaged by the too-bright pixel. In particular, self-luminous objects that are far away from the vehicle 12 can be arranged in their image in the using the image acquisition sensor 17 captured images are imaged only by one or very few pixels, so that even a pixel associated with a defective pixel detection element can lead to a false detection of self-luminous objects. An erroneous detection of self-luminous objects in the using the image acquisition sensor 17 Captured images can thus lead to incorrect control of the headlights 26 so that a hazard to road traffic due to dazzling other road users can not be ruled out. The pixel assigned to a defective pixel detection element will hereinafter be referred to as a defective pixel for short.

Fehlerhafte Bildpunkte können nicht nur bei der Lichtsteuerung der Frontscheinwerfer 26, sondern auch bei anderen Funktionen, die durch das Fahrerassistenzsystem und/oder die mit Hilfe des Bilderfassungssensors 17 gewonnenen Bilddaten unterstützt werden, zu Fehlern führen. Deswegen ist es wichtig, fehlerhafte Bildpunkterfassungselemente eines Bilderfassungssensors 17 zu detektieren. Hierbei ist es wichtig, dass die fehlerhaften Bildpunkterfassungselemente schnell und sicher detektiert werden. Umgekehrt ist es aber auch wichtig, dass keine nicht fehlerhaften Bildpunkterfassungselemente als fehlerhafte Bildpunkterfassungselemente klassifiziert werden, da hierdurch wichtige Informationen verloren gehen können. Wird beispielsweise ein selbstleuchtendes Objekt in dem mit Hilfe des Bilderfassungssensors 17 erfassten Bildern nur durch einen Bildpunkt abgebildet und das Bildpunkterfassungselement, dem dieser Bildpunkt zugeordnet ist, fälschlicherweise als fehlerhaft eingestuft und somit bei der weiteren Auswertung des Bildes nicht berücksichtigt, so wird auch das mit Hilfe des fälschlicherweise als fehlerhaft klassifizierten Bildpunktes abgebildete selbstleuchtende Objekt bei der Ansteuerung der Frontscheinwerfer 26 nicht berücksichtigt.Faulty pixels can not only in the light control of the headlights 26 but also in other functions provided by the driver assistance system and / or by means of the image acquisition sensor 17 supported image data lead to errors. Because of this, it is important to have defective pixel detectors of an image capture sensor 17 to detect. Here it is important that the faulty pixel detection elements are detected quickly and safely. Conversely, it is also important that no non-defective pixel detection elements are classified as defective pixel detection elements, as this important information can be lost. For example, if a self-luminous object in the using the image acquisition sensor 17 captured images only by a pixel and the pixel detection element to which this pixel is assigned, erroneously classified as defective and thus not taken into account in the further evaluation of the image, as well as with the help of the falsely classified as defective pixel is mapped self-luminous object when controlling the headlights 26 not considered.

Die Detektion von fehlerhaften Bildpunkterfassungselementen erfolgt mit den in Verbindung mit 2 und 3 noch detailliert erläuterten Verfahren zur Detektion von fehlerhaften Bildpunkterfassungselementen. Die Verfahren zur Detektion fehlerhafter Bildpunkterfassungselemente von Bilderfassungssensoren 17 können auch für Bilderfassungssensoren 17 verwendet werden, die nicht in einem Kamerasystem 16 eines Fahrzeugs 12 angeordnet sind, sondern auf andere Weise relativ zu ihrer Umgebung bewegt werden. Beispielsweise können die im Folgenden beschriebenen Verfahren auch bei der Ermittlung fehlerhafter Bildpunkterfassungselemente von in einer drehbar gelagerten Überwachungskamera angeordneten Bilderfassungssensoren 17 angewandt werden.The detection of defective pixel detection elements takes place in conjunction with 2 and 3 explained in detail method for detecting defective pixel detection elements. The methods for detecting defective pixel detectors of image capture sensors 17 can also be used for image acquisition sensors 17 are not used in a camera system 16 of a vehicle 12 but are otherwise moved relative to their environment. By way of example, the methods described below can also be used when detecting defective pixel detection elements of image acquisition sensors arranged in a rotatably mounted surveillance camera 17 be applied.

In 2 ist ein Ablaufdiagramm eines Verfahrens zur Detektion fehlerhafter Bildpunkterfassungselemente des Bilderfassungsbereichs des Bilderfassungssensors 17 gemäß einer ersten Ausführungsform der Erfindung gezeigt. Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben Bezugszeichen.In 2 Fig. 10 is a flowchart of a method of detecting defective pixel detection elements of the image detection region of the image detection sensor 17 shown according to a first embodiment of the invention. Elements with the same structure or the same function have the same reference numerals.

Das Verfahren wird mit Schritt S100 gestartet. In Schritt S102 wird das zu überprüfende Bildpunkterfassungselement, dessen Fehlerhaftigkeit überprüft werden soll, ausgewählt. Der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkt wird auch als zu überprüfender Pixel bezeichnet. Die Auswahl eines zu überprüfenden Bildpunkterfassungselements kann auf verschiedene Arten erfolgen. Beispielsweise können nacheinander alle Bildpunkterfassungselemente eines Bilderfassungssensors 17 überprüft werden. Alternativ hierzu können mehrere Bildpunkterfassungselemente des Bilderfassungssensors 17 parallel überprüft werden. Eine weitere Möglichkeit der Auswahl des zu überprüfenden Bildpunkterfassungselements ist es, ausschließlich diejenigen Bildpunkterfassungselemente zu überprüfen, durch deren zugeordnete Bildpunkte ein für die spätere Auswertung der aus dem Bild gewonnen Bilddaten besonders relevanter Bereich gebildet wird. Eine weitere Möglichkeit der Auswahl des zu überprüfenden Bildpunkterfassungselementes ist es, dass ein erstes Bild mit Hilfe des Bilderfassungssensors 17 erfasst wird, und das Bildpunkterfassungselement, dessen zugeordneter Bildpunkt vergli chen mit den benachbarten Bildpunkten einen besonders geringen oder besonders hohen Grauwert aufweist, ausgewählt wird.The process is started with step S100. In step S102, the pixel detection item to be checked whose defectiveness is to be checked is selected. The pixel assigned to the pixel detection element to be checked is also referred to as a pixel to be checked. The selection of a pixel detection element to be checked can be done in various ways. For example, all the pixel detection elements of an image acquisition sensor can successively be used 17 be checked. Alternatively, a plurality of pixel detection elements of the image detection sensor 17 be checked in parallel. Another possibility of selecting the pixel detection element to be checked is to check exclusively those pixel detection elements whose associated pixels form a region of particular relevance to the later evaluation of the image data obtained from the image. Another possibility of selecting the pixel detection element to be checked is that a first image with the aid of the image acquisition sensor 17 is detected, and the pixel detection element whose associated pixel vergli chen with the adjacent pixels has a particularly low or very high gray value is selected.

Im Schritt S103 wird die aktuelle Geschwindigkeit v des Fahrzeugs 12 ermittelt und mit einer voreingestellten Grenzgeschwindigkeit thv verglichen. Die aktuelle Geschwindigkeit des Fahrzeugs 12 kann insbesondere mit Hilfe des Fahrzeugs-Buses zur Verfügung gestellt werden. Der Wert der Grenzgeschwindigkeit ist insbesondere im Bereich zwischen 0 und 5 km/h, vorzugsweise 0 km/h. Ergibt der Vergleich der aktuellen Geschwindigkeit des Fahrzeugs 12 mit der Grenzgeschwindigkeit, dass die aktuelle Geschwindigkeit kleiner als die Grenzgeschwindigkeit ist, so wird in Schritt S104 für ein voreingestelltes Zeitintervall gewartet, d. h. das Verfahren setzt für dieses Zeitintervall aus. Nach Ablauf dieses Zeitintervalls wird in Schritt S103 erneut die aktuelle Geschwindigkeit mit der Grenzgeschwindigkeit verglichen.In step S103, the current speed v of the vehicle 12 determined and compared with a preset limit speed th v . The current speed of the vehicle 12 can be made available in particular with the help of the vehicle bus. The value of the limit speed is in particular in the range between 0 and 5 km / h, preferably 0 km / h. Returns the comparison of the current speed of the vehicle 12 with the limit speed that the current speed is less than the limit speed, the system waits for a preset time interval in step S104, ie, the process suspends for this time interval. After expiration of this time interval, the current speed is again compared with the limit speed in step S103.

Ergibt der Vergleich der aktuellen Geschwindigkeit des Fahrzeugs 12 mit der Grenzgeschwindigkeit in Schritt S103 dagegen, dass die aktuelle Geschwindigkeit gleich der Grenzgeschwindigkeit oder größer als die Grenzgeschwindigkeit ist, so wird in Schritt S106 ermittelt, in welchem Bildbereich der zu überprüfende Bildpunkt angeordnet ist. Hierzu wird zumindest ein erstes mit Hilfe des Bilderfassungssensors 17 erfasstes Bild in fünf Bereiche aufgeteilt. Die Aufteilung des Bildes in fünf Bereiche wird in Verbindung mit 4 detailliert beschrieben. Das Bild ist in einen Himmel, einen Fernbereich, die Straße und in zwei Seitenbereiche eingeteilt. Alternativ kann das Bild auch in mehr als fünf Bereiche oder weniger als fünf Bereiche eingeteilt werden. Insbesondere kann das Bild, wie in Verbindung mit 5 ausführlich dargelegt, in sieben Bereiche eingeteilt werden.Returns the comparison of the current speed of the vehicle 12 On the other hand, with the limit speed in step S103, that the current speed is equal to the limit speed or greater than the limit speed, it is determined in step S106 in which image area the pixel to be checked is located. For this purpose, at least a first with the aid of the image acquisition sensor 17 captured image divided into five areas. The division of the image into five areas is associated with 4 described in detail. The picture is divided into a sky, a distant area, the street and two side areas. Alternatively, the image may be divided into more than five areas or less than five areas. In particular, the picture as in conjunction with 5 detailed, divided into seven areas.

Ist der zu überprüfende Bildpunkt im Himmel angeordnet, wird in Schritt S108 die aktuelle Gierrate g des Fahrzeugs 12 ermittelt und mit einer voreingestellten Grenzgierrate thg verglichen. Die Gierrate bezeichnet die Geschwindigkeit der Drehung des Fahrzeugs 12 um die z-Achse eines Fahrzeugkoordinatensystems. Das Fahrzeugkoordinatensystem ist ein rechtwinkliges Koordinatensystem mit einem Koordinatenursprung vorzugsweise im Schwerpunkt des Fahrzeugs 12 oder in der Mitte der Vorderachse des Fahrzeugs 12 auf der Fahrbahn 14, so dass die x-Achse nach vorne gerichtet ist und vorzugsweise waagerecht ist und sich in der Fahrzeuglängsebene befindet. Die y-Achse steht senkrecht auf der Fahrzeuglängsmittelebene und zeigt nach links. Die z-Achse zeigt nach oben. Die Gierrate wird insbesondere mit Hilfe der Lenkbewegung des Fahrzeugs 12 ermittelt.If the pixel to be checked is located in the sky, the current yaw rate g of the vehicle is determined in step S108 12 determined and compared with a preset Grenzgierrate th g . The yaw rate is the speed of rotation of the vehicle 12 around the z-axis of a vehicle coordinate system. The vehicle coordinate system is a rectangular coordinate system having a coordinate origin preferably in the center of gravity of the vehicle 12 or in the middle of the front axle of the vehicle 12 on the roadway 14 in that the x-axis is directed forward and is preferably horizontal and located in the vehicle longitudinal plane. The y-axis is perpendicular to the vehicle longitudinal center plane and points to the left. The z-axis points upwards. The yaw rate is determined in particular by means of the steering movement of the vehicle 12 determined.

Ergibt der Vergleich die aktuelle Gierrate des Fahrzeugs 12 mit der Grenzgierrate in Schritt S108, dass die aktuelle Gierrate geringer ist als die Grenzgierrate, so wird der Ablauf des Verfahrens in Schritt S104 für ein voreingestelltes Zeitintervall unterbrochen. Die Position einer Abbildung eines im Himmel abgebildeten selbstleuchtenden Objektes ändert sich bei einer reinen Geradeausfahrt des Fahrzeugs 12 nur langsam. Eine Detektion eines fehlerhaften Bildpunktes auf Grund des Vergleiches mehrerer nacheinander in kurzer Zeit aufgenommener Bilder ist somit nicht möglich, da ein und dasselbe Objekt in diesen nacheinander aufgenommenen Bildern jeweils durch denselben Bildpunkt abgebildet wird. Ergibt der Vergleich der aktuellen Gierrate des Fahrzeugs 12 mit der Grenzgierrate in Schritt S108 dagegen, dass die aktuelle Gierrate größer oder gleich der Grenzgierrate ist, so wird im Schritt S112 eine voreingestellte kurze Beobachtungszeit tk als Beobachtungszeit tB festgelegt.If the comparison shows the current yaw rate of the vehicle 12 with the boundary yaw rate in step S108 that the current yaw rate is less than the boundary yaw rate, the flow of the process is interrupted in step S104 for a preset time interval. The position of an image of a self-luminous object shown in the sky changes when driving straight ahead of the vehicle 12 only slowly. A detection of a faulty image Due to the comparison of a plurality of successively recorded images in a short time is thus not possible, since one and the same object is imaged in these successively recorded images in each case by the same pixel. Returns the comparison of the current yaw rate of the vehicle 12 with the limit yaw rate at step S108, however, that the actual yaw rate is greater or equal to the yaw rate limit, so a preset short observation time t k as an observation time t B is determined in step S112.

Ist der zu überprüfende Bildpunkt dagegen im Fernbereich angeordnet, so erfolgt im Schritt S110 der Vergleich der aktuellen Gierrate des Fahrzeugs 12 mit der voreingestellten Grenzgierrate. Ergibt der Vergleich, dass die aktuelle Gierrate größer oder gleich der Grenzgierrate ist, so wird im Schritt S116 als Beobachtungszeit tB ebenfalls die kurze Beobachtungszeit tK festgesetzt. Ergibt der Vergleich der aktuellen Gierrate mit der Grenzgierrate im Schritt S110 dagegen, dass die aktuelle Gierrate geringer ist als die Grenzgierrate, so wird als Beobachtungszeit tB eine voreingestellte lange Beobachtungszeit tL gewählt. Bei einer niedrigen Gierrate und somit keiner oder nur einer geringen Kurvenfahrt des Fahrzeugs 12 muss der zu überprüfende Bildpunkt für eine lange Beobachtungszeit beobachtet werden, da ein im Fernbereich des Bildes abgebildetes Objekt ohne Kurvenfahrt über lange Zeit durch denselben Bildpunkt abgebildet wird. Ist die Gierrate des Fahrzeugs 12 dagegen vergleichsweise groß, d. h. dass das Fahrzeug 12 eine Kurve fährt, so ist nur eine kurze Beobachtungszeit notwendig, da die Abbildung ein und desselben Objektes nur für kurze Zeit durch denselben Bildpunkt erfolgt.On the other hand, if the pixel to be checked is arranged in the far field, the comparison of the current yaw rate of the vehicle takes place in step S110 12 with the preset limit yaw rate. If the comparison reveals that the current yaw rate is greater than or equal to the boundary yaw rate, the short observation time t K is also set as the observation time t B in step S 116. On the other hand, if the comparison of the current yaw rate with the boundary yaw rate in step S110 indicates that the current yaw rate is less than the boundary yaw rate, a preset long observation time t L is selected as the observation time t B. At a low yaw rate and thus no or only a slight cornering of the vehicle 12 It is necessary to observe the pixel to be checked for a long observation time, since an object imaged in the far range of the image without curve travel is imaged for a long time by the same pixel. Is the yaw rate of the vehicle 12 By contrast, comparatively large, ie that the vehicle 12 a curve travels, so only a short observation time is necessary, because the image of the same object takes place only for a short time by the same pixel.

Wird im Schritt S106 ermittelt, dass der zu beobachtende Bildpunkt in einem der Seitenbereiche angeordnet ist, wird als Beobachtungszeit tB die lange Beobachtungszeit tL festgelegt. Wird dagegen im Schritt S106 ermittelt, dass der zu überprüfende Bildpunkt im Bereich der Straße angeordnet ist, so wird als Beobachtungszeit tB die kurze Beobachtungszeit tK festgelegt.If it is determined in step S106 that the pixel to be observed is arranged in one of the side regions, the long observation time t L is set as the observation time t B. If, on the other hand, it is determined in step S106 that the pixel to be checked is arranged in the region of the road, the short observation time t K is determined as the observation time t B.

Nachdem in den Schritten S112 bis S120 die Beobachtungszeit tB festgelegt wurde, erfolgt im Schritt S122 die Beobachtung des zu überprüfenden Bildpunktes und mindestens eines an den zu überprüfenden Bildpunkt angrenzenden Bildpunktes für die festgelegte Beobachtungszeit tB. Vorzugsweise werden alle an den zu überprüfenden Bildpunkt angrenzende Bildpunkte beobachtet. Die an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte werden auch als Nachbarbildpunkte oder Nachbarpixel bezeichnet. Während der Beobachtungszeit werden in allen durch den Bilderfassungssensor 17 erfassten Bildern jeweils der Grauwert des zu überprüfenden Bildpunktes und die Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ermittelt. Alternativ oder zusätzlich kann anstelle des Grauwertes auch ein anderer charakteristischer Wert der Bildpunkte ermittelt werden. Des Weiteren wird in Schritt S122 der Verlauf des Grauwerts des zu überprüfenden Bildpunktes und der Verlauf der Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte während der Beobachtungszeit ermittelt.After the observation time t B has been determined in steps S112 to S120, in step S122 the observation of the pixel to be checked and at least one pixel adjacent to the pixel to be examined is carried out for the defined observation time t B. Preferably, all pixels adjacent to the pixel to be examined are observed. The pixels adjoining the pixel to be checked are also referred to as neighboring pixels or neighboring pixels. During the observation time in all through the image acquisition sensor 17 In each case, the gray value of the pixel to be checked and the gray values of the pixels adjacent to the pixel to be examined are determined. Alternatively or additionally, another characteristic value of the pixels can also be determined instead of the gray value. Furthermore, in step S122, the profile of the gray value of the pixel to be checked and the gradient of the gray values of the pixels adjoining the pixel to be checked are determined during the observation time.

Anschließend wird in Schritt S124 der Verlauf des Grauwertes des zu überprüfenden Bildpunktes und der Verlauf der Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte miteinander verglichen und somit das statistische Verhalten des zu überprüfenden Bildpunkts mit dem statistischen Verhalten der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte verglichen. Zusätzlich oder alternativ kann auch der Grauwert des zu überprüfenden Bildpunkts bildweise mit dem Grauwert des an den zu überprüfenden Bildpunkt angrenzenden Bildpunkts bzw. den Grauwerten der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte verglichen werden.Subsequently At step S124, the history of the gray value of the one to be checked is determined Pixel and the course of the gray values of the to be checked Pixel adjacent pixels compared with each other and thus the statistical behavior of the subject to be checked Pixel with the statistical behavior of the pixel to be checked compared to adjacent pixels. Additionally or alternatively can also be the gray value of the pixel to be checked imagewise with the gray value of the to be checked Pixel adjoining pixel or the gray values of the to be checked pixel adjacent pixels be compared.

Bei einer weiteren alternativen Ausführungsform der Erfindung wird im Schritt S122 bildweise der Mittelwert der Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ermittelt und anschließend der Verlauf des Mittelwerts der Grauwerte der angrenzenden Bildpunkte ermittelt. Als Mittelwert kann insbesondere das arithmetische Mittel oder der Median verwendet werden.at a further alternative embodiment of the invention At step S122, the mean value of the gray values of the adjacent to the pixel to be checked Pixels and then the course of the mean the gray values of the adjacent pixels. As an average In particular, the arithmetic mean or the median can be used become.

Ergibt der Vergleich des Verlaufs des Grauwerts des zu überprüfenden Bildpunktes in Schritt S124 mit dem Verlauf der Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte, dass diese Verläufe ähnlich sind, so wird in Schritt S126 das Bildpunkterfassungselement, dem der zu überprü fende Bildpunkt zugeordnet ist, als nicht fehlerhaft klassifiziert. Sind die Verläufe dagegen nicht ähnlich, so wird in Schritt S128 das Bildpunkterfassungselement, dem der zu überprüfende Bildpunkt zugeordnet ist, als fehlerhaftes Bildpunkterfassungselement klassifiziert.results the comparison of the gradient of the gray value of the to be checked Pixel in step S124 with the gradient of the gray values of the pixel to be checked adjacent pixels that If these curves are similar, then in step S126 the pixel detection element to which the ver fende Pixel is classified as not faulty classified. are the courses are not similar, so in Step S128, the pixel detection element to which the Pixel is assigned as a defective pixel detection element classified.

Der Verlauf des Grauwerts des zu überprüfenden Bildpunkts und der Verlauf der Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte werden insbesondere dann als nicht ähnlich eingestuft, wenn der Grauwert des zu überprüfenden Bildpunktes kontinuierlich kleiner oder größer als der Grauwert der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ist und somit der zu überprüfende Bildpunkt kontinuierlich heller bzw. dunkler als die an den zu überprüfenden Bildpunkt angrenzende Bildpunkte ist. Ein zu überprüfender Bildpunkt wird insbesondere dann als fehlerhaft klassifiziert, wenn die Differenz zwischen dem Grauwert des zu überprüfenden Bildpunktes und den Grauwerten der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte dauerhaft eine voreingestellte Maximaldifferenz überschreitet.The course of the gray value of the pixel to be checked and the gradient of the gray values of the pixels adjoining the pixel to be checked are classified as not being similar, in particular if the gray value of the pixel to be checked is continuously smaller or larger than the gray value of the pixel adjacent to the pixel to be checked Pixels is and thus the pixel to be checked continuously brighter or darker than the adjacent to the pixel to be checked pixels. A pixel to be checked is classified as defective in particular if the difference between the gray value of the pixel to be checked and the gray values of the pixels adjoining the pixel to be checked permanently exceeds a preset maximum difference.

Wurde das zu überprüfende Bildpunkterfassungselement als fehlerhaft oder als nicht fehlerhaft klassifiziert, so endet das Verfahren in Schritt S130. Wurden noch nicht alle zu überprüfenden Bildpunkterfassungselemente überprüft, so kann das beschriebene Verfahren erneut mit Schritt S100 gestartet werden. Vorzugsweise wird das beschriebene Verfahren parallel für mehrere zu überprüfende Bildpunkterfassungselemente durchlaufen.Has been the pixel detection element to be checked classified as defective or as non-defective ends so the process in step S130. Not all were yet to be checked Checking pixel detectors can do so the described method is restarted at step S100. Preferably, the method described is parallel for several pixel detection elements to be checked run through.

Bei einer alternativen Ausführungsform der Erfindung können mehr als zwei verschiedene Beobachtungszeiten voreingestellt sein und in Abhängigkeit von dem Bereich, in dem der zu überprüfende Bildpunkt angeordnet ist, dem Vergleich der aktuellen Geschwindigkeit des Fahrzeugs 12 mit der Grenzge schwindigkeit und/oder dem Vergleich der aktuellen Gierrate des Fahrzeugs 12 mit der Grenzgierrate als Beobachtungszeit festgelegt werden. Insbesondere kann die Beobachtungszeit dynamisch in Abhängigkeit von der aktuellen Geschwindigkeit des Fahrzeugs 12 und/oder der aktuellen Gierrate des Fahrzeugs 12 ermittelt werden.In an alternative embodiment of the invention, more than two different observation times may be preset and, depending on the area in which the pixel to be examined is arranged, the comparison of the current speed of the vehicle 12 with the Grenzge speed and / or the comparison of the current yaw rate of the vehicle 12 be set as the observation time with the boundary yaw rate. In particular, the observation time may be dynamic depending on the current speed of the vehicle 12 and / or the current yaw rate of the vehicle 12 be determined.

Bei einer weiteren alternativen Ausführungsform der Erfindung kann nach dem Vergleich des Verlaufes des Grauwertes des zu überprüfenden Bildpunkts mit dem Verlauf des Grauwertes der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte die Beobachtungszeit verlängert werden, sofern der Vergleich ergibt, dass nur eine geringe Abweichung zwischen den beiden Verläufen besteht. Hierdurch kann die Qualität der Detektion von fehlerhaften Bildpunkterfassungselementen erhöht werden.at a further alternative embodiment of the invention can after comparing the course of the gray value of the to be checked Pixel with the gradient of the gray value of the to be checked Pixel adjacent pixels extends the observation time if the comparison shows that only a small deviation exists between the two courses. This allows the Quality of detection of defective pixel detectors increase.

Bei einer weiteren alternativen Ausführungsform der Erfindung wird in Schritt S122 der durchschnittliche Grauwert des zu überprüfenden Bildpunktes in allen während der Beobachtungszeit mit Hilfe des Bilderfassungssensors 17 aufgenommenen Bildern ermittelt. Ferner wird der durchschnittliche Grauwert der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkten in allen während der Beobachtungszeit aufgenommenen Bildern ermittelt. Anschließend erfolgt in Schritt S126 der Vergleich des durchschnittlichen Grauwerts des zu überprüfenden Bildpunktes mit dem durchschnittlichen Grauwert der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte. Der durchschnittliche Grauwert kann insbesondere als arithmetisches Mittel ermittelt werden.In a further alternative embodiment of the invention, in step S122, the average gray value of the pixel to be examined in all during the observation time by means of the image detection sensor 17 recorded images. Furthermore, the average gray value of the pixels adjoining the pixel to be checked is determined in all the images taken during the observation time. Subsequently, in step S126, the comparison of the average gray value of the pixel to be checked with the average gray value of the pixels adjoining the pixel to be checked is carried out. The average gray value can be determined in particular as an arithmetic mean.

In 3 ist ein Ablaufdiagramm eines Verfahrens zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereiches eines Bilderfassungssensors 17 gemäß einer zweiten Ausführungsform der Erfindung gezeigt. In den Schritten S200 bis S210 wird entsprechend der jeweiligen Schritte S100 bis S110 gemäß dem Verfahren nach 2 das zu überprüfende Bildpunkterfassungselement ausgewählt, die aktuelle Geschwindigkeit des Fahrzeugs 12 ermittelt und diese mit der voreingestellten Grenzgeschwindigkeit verglichen. Ferner wird ermittelt, in welchem Bildbereich der zu überprüfende Bildpunkt angeordnet ist und in Abhängigkeit dieses Bildbereiches ggf. die aktuelle Gierrate des Fahrzeugs 12 ermittelt und mit der Grenzgierrate verglichen.In 3 FIG. 10 is a flowchart of a method of detecting at least one defective pixel detection element of an image detection region of an image detection sensor 17 according to a second embodiment of the invention. In steps S200 to S210, according to the respective steps S100 to S110, according to the method 2 the pixel detection item to be checked selected, the current speed of the vehicle 12 determined and compared with the preset limit speed. Furthermore, it is determined in which image area the pixel to be checked is arranged and, depending on this image area, if necessary, the current yaw rate of the vehicle 12 determined and compared with the Grenzgierrate.

Im Gegensatz zu dem in 2 beschriebenen Verfahren wird bei dem in 3 beschriebenen Verfahren in den Schritten S212 bis S220 nicht die Beobachtungszeit festgelegt, sondern die Anzahl der Bilder festgelegt, in denen der Grauwert des zu überprüfenden Bildpunktes und die Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ermittelt werden. Anschließend werden in den Schritten S222 bis S230 analog zu den Schritten S122 bis S130 des Verfahrens nach 2 auch in dem Verfahren, das in Verbindung mit 3 beschrieben wird, die Grauwerte des zu überprüfenden Bildpunktes und der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte in der in den Schritten S212 bis S220 festgelegten Anzahl von Bildern ermittelt und anschließend das statistische Verhalten verglichen. Auf Grund dieses Vergleiches wird das zu überprüfende Bildpunkterfassungselement, dem der zu überprüfende Bildpunkt zugeordnet ist, als fehlerhaft oder nicht fehlerhaft klassifiziert, bevor in Schritt S230 das Verfahren beendet wird.Unlike the in 2 described method is in the in 3 described in steps S212 to S220 not set the observation time, but set the number of images in which the gray value of the pixel to be checked and the gray values of adjacent to the pixel to be examined pixels are determined. Subsequently, in steps S222 to S230, analogous to the steps S122 to S130 of the method 2 also in the process that is associated with 3 is described, the gray values of the pixel to be checked and the pixels adjacent to the pixel to be examined in the determined in steps S212 to S220 number of images determined and then compared the statistical behavior. Due to this comparison, the pixel detection item to be checked to which the pixel to be checked is assigned is classified as erroneous or not defective before the process is terminated in step S230.

Bei einer alternativen Ausführungsform der Erfindung kann die Anzahl der Bilder, in denen die Grauwerte des zu überprüfenden Bildpunktes und der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ermittelt werden, voreingestellt sein. In den Schritten S212 bis S220 wird dann der Abstand zwischen den Bildern, in denen die Grauwerte ermittelt werden, festgelegt. Der Abstand wird vorzugsweise derart festgelegt, dass nur jedes x-te mit Hilfe des Bilderfassungssensors 17 erfasste Bild für die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselementes ausgewertet wird.In an alternative embodiment of the invention, the number of images in which the gray values of the pixel to be checked and the pixels adjoining the pixel to be examined are determined can be preset. In steps S212 to S220, the distance between the images in which the gray values are determined is then determined. The distance is preferably set such that only every x-th by means of the image acquisition sensor 17 captured image is evaluated for the assessment of the defectiveness of the pixel detection element to be checked.

In 4 ist die Aufteilung eines mit Hilfe des Bilderfassungssensors 17 aufgenommenen Bildes 300 in fünf Bereiche 302 bis 310 gezeigt. Das Bild 300 ist in zwei Seitenbereiche 302, 304, den Himmel 306, den Fernbereich 308 und die Straße 310 aufgeteilt.In 4 is the division of one with the help of the image acquisition sensor 17 taken picture 300 in five areas 302 to 310 shown. The picture 300 is in two side areas 302 . 304 , the sky 306 , the long-distance area 308 and the street 310 divided up.

In 5 ist die Aufteilung eines mit Hilfe des Bilderfassungssensors 17 erfassten Bildes 400 in sieben Bereiche 402 bis 414 gezeigt. Das Bild ist in zwei obere Seitenbereiche 402, 404, zwei untere Seitenbereiche 412, 414, den Himmel 406, den Fernbereich 408 und die Straße 410 aufgeteilt.In 5 is the division of one with the help of the image acquisition sensor 17 captured image 400 in seven areas 402 to 414 shown. The picture is in two upper side areas 402 . 404 , two lower sei tenbereiche 412 . 414 , the sky 406 , the long-distance area 408 and the street 410 divided up.

In Abhängigkeit davon, in welchem dieser Bereiche 402 bis 414 der zu überprüfende Bildpunkt angeordnet ist, und in Abhängigkeit von der aktuellen Geschwindigkeit des Fahrzeugs 12 und der aktuellen Gierrate des Fahrzeugs 12 wird die Beobachtungszeit bzw. die Anzahl bzw. der Abstand der Bilder, in denen der Grauwert des zu überprüfenden Bildpunktes und die Grauwerte der an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte ermittelt werden, festgelegt bzw. das Verfahren kurzzeitig ausgesetzt. Beispielsweise wird ein Bildpunkt, der sich im Bereich des Himmels 406 befindet und sich heller als die an ihn angrenzenden Bildpunkte verhält bei einer Fahrzeuggeschwindigkeit von 0 km/h in keinem Fall als fehlerhaft eingestuft, da es sich z. B. um ein entferntes selbstleuchtendes Objekt handeln kann. Für den Bereich des Himmels 406 wird die Detektion von fehlerhaften Bildpunkterfassungselementen solange ausgesetzt, bis sich das Fahrzeug 12 wieder bewegt und die Geschwindigkeit des Fahrzeugs 12 größer oder gleich der Grenzgeschwindigkeit ist.Depending on which of these areas 402 to 414 the pixel to be checked is arranged, and depending on the current speed of the vehicle 12 and the current yaw rate of the vehicle 12 the observation time or the number or the distance of the images in which the gray value of the pixel to be checked and the gray values of the pixels adjoining the pixel to be examined are determined or the method is briefly suspended. For example, a pixel that is in the area of the sky 406 is located at a vehicle speed of 0 km / h and is brighter than the pixels adjacent to it behaves in any case as faulty because it is z. B. can be a distant self-luminous object. For the area of the sky 406 the detection of erroneous pixel detectors is suspended until the vehicle 12 moved again and the speed of the vehicle 12 is greater than or equal to the limit speed.

Bei einer Kurvenfahrt des Fahrzeugs 12, und somit einer Gierrate des Fahrzeugs 12, die größer ist als die Grenzgierrate, kann jedoch der gleiche Bildpunkt nach einer sehr kurzen Beobachtungszeit bzw. nach einer Auswertung nur einer geringen Anzahl an Bildern als einem fehlerhaften Bildpunkterfassungselement zugeordnet eingestuft werden, wenn der Bildpunkt weiterhin statistisch gesehen heller ist als die an den zu überprüfenden Bildpunkt angrenzenden Bildpunkte. Ein selbstleuchtendes Objekt, beispielsweise eine Lichtquelle, an der Position des zu überprüfenden Bildpunkts müsste sich relativ zum Fahrzeug 12 bei einer Kurvenfahrt eigentlich bewegen. Entsprechend kann bereits bei einer sehr kurzen Beobachtungszeit bzw. der Auswertung einer geringen Anzahl von Bildern mit hoher Zuverlässigkeit ein zu überprüfendes Bildpunkterfassungselement als fehlerhaft eingestuft werden.When cornering the vehicle 12 , and thus a yaw rate of the vehicle 12 However, the same pixel after a very short observation time or after evaluation of only a small number of images can be classified as a defective pixel detection element, if the pixel is still statistically brighter than those at the zu checking pixel adjacent pixels. A self-luminous object, for example a light source, at the position of the pixel to be checked would have to be relative to the vehicle 12 actually move when cornering. Accordingly, even with a very short observation time or the evaluation of a small number of images with high reliability, a pixel detection element to be checked can be classified as defective.

Durch die Berücksichtigung der Geschwindigkeit und der Gierrate des Fahrzeugs 12 und dem Bereich 302 bis 310, 402 bis 414, in dem der zu überprüfende Bildpunkt angeordnet ist, lassen sich bei geringer Speicherkapazität eine hohe Zuverlässigkeit der Detektion fehlerhafter Bildpunkterfassungselemente und eine hohe Verarbeitungsgeschwindigkeit erreichen. Die Beobachtungszeit bzw. die Anzahl der für die Detektion fehlerhafter Bildpunkterfassungselemente auszuwertender Bilder wird dynamisch an die aktuelle Situation angepasst und kann damit so kurz wie möglich, aber so lang wie nötig, eingestellt werden. Dadurch kann die Gesamtdauer, die zur Überprüfung der Fehlerhaftigkeit aller Bildpunkterfassungselemente eines Bilderfassungssensors 17 benötigt wird, minimiert werden. Eine Berücksichtigung der Geschwindigkeit, der Gierrate und des Bereiches, in dem der zu überprüfende Bildpunkt angeordnet ist, wird auch als Szenenanalyse bezeichnet. Bildpunkte, die als feh lerhaft klassifizierten Bildpunkterfassungselementen zugeordnet sind, werden bei der Verarbeitung der den Bildern entsprechenden Bilddaten von dem Fahrerassistenzsystem nicht weiter berücksichtigt.By considering the speed and the yaw rate of the vehicle 12 and the area 302 to 310 . 402 to 414 in which the pixel to be checked is arranged, high reliability of detection of defective pixel detectors and high processing speed can be achieved with a small memory capacity. The observation time or the number of images to be evaluated for the detection of defective pixel detection elements is dynamically adapted to the current situation and can thus be set as short as possible, but as long as necessary. This allows the total duration necessary to verify the defectiveness of all pixel detection elements of an image acquisition sensor 17 is needed to be minimized. Consideration of the speed, the yaw rate and the area in which the pixel to be checked is arranged is also referred to as scene analysis. Pixels, which are associated with incorrectly classified pixel detection elements, are not considered further by the driver assistance system during the processing of the image data corresponding to the images.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - US 7009644 B1 [0006] - US 7009644 B1 [0006]
  • - CA 2150736 C [0006] CA 2150736 C [0006]
  • - EP 1343311 A2 [0006] - EP 1343311 A2 [0006]
  • - EP 687106 A1 [0006] - EP 687106 A1 [0006]

Claims (15)

Verfahren zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors, bei dem mit Hilfe des Bilderfassungssensors (17) Bilder (300, 400) mit Abbildungen eines Erfassungsbereichs sequentiell aufgenommen werden, mindestens ein zu überprüfendes Bildpunkterfassungselement ausgewählt wird, jeweils ein charakteristischer Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in mehreren nacheinander aufgenommen Bildern (300, 400) ermittelt wird, der charakteristische Wert mindestens eines an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunktes in jedem der Bilder (300, 400) ermittelt wird, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von den für den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt und für mindestens ein an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkt ermittelten charakteristischen Werten erfolgt, der Bilderfassungssensor (17) zumindest zeitweise relativ zur Umgebung bewegt wird, und bei dem zumindest Daten mit Informationen über mindestens eine Eigenschaft der Bewegung ermittelt werden, wobei die Anzahl der Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten festgelegt wird, oder wobei die Anzahl der Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, voreingestellt ist, und der Abstand zwischen den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten festgelegt wird.Method for detecting at least one defective pixel detection element of an image detection region of an image detection sensor, in which by means of the image acquisition sensor ( 17 ) Images ( 300 . 400 ) is recorded sequentially with images of a detection area, at least one pixel detection element to be checked is selected, in each case a characteristic value of the pixel to be examined associated pixel in several sequentially recorded images ( 300 . 400 ), the characteristic value of at least one pixel adjacent to the pixel associated with the pixel detection item to be checked is determined in each of the images ( 300 . 400 ), in which the characteristic value of the pixel to be examined is determined, the assessment of the defectiveness of the pixel detection element to be checked at least as a function of the image point associated with the pixel to be examined and for at least one pixel of the pixel to be examined assigned pixel adjoining pixel determined characteristic values, the image acquisition sensor ( 17 ) is at least temporarily moved relative to the environment, and in which at least data with information about at least one property of the movement are determined, wherein the number of images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be examined is determined, is determined at least as a function of this data, or wherein the number of images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, is preset, and the distance between the images ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, is determined at least as a function of this data. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der charakteristische Wert jedes an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunkts in den Bildern (300, 400) ermittelt wird, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird.A method according to claim 1, characterized in that the characteristic value of each pixel adjacent to the pixel associated with the pixel detection element to be checked is in the images ( 300 . 400 ) is determined, in which the characteristic value of the image point associated with the pixel to be checked is determined. Verfahren nach einem der vorhergehen Ansprüche, dadurch gekennzeichnet, dass der Verlauf des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und der Verlauf des charakteristischen Wertes mindestens eines an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunktes über die Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelt wird, und dass die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von dem Verlauf des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und dem Verlauf des charakteristischen Wertes des mindestens einen an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunktes erfolgt.Method according to one of the preceding claims, characterized in that the course of the characteristic value of the pixel to be checked to the pixel to be checked and the course of the characteristic value of at least one adjacent to the pixel to be tested pixel adjacent pixel via the images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, and in that the assessment of the defectiveness of the pixel detection element to be checked depends at least on the course of the characteristic value of the pixel associated with the pixel to be examined and the shape of the image characteristic value of the at least one of the pixel, which is assigned to the pixel to be checked pixel detection element, adjoining pixel takes place. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass bildweise ein Mittelwert der charakteristischen Werte der an den dem zu überprüfenden Bildpunkterfassungselement zugeordnet Bildpunkt angrenzenden Bildpunkte ermittelt wird.Method according to one of claims 2 or 3, characterized in that imagewise an average of the characteristic Values of the pixels to be checked on the pixel detection element assigned pixel adjacent pixels is determined. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Verlauf des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und der Verlauf des Mittelwerts der charakteristischen Werte der angrenzenden Bildpunkte über die Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelt wird, und dass die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von dem Verlauf des charakteristischen Wertes des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und dem Verlauf des Mittelwerts der charakteristischen Werte erfolgt.Method according to Claim 4, characterized in that the profile of the characteristic value of the pixel associated with the pixel to be checked and the profile of the mean value of the characteristic values of the adjacent pixels over the images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, and in that the assessment of the defectiveness of the pixel detection element to be checked depends at least on the course of the characteristic value of the pixel associated with the pixel to be examined and the shape of the image Mean value of the characteristic values takes place. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass ein Mittelwert der in den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelten charakteristischen Werte des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes und ein Mittelwert der in allen Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, ermittelten charakteristischen Werte des bzw. der an den dem zu überprüfenden Bilderfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkten ermittelt wird, und dass die Beurteilung der Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von diesen Mittelwerten erfolgt.Method according to one of claims 1 or 2, characterized in that an average value of the in the images ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, determined characteristic values of the pixel associated with the pixel to be checked and an average of the values in all images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, the characteristic values of the pixel adjacent to the pixel to be examined are determined, and the assessment of the defectiveness of the pixel detection element to be checked is at least dependent from these mean values. Verfahren mach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als charakteristischer Wert der Grauwert des jeweiligen Bildpunktes ermittelt wird.Method according to one of the preceding claims, characterized in that as a characteristic value of the gray value of the respective pixel is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest Daten mit Informationen über eine erste Eigenschaft der Bewegung und mindestens eine zweite Eigenschaft der Bewegung ermittelt werden, und dass die Anzahl der Bil der (300, 400) bzw. der Abstand zwischen den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten festgelegt wird.Method according to one of the preceding claims, characterized in that at least data with information about a first property of the movement and at least one second property of the movement are determined, and that the number of images of the ( 300 . 400 ) or the distance between the images ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, is determined at least as a function of this data. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Teil der mit Hilfe des Bilderfassungssensors (17) erfassten Bilddaten von einem Fahrassistenzsystem eines Fahrzeugs (12), insbesondere eines Straßenfahrzeugs, weiterverarbeitet werden.Method according to one of the preceding claims, characterized in that at least a part of the by means of the image acquisition sensor ( 17 ) captured image data from a driving assistance system of a vehicle ( 12 ), in particular a road vehicle. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als erste Eigenschaft der Bewegung die Geschwindigkeit, mit der der Bilderfassungssensor (17) relativ zur Umgebung bewegt wird, verwendet wird.Method according to one of the preceding claims, characterized in that as the first property of the movement, the speed with which the image acquisition sensor ( 17 ) is moved relative to the environment is used. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Geschwindigkeit und die Gierrate des Fahrzeugs (12) ermittelt werden und dass die Anzahl der Bilder (300, 400) bzw. der Abstand zwischen den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkts ermittelt wird, zumindest in Abhängigkeit der Geschwindigkeit und der Gierrate des Fahrzeugs (12) festgelegt wird.Method according to claim 9, characterized in that the speed and the yaw rate of the vehicle ( 12 ) and that the number of images ( 300 . 400 ) or the distance between the images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, at least as a function of the speed and the yaw rate of the vehicle ( 12 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest das erste Bild (300, 400), in dem der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkts ermittelt wird, in mindestens zwei Bereiche (302 bis 310, 402 bis 414) aufgeteilt wird, dass ermittelt wird, in welchem Bereich (302 bis 310, 402 bis 414) der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkt angeordnet ist, und dass die Anzahl der Bilder (300, 400) bzw. der Abstand zwischen den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit davon, in welchem Bereich (302 bis 310, 402 bis 414) der dem zu überprüfenden Bildpunkterfassungselement zugeordnete Bildpunkte angeordnet ist, festgelegt wird.Method according to one of the preceding claims, characterized in that at least the first image ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, in at least two regions ( 302 to 310 . 402 to 414 ), which determines in which area ( 302 to 310 . 402 to 414 ) of the image point to be checked pixel is arranged, and that the number of images ( 300 . 400 ) or the distance between the images ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, at least as a function of which region ( 302 to 310 . 402 to 414 ) is arranged which is assigned to the pixel to be checked pixel associated pixels is determined. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zumindest das erste Bild (300, 400) in sieben Bereiche (302 bis 310, 402 bis 414) aufgeteilt wird.Method according to claim 12, characterized in that at least the first image ( 300 . 400 ) in seven areas ( 302 to 310 . 402 to 414 ) is divided. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bilderfassungssensor (17) ein CMOS-Sensor oder ein CCD-Sensor verwendet wird.Method according to one of the preceding claims, characterized in that as an image detection sensor ( 17 ) a CMOS sensor or a CCD sensor is used. Vorrichtung zur Detektion mindestens eines fehlerhaften Bildpunkterfassungselements eines Bilderfassungsbereichs eines Bilderfassungssensors, wobei der Bilderfassungssensors (17) Bilder (300, 400) mit Abbildungen eines Erfassungsbereichs sequentiell aufnimmt, mit einer Verarbeitungseinheit (22) zum Verarbeiten der mit Hilfe des Bilderfassungssensors (17) erfassten Bilddaten, wobei die Verarbeitungseinheit (22) mindestens ein zu überprüfendes Bildpunkterfassungselement auswählt, wobei die Verarbeitungseinheit (22) jeweils einen charakteristischen Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes in mehreren nacheinander aufgenommen Bildern (300, 400) ermittelt, wobei die Verarbeitungseinheit (22) den charakteristischen Wert mindestens eines an den Bildpunkt, der dem zu überprüfenden Bildpunkterfassungselement zugeordnet ist, angrenzenden Bildpunktes in jedem der Bilder (300, 400) ermittelt, in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, wobei die Verarbeitungseinheit (22) die Fehlerhaftigkeit des zu überprüfenden Bildpunkterfassungselements zumindest in Abhängigkeit von den für den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt und für mindestens ein an den dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunkt angrenzenden Bildpunkt ermittelten charakteristischen Werten ermittelt, mit einer Bewegungseinheit (12) zur zumindest zeitweisen Bewegung des Bilderfassungssensors (17) relativ zur Umgebung, wobei die Verarbeitungseinheit (22) zumindest Daten mit Informationen über mindestens eine Eigenschaft der Bewegung ermittelt, wobei die Verarbeitungseinheit (22) die Anzahl der Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten ermittelt, oder wobei die Anzahl der Bilder (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, voreingestellt ist, und die Verarbeitungseinheit (22) den Abstand zwischen den Bildern (300, 400), in denen der charakteristische Wert des dem zu überprüfenden Bildpunkterfassungselement zugeordneten Bildpunktes ermittelt wird, zumindest in Abhängigkeit dieser Daten ermittelt.Device for detecting at least one defective pixel detection element of an image detection region of an image acquisition sensor, wherein the image acquisition sensor ( 17 ) Images ( 300 . 400 ) with images of a detection area sequentially, with a processing unit ( 22 ) for processing by means of the image acquisition sensor ( 17 ), wherein the processing unit ( 22 ) selects at least one pixel detection element to be checked, wherein the processing unit ( 22 ) each have a characteristic value of the pixel to be checked to the pixel to be checked in a plurality of consecutively recorded images ( 300 . 400 ), the processing unit ( 22 ) the characteristic value of at least one pixel adjacent to the pixel associated with the pixel detection item to be checked in each of the images ( 300 . 400 ), in which the characteristic value of the pixel assigned to the pixel to be checked is determined, the processing unit ( 22 ) determines the defectiveness of the pixel detection element to be checked, at least as a function of the pixel associated with the pixel to be checked and at least one pixel adjacent to the pixel adjacent to the pixel to be inspected, with a motion unit ( 12 ) for at least temporary movement of the image acquisition sensor ( 17 ) relative to the environment, the processing unit ( 22 ) determines at least data with information about at least one property of the movement, wherein the processing unit ( 22 ) the number of pictures ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, determined at least as a function of this data, or wherein the number of images ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, is preset, and the Ver processing unit ( 22 ) the distance between the pictures ( 300 . 400 ), in which the characteristic value of the pixel associated with the pixel to be checked is determined, determined at least as a function of this data.
DE102009008770A 2009-02-13 2009-02-13 Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data Withdrawn DE102009008770A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009008770A DE102009008770A1 (en) 2009-02-13 2009-02-13 Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009008770A DE102009008770A1 (en) 2009-02-13 2009-02-13 Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data

Publications (1)

Publication Number Publication Date
DE102009008770A1 true DE102009008770A1 (en) 2010-08-19

Family

ID=42338677

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009008770A Withdrawn DE102009008770A1 (en) 2009-02-13 2009-02-13 Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data

Country Status (1)

Country Link
DE (1) DE102009008770A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010054214A1 (en) * 2010-12-11 2012-06-14 Valeo Schalter Und Sensoren Gmbh A method of assisting a driver in driving a motor vehicle and driver assistance system
DE102015015942A1 (en) 2015-03-16 2016-09-22 Günter Fendt Camera-based vehicle light assistant
DE102015114009A1 (en) * 2015-08-24 2017-03-02 Rheinmetall Defence Electronics Gmbh Method and device for processing interference pixels on a detector surface of an image detector

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0687106A1 (en) 1994-06-06 1995-12-13 Matsushita Electric Industrial Co., Ltd. Defective pixel correction circuit
EP1343311A2 (en) 2002-03-04 2003-09-10 plettac AG Method and apparatus for compensating defective pixels of a CCD sensor
US7009644B1 (en) 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0687106A1 (en) 1994-06-06 1995-12-13 Matsushita Electric Industrial Co., Ltd. Defective pixel correction circuit
CA2150736C (en) 1994-06-06 2000-08-29 Kenji Tabei Defective pixel correction circuit
US7009644B1 (en) 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
EP1343311A2 (en) 2002-03-04 2003-09-10 plettac AG Method and apparatus for compensating defective pixels of a CCD sensor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010054214A1 (en) * 2010-12-11 2012-06-14 Valeo Schalter Und Sensoren Gmbh A method of assisting a driver in driving a motor vehicle and driver assistance system
DE102015015942A1 (en) 2015-03-16 2016-09-22 Günter Fendt Camera-based vehicle light assistant
DE102015015942B4 (en) 2015-03-16 2022-08-25 Günter Fendt Camera-based vehicle light assistant
DE102015114009A1 (en) * 2015-08-24 2017-03-02 Rheinmetall Defence Electronics Gmbh Method and device for processing interference pixels on a detector surface of an image detector

Similar Documents

Publication Publication Date Title
DE102007000420B4 (en) In-vehicle device for detecting vehicles and device for controlling headlamps by using the device
DE102016216118B4 (en) Object recognition device and stain detection method
EP2443586B1 (en) Method and device for detecting a rear vehicle light
DE102008006375B4 (en) monitoring system
DE602004012962T2 (en) REAL-TIME OBSTACLE DETECTION WITH A CALIBRATED CAMERA AND KNOWN EGO MOTION
DE10301469A1 (en) Infrared image processing device
WO2016026568A1 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
DE102009048849A1 (en) Vehicle detection device, vehicle detection program and light control device
DE102012221563A1 (en) Method for determining functionality of video camera for vehicle, involves determining aggregate number for pixel locations between edge maps, and generating error message in response to aggregate number being less than threshold
EP3046076B1 (en) Method for calibrating an image capturing device
DE102014112820A1 (en) Vehicle exterior environment recognition device
DE102021131051A1 (en) Image recording system and image recording device
DE112018000768T5 (en) Procedure for recognizing false positive events related to a traffic light
DE102007021576A1 (en) Method and device for determining the position of a traffic sign
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
EP2539866B1 (en) Method and apparatus for checking the clear visibility of a camera for an automotive environment
DE102020117060A1 (en) Device and method for detecting the surroundings of a vehicle
WO2009077445A1 (en) Method and apparatus for optically detecting an area surrounding a vehicle
DE102015223500B4 (en) Method and device for testing the functionality of an outside light device of a vehicle
EP2715666A1 (en) Method for determining a pitching movement in a camera installed in a vehicle, and method for controlling a light emission from at least one headlamp on a vehicle
DE102009008770A1 (en) Defective pixel detection element detecting method for road vehicle, involves determining characteristic value of pixel in images associated to image detection element, and determining distance between images depending on data
DE102017117211B3 (en) A method of trajectory-based feature mapping in an image captured by an image capture unit of a vehicle
DE102011083745B4 (en) A method for monocular motion stereo-based automatic automatic parking free parking, computer program product and device
DE102014117708A1 (en) Method for classifying a flow vector, driver assistance system and motor vehicle
EP2103984B1 (en) Method and device for processing image files

Legal Events

Date Code Title Description
OR8 Request for search as to paragraph 43 lit. 1 sentence 1 patent law
8105 Search report available
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140902