[go: up one dir, main page]

WO2010136344A1 - Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system - Google Patents

Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system Download PDF

Info

Publication number
WO2010136344A1
WO2010136344A1 PCT/EP2010/056647 EP2010056647W WO2010136344A1 WO 2010136344 A1 WO2010136344 A1 WO 2010136344A1 EP 2010056647 W EP2010056647 W EP 2010056647W WO 2010136344 A1 WO2010136344 A1 WO 2010136344A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
images
image
filter
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2010/056647
Other languages
German (de)
French (fr)
Inventor
Michael Hissmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to CN201080023334.0A priority Critical patent/CN102450023B/en
Priority to EP10719943A priority patent/EP2436190A1/en
Publication of WO2010136344A1 publication Critical patent/WO2010136344A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/0049Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means for non integrated articles
    • B60R2011/005Connection with the vehicle part
    • B60R2011/0056Connection with the vehicle part using suction cups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Definitions

  • Image acquisition method for acquiring multiple images by means of an automotive camera system and associated image capture device of the camera system
  • the invention is based on camera systems for vehicles.
  • Camera systems for vehicles capture image data that is used for a variety of applications, including distance warning, traffic sign recognition and visual support of the driver, for example by means of a head-up display.
  • EP 0 490 029 A2 describes scanning the environment with a laser and using the reflected laser light for imaging.
  • a polarization filter is used to separate the light emitted by the laser from the light from oncoming vehicles. The active one
  • Scanning therefore relies on emitting laser light, which has the inherent property of polarization, and "encoding” it through polarization,
  • the polarizing filter is used to "encode” this emitted light upon receiving light signals from non-laser light distinguish and separate.
  • an active laser scanning means a significant outlay for the optics and the light emitter used, and on the other hand an elaborate downstream signal processing, since the laser only produces individual points of light over time and these have to be combined to form an image. Furthermore, with active laser scanning, the problem arises due to the high intensity To cause eye damage or the problem of short range when using low intensity lasers.
  • the invention enables the suppression of interference without the use of an active lighting system.
  • the invention may be provided by means of simple optical structures and with inexpensive components.
  • known camera systems can be converted by simple modifications to implement the invention.
  • the invention makes it possible in a simple manner to represent the degree of polarization of the imaged environment. This representation provides additional information about the nature of the environment and can in particular be combined with the image data acquired directly by the cameras, thereby obtaining a representation of the environment with a higher information content.
  • the concept underlying the invention is to extract the polarization information when capturing images that represent a common object, by taking both images under different polarization-related recording conditions and from the difference in brightness information that is present When comparing the images of different recording conditions results in the polarization direction and / or on the degree of polarization of the object or sections or pixels of the object to close.
  • the recording of images with different polarization-related recording conditions is provided by taking pictures through polarizing filters of different polarization angles, or by taking at least one image through at least one polarizing filter and capturing an image without filtering through a polarizing filter. If several images are taken through polarizing filters, they have a different polarization direction.
  • the polarization-related recording conditions are thus likewise considered to be the taking of images through polarization filters of different polarization directions, as well as the taking of an image through one (or more) polarization filters and at least one image without polarization filtering.
  • Different recording conditions therefore result from different polarization angles as well as from taking a picture through a polarizing filter and without a polarizing filter.
  • the recording conditions therefore differ in the respective polarization angle which is used in the respective recording of the individual images, or by a recording through a polarizing filter with respect to a recording without a polarizing filter.
  • the images are not necessarily identical, but all images to be compared relate to at least one common object or at least one common object section.
  • the invention uses passively two or more mappings of a common object to measure them one at a time and with different angles of polarization (generally also include a picture with and a picture without a filter). Polarization-related information is obtained by comparison of images taken with different polarization-related acquisition conditions, ie with different polarization angles or images of the same object with and without polarization filter. Since the method according to the invention and the device according to the invention itself are not directly based on emitting light, simple and inexpensive passive systems can be used. In particular, can be dispensed with an active lighting.
  • the passive illumination as used in the invention, in particular the illumination is called by external light sources, the neither have to emit polarized light nor generate incident light from a particular direction, but merely serve to illuminate the environment. Therefore, the usual headlight of a motor vehicle is sufficient, so that no additional light sources need only be provided for the camera system.
  • an image acquisition method in which at least two images are acquired under different polarization-related recording conditions with a camera system.
  • the images represent a common object.
  • the images are oriented essentially in the same direction and the respective captured images comprise at least one image section (in which the object is located), which represents the same object.
  • the representation of the same object may be different for both images, for example both images may capture the same object (i.e., the same image portion) from different perspectives, the images may be shifted from each other, or a combination thereof.
  • other distortions of the images may be provided which are used for the
  • Images are different, so that there is only the requirement that the images each have a section that corresponds to the same object or the same object section, the images and in particular the section on which the object or the object section is shown, be distorted differently can, for example, by different perspectives, by displacement or by other distortions.
  • the invention therefore, at least two images are captured, filtered with different polarization angles, or one group of images is filtered and another group is not filtered, and combined in both variants, after filtering to form a common representation. This combination allows polarization information to be taken from the images.
  • the intensity i. H. the brightness
  • the intensity are taken and compared with the brightness value of the corresponding point of another image, wherein the other image was filtered at a different polarization angle or was not filtered.
  • Brightness expected to be twice as large as the corresponding pixels the associated filtered images Since the environment is usually illuminated with unpolarized light, a high degree of polarization, that is to say a large difference in the intensity of the pixels of different images with images filtered at different angles and with a large deviation from the expected double intensity in the case of filtered and not filtered recording of the same
  • the combination therefore consists in particular of a difference formation of brightness values of picture elements or image areas which belong to different images, were filtered with different polarization directions, but belong to the same object or the same object point.
  • the combination also consists, in particular, in determining deviations from the assumed half intensity from a difference of brightness values of pixels or image areas belonging to different images acquired with and without polarization filter but belonging to the same object or the same object point ,
  • the combination comprises comparing pixels of different images that relate to the same object point or the same object section or the same object section.
  • the environment detected by the cameras is generally referred to, which, due to its application in the field of motor vehicles, may in particular comprise objects such as road characteristics, vehicles, stationary objects and traffic signs.
  • objects such as road characteristics, vehicles, stationary objects and traffic signs.
  • the road surface reflecting objects of the road surface (puddles and the like), reflections of oncoming headlights and
  • Similar things are also called objects.
  • objects that are detected from different perspective angles but with at least partially overlapping field of view are referred to as a common object. This is particularly important in stereo imaging, where the environment is viewed with spaced-apart cameras pointing to a common area are aligned and thus able to capture depth information to reproduce later, for example, with a color display in the displayed image.
  • the multiple images are therefore captured by means of an automotive camera system and (at least one of them) filtered, the multiple images being a common
  • Object i.e., an at least partially overlapping imaging area
  • the images of the common object are filtered upon detection with at least one polarizing filter.
  • the polarizing filter between a camera and the object is stationary (with respect to the camera) arranged, and at least one other camera of the system has none
  • Polarization filter on.
  • a camera is equipped with a movable, for example, rotatable polarizing filter with recesses, wherein the motion either the recesses or polarization filtering sections of the filter are placed in front of the camera, and thus depending on the (variable) position of the polarization filter either filtered or unfiltered images be recorded.
  • a movable, for example, rotatable polarizing filter with recesses wherein the motion either the recesses or polarization filtering sections of the filter are placed in front of the camera, and thus depending on the (variable) position of the polarization filter either filtered or unfiltered images be recorded.
  • the same mechanisms as used for the continuous polarizing filter described below can be used.
  • the at least one polarization filter has different polarization angles for the plurality of images, so that they can be compared later, for example.
  • the multiple images are combined into a common representation after filtering.
  • the combination comprises not only the difference formation, but in general the comparison of the images or their brightness values, as a result of which polarization information develops.
  • the at least one polarizing filter comprises a rotating polarizing filter so that the images are filtered upon detection by the rotating polarizing filter.
  • the polarizing filter rotates about an axis of rotation that is perpendicular to the plane in which the polarizing filter extends. The pictures are taken one after the other, for example from one and the same camera.
  • the movement of the motor vehicle produces a difference between successive recorded images. Since the polarization filter has rotated by an angle in the period between time points at which the images are taken, successive images with different polarization angles (or, in another embodiment, with and without polarization filter) are detected.
  • the multiple images therefore differ in the times of their respective recording and, for example, in a forward movement shifted to each other (and additionally distorted differently according to the recording optics).
  • the images are captured from at least two different perspectives.
  • the detection is therefore carried out with two laterally offset cameras, which are aligned in the same direction, so that they image a portion that is detected by both cameras.
  • a common object which lies in the overlapping image section is thus detected by both cameras with different perspectives and with polarization filters of different polarization direction, or by both cameras with different perspectives, wherein only one of the cameras has a polarization filter.
  • the images according to this embodiment differ particularly in perspective, i. H. in the detection direction used in mapping a common object.
  • Such a stereoscopic camera system comprises two cameras, which are used according to the invention for capturing images with different perspectives.
  • the images are captured by the two cameras by aligning the cameras arranged in different positions (for example laterally offset from one another), the cameras having an overlapping image section.
  • the overlapping image section serves to image the common object.
  • the common object thus lies at least partially in the overlapping image section in order to be able to acquire different images in different perspectives at different polarization angles of the same object or the same object section.
  • Each camera captures an image filtered by a polarizing filter.
  • the filtering is performed by polarizing filters, preferably one filter per camera (if it is to be equipped with a filter), wherein polarization filters of different cameras have different polarization angles (or at least one
  • the image acquisition method comprises determining the respective polarization direction and / or the degree of polarization in each case for a multiplicity of image points or image regions of the images.
  • the polarization direction and / or the degree of polarization is thus carried out for individual pixels, groups of pixels, in particular groups of mutually adjacent pixels or for image areas. For example, pixels of similar intensity can be grouped if they are adjacent to each other and have a minimum intensity difference to the surrounding pixels. For example, image areas can be defined that correspond to a reflected spotlight and that reproduce a bright spot.
  • the polarization direction can be determined by the ratio of the intensities of pixels (or groups of pixels or image areas or their mean values) of different polarization direction and of the same object segment.
  • the polarization direction d. H.
  • the main direction of the polarization ellipse can be easily calculated by the quotient of the detected intensities, the difference angle between the two polarization directions and the corresponding trigonometric relationships. For example, at a differential angle of 90 °, the polarization direction ⁇ is given by the equation:
  • / 1 and h are the respective intensities of the pixels of different images (ie, and also different polarization angles).
  • the degree of polarization P results in the same way by combining the respective intensities, ie by the
  • Amount of the quotient of the difference of the intensities to the sum of the intensities denoting as intensities the different intensities of the images which relate to the same object point or the same object section but are filtered with polarization angles different by 90 °.
  • the intensity of the originally incident light can also be determined by the sum of the intensities of the filtered pixels.
  • the combination comprises either: reducing the intensity of the unfiltered image electronically when comparing the intensity, electronically with the image capture, electronically with an image preprocessing (before the comparison), or by darkening by means of a 3 dB non-polarizing filter (ie by means of an obscuration filter, which reduces the intensity by half regardless of the polarity), to compare the thus darkened image with the polarization filtered image, or doubling the intensity of the polarization filtered image to make the comparison of the intensities.
  • a dimming device such as the dimming filter
  • the camera (s) without polarization filter can (or may) be provided with a sensitivity that is equal to half the sensitivity of the camera with polarization filter.
  • filtering is understood to mean only filtering by means of a polarizing filter, which is why filtering by means of the unpolarizing obscuring filter is termed "darkening". Therefore, the term “do not filter” means a shot without a polarizing filter, but this does not preclude darkening to half the intensity.
  • the polarization direction provides information about the position in which the specular object is located. For example, in horizontal
  • Mirror planes such as those provided by water puddles, result in light reflections that are substantially polarized vertically and whose horizontal component is comparatively small. Therefore, the polarization angles can also be related to the tilt of the camera to the horizon, thus typically masking out or recognizing vertically polarizing objects from the common image.
  • the polarization angle of at least one polarization filter is related to the absolute position of the polarization filter or the
  • the polarization angle of various polarization filters are each related to the environment, ie the horizon of the environment, or to the position of the motor vehicle or to the direction of gravity.
  • individual pixels corresponding to the same object portion may be related in intensity to determine polarization direction and / or degree of polarization.
  • a group or a range of pixels can be compared in their intensity, wherein the intensity of the image group results, for example, by averaging or by other statistical combinations.
  • the grouping of a plurality of pixels, the intensity of which is combined for later evaluation, can be achieved by comparing intensities of pixels, for example by differentiating adjacent pixels of similar intensity from pixels with significantly different intensities by means of a threshold value.
  • a grouping of pixels can be performed by detecting a predetermined shape.
  • certain shapes to be recognized are predetermined, for example typical shapes of reflection stripes or the contour of typical reflection patterns in order to be able to detect a potentially reflective object.
  • the degree of polarization or the direction of polarization
  • the degree of polarization can then be deduced from the pixels of the recognized shape on the optical properties, in particular disturbing reflections nen first be recognized in their form and can be identified due to a high degree of polarization as interference , Since the shape alone is not necessarily unique to the type of object, i. H.
  • pixels, image areas or a single pixel are suppressed, having (or having) a degree of polarization (or) is (or are) by a minimum difference above a predetermined threshold or above an average value of The degree of polarization lies (or inclines), which results from a (common) image section.
  • the threshold value can thus be fixed or can be adapted to the captured images.
  • Pressing these pixels which are thus assigned to interferers, can be performed by darkening the pixels, replacing the pixels, cutting out the pixels or marking the pixels or their contour to provide the driver either a suppressed image or the driver an image in which the disturbers detected by their degree of polarization are identified.
  • an image acquisition device of an automotive camera system is provided with at least one camera and one polarization filter device.
  • the polarizing filter device provides a polarization angle or different polarization angles, i. H. either different polarization angles in chronological order, filtered and unfiltered images in chronological order, or at the same time in alignment different polarization filters by a plurality of polarizing filters or simultaneously filtered and unfiltered images with multiple cameras, which are not all equipped with a polarizing filter.
  • a camera is preferably provided which is aligned with a polarization filter which provides the polarization angle. The camera is in its image capture and thus in its sensitive area aligned to the environment to capture multiple images that represent a common object.
  • the cameras provide an at least partially common image section.
  • the cameras are aligned to a common point. If the multiple images are created one after the other, a camera may be provided that faces forward, allowing the same camera to take various pictures of themselves
  • polarization filter is provided in front of each camera, be it one or more cameras, or in front of each, but in front of at least one camera.
  • polarization filter device is thus arranged between the common object and the at least one camera.
  • a polarizing filter is provided, which is arranged between the camera and the object.
  • the image capture device further comprises a combination device connected to the camera or to the plurality of cameras.
  • Combination device is set up, different pictures (ie different in time or in their perspective, different images), which represent a common object and thus have an at least overlapping image area to align with each other and to superimpose.
  • the different images are superimposed to match the displayed common object or the common image section. If pictures are shifted against each other, then this becomes
  • Displacement is compensated by the combination device, for example by the combination device is arranged to capture certain features of the images and to assign the features of different images to the same object or the same object location.
  • the combination device When using a stereo camera system, the images taken at different projection angles are combined by the combination device arranged therefor. As a result, the combination device provides an image data or video data output at which a common representation of the compensated images is output.
  • the polarizing filter device When using a rotating polarizing filter, the polarizing filter device comprises a rotating device connected to the polarizing filter of each camera (or camera) equipped with a polarizing filter.
  • the rotary device is connected to the polarization filter, for example via a shaft, whereby the rotary device transmits rotational movements via a corresponding mechanical connection to the polarization filter.
  • the connection between the rotary device and the polarizing filter is such that the rotary device drives the polarizing filter (s) for rotation about an axis of rotation perpendicular to the plane in which the polarizing filter extends or the polarizing filters extend.
  • the image acquisition device (consisting of one or more cameras) acquires several images with a time-varying polarization angle or one after the other and alternately or periodically alternately images with and images without polarization filtering.
  • the temporal change is predetermined by the rotation device.
  • the image capture device comprises at least two cameras.
  • the image capture device hereby includes a stereo camera system.
  • the at least two cameras are arranged at a distance from one another.
  • the two cameras are designed for a common point. directed or aligned in the same direction, so that the cameras have a common, overlapping image area.
  • the image capture device comprises a polarization filter, which is arranged between the assigned camera and the common point or object to be imaged by the camera.
  • the polarizing filters of different cameras have different polarization angles. Further, only one of the cameras may be equipped with a polarizing filter, or at least one but not all cameras may be equipped with a polarizing filter.
  • the image capture device comprises a
  • Attachment that is set up to fix the camera.
  • the fixture further provides an alignment for the camera (when located in the fixture) that the at least one camera captures at least one image through a windshield of a motor vehicle.
  • the attachment is thus set up, on the one hand to be attached to the camera and, on the other hand, within one
  • Motor vehicle for example, on the windshield to be attached and to orient the camera out to the windshield out.
  • the attachment provides this orientation to the camera when the attachment is located directly or indirectly on the windshield.
  • An immediate arrangement can be provided, for example, by a suction cup or a snap connection, wherein an indirect fastening is provided by a direct attachment to a roof or to a dashboard of a motor vehicle, wherein the windshield is fixed to the roof or dashboard in a known manner.
  • Figure 1 a is a plan view of an image capture device according to the invention for
  • Figure 1 b position of the polarizing filter of the device shown in Figure 1 a along the section A-A '; and
  • Figure 2 is a polarizing filter orientation for a rotating polarizing filter.
  • FIG. 1 shows a device according to the invention with two cameras.
  • the cameras 10 a, 10 b are aligned in the same direction and both capture the
  • the cameras 10 a, 10 b have an overlapping image section 30 in which the object 20 is located.
  • the object 20 can be detected jointly and simultaneously by the cameras 10 a and 10 b.
  • the overlapping area 30 is at a certain distance from the cameras and starts after a certain distance to a windshield 40.
  • the cameras 10 a, 10 b are arranged on an inner side of the windshield 40, wherein the object 20 and also the overlapping area 30 are arranged outside the windshield.
  • the cameras 10 a, 10 b form a stereo camera system.
  • the image capture device comprises the cameras 10 a, 10 b and associated polarizing filters 50 a, 50 b, wherein exactly one polarizing filter is assigned to each camera.
  • the polarizing filter 50 a is associated with the camera 10 a and the polarizing filter 50 b is associated with the camera 10 b, so that the image captured by the camera 10 a is associated with a beam path that passes completely through the polarizing filter 50 a and in the same way the of camera 10 b detected light passes completely through the polarizing filter 50 b.
  • a camera is provided with and without a polarizing filter, wherein the camera without polarization filter may also include a darkening filter to reduce the brightness to 50%.
  • Such an embodiment is identical to the illustrated embodiment, except for the omission of one of the polarizing filters, wherein an obscuring filter replaces one of the polarizing filters in place and alignment.
  • the cameras 10 a, b each have an image output, which is connected to a combination device 60.
  • the combination device 60 brings the images captured by the cameras 10 a, b into harmony with one another despite their different perspectives.
  • the combiner thus performs stereo mapping and further calculates an intensity signal for each pixel (or frame) of each camera 10 a, b. Further, the combining device 60 outputs an image signal corresponding to the combination of the images captured by the cameras 10 a, 10 b.
  • a polarization calculator 70 Connected to the combiner 60 is a polarization calculator 70 which detects the degree of polarization, the angle of polarization, or both.
  • the polarization calculation device 70 is connected via a (double) connection with the combination device 60 in order to determine and compare the pixels, ie intensity values, of the images captured by the cameras 10 a and 10 b.
  • the comparison comprises, for example, the quotient formation of the intensities for polarization degree detection and the difference formation or the
  • the polarization calculator 70 calculates the intensity data, i. H. If the image data of both cameras 10 a, b are required, the connection between polarization calculation device 70 and combination device 60 is shown in FIG. 1 a as a double connection. In this case, the combination device 60 is set up to shift or distort at least one of the two images in order to compensate for the different perspectives (or displacements) of the images of the cameras 10 a, b. After the combining device 60 reconciles the images by this combination, the images are compared by the polarization calculator 70 for detecting the degree of polarization and / or the polarization angle.
  • Combiner 60 and polarization calculator 70 are preferably provided as software modules running on a programmable data processing system.
  • the devices 60 and 70 may be provided as software or as software pieces stored in a memory, which in turn is connected to a CPU or a video chip which, by running the software or software sections, performs the associated method steps such as combining, Comparing, shifting, compensating the perspectives, calculating the polarization angle and / or the degree of polarization for each pixel or for an image portion and implementing the output of the polarization data in the form of an image signal.
  • the device shown in FIG. 1 a can furthermore be combined with a shape recognition which combines image pixels of an image section which lie within a predetermined and recognized form.
  • This shape detection device may also be provided as software which searches an image according to predetermined shapes and marks them.
  • the polarization directions 152a, b and the polarization filter 150a, b are shown symbolically in FIG. 1b, the polarization filters 150a, b corresponding to the polarization filters 50a, b of FIG. 1, and FIG. 1b to the section AA in finance gur 1 a corresponds. It can be seen that the polarization filters 150 a, b in Figure 1 b have the same design, but have a mutually inclined polarization angle 152 a, b. Due to the difference in the polarization angles 152 a, 152 b, the polarization information (ie the polarization angle or the degree of polarization) can be detected.
  • FIG. 1b The polarization directions 152a, b and the polarization filter 150a, b are shown symbolically in FIG. 1b, the polarization filters 150a, b corresponding to the polarization filters 50a, b of FIG. 1, and FIG. 1b to the section AA in finance gur 1 a corresponds.
  • 1b further shows the cameras 110a, 110b in a schematic representation, which, viewed from above on the drawing plane, lie behind the polarization filters 150a, b.
  • the direction pointing upwards from the plane of the drawing corresponds to the direction leading to the object 20, ie through the windshield 40.
  • FIG. 2 serves to explain a further embodiment of the invention.
  • FIG. 2 shows a polarization filter 250 which has the polarization direction 252a in a first position.
  • the polarization filter 250 is rotated along the direction of rotation 260 (for example by a rotation device, not shown, for example an electric motor) so that a polarization direction 252 b results from the polarization direction 252 a at a later time differs by which the polarizing filter 250 was rotated in the direction of rotation 260 in the meantime. If a first image is recorded in the position indicated by 252 a and a second image is recorded with the position designated as 252 b, then two images are obtained that were acquired with different polarization angles.
  • the entire system undergoes a translation 270 by the movement of the vehicle in which the automotive camera system according to the invention is located. That is, not only the polarization angle 252 a rotates to the polarization angle 252 b, but also the image area 280 a, which is associated with the polarization direction 252 a, associated with the polarization angle 252 b.
  • the offset between the image areas 280 a, b is compensated according to the invention in order to superimpose the respective images according to a jointly detected object and to align them with each other.
  • the detection of a first image, with a first polarization direction 252 a, which corresponds to the image area 280 a, and the detection of a second image (or other images), which is characterized with the image area 280 b, and that of a filtering according to the polarization direction 252nd b is subjected.
  • the common overlapping image area corresponds to the field between the upper edge of the area 280b and the lower edge of the image area or image capture area 280a.
  • the displacement between both image areas is due to the movement of the vehicle 270.
  • the displacement shown in FIG. 2 is merely symbolic; in actual recordings, further trapezoidal distortions arise along the alignment lines of the camera alignment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

The invention relates to an image acquisition method, comprising: acquisition of several images by an automotive camera system and filtering the images, wherein said several images constitute a mutual object. When acquired, the images of the mutual object are filtered by at least one polarizing filter having varying polarization angles for said several images, or filtering only some but not all cameras. After filtering, said several images are combined to a joint display. The invention further relates to a corresponding image acquisition device of an automotive camera system having at least one camera and a polarizing filter device providing various polarization angles, or which filters only some but not all cameras. The at least one camera is configured to acquire several images constituting a mutual object, wherein the polarizing filter device is arranged between the mutual object and the at least one camera. For each camera, the polarizing filter device provides a polarizing filter, or for at least one camera but not for all, which is arranged between object and camera. The image acquisition device further comprises a combination device configured to put various images constituting a mutual object on top of each other to match the several images constituting a mutual object in order to combine the several images to/in a joint display.

Description

Beschreibung description

Titeltitle

Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des KamerasystemsImage acquisition method for acquiring multiple images by means of an automotive camera system and associated image capture device of the camera system

Stand der TechnikState of the art

Die Erfindung geht aus von Kamerasystemen für Fahrzeuge.The invention is based on camera systems for vehicles.

Kamerasysteme für Fahrzeuge erfassen Bilddaten, die für eine Vielzahl von Anwendungen verwendet werden, unter anderem für Abstandswarner, zur Verkehrszeichenerkennung sowie zur visuellen Unterstützung des Fahrers, beispielsweise mittels eines Head-up-Displays.Camera systems for vehicles capture image data that is used for a variety of applications, including distance warning, traffic sign recognition and visual support of the driver, for example by means of a head-up display.

Es ist bekannt, derartige Systeme zu verwenden, um Aufnahmen von der Umgebung im Blickwinkel des Fahrers zu machen. Bei Nachtfahrten wirken entgegenkommende Scheinwerfer und Spiegelungen besonders störend. In EP 0 490 029 A2 wird beschrieben, die Umgebung mit einem Laser abzutasten und das reflektierte Laserlicht zur Bildgebung zu verwenden. Zur Trennung des vom Laser emittierten Lichts von dem Licht entgegenkommender Fahrzeuge wird ein Polarisationsfilter verwendet. Die aktiveIt is known to use such systems to take pictures of the environment in the perspective of the driver. At night, oncoming headlights and reflections are particularly disturbing. EP 0 490 029 A2 describes scanning the environment with a laser and using the reflected laser light for imaging. A polarization filter is used to separate the light emitted by the laser from the light from oncoming vehicles. The active one

Abtastung beruht daher darauf, Laserlicht, das die inhärente Eigenschaft der Polarisation aufweist, abzustrahlen und durch die Polarisation das Licht zu „codieren". Der Polarisationsfilter wird verwendet, um dieses „codierte" emittierte Licht beim Empfangen von Lichtsignalen gegenüber nicht vom Laser stammendem Licht zu unterscheiden und abzutrennen.Scanning therefore relies on emitting laser light, which has the inherent property of polarization, and "encoding" it through polarization, The polarizing filter is used to "encode" this emitted light upon receiving light signals from non-laser light distinguish and separate.

Zum einen bedeutet eine aktive Laserabtastung einen signifikanten Aufwand für die verwendete Optik und den verwendeten Lichtsender, und zum anderen eine aufwändige nachgeschaltete Signalverarbeitung, da der Laser über die Zeit nur einzelne Licht- punkte erzeugt und diese zu einem Bild zusammengefügt werden müssen. Ferner besteht bei aktiver Laserabtastung das Problem, durch die hohe Intensität gegebenenfalls Augenschäden hervorzurufen oder das Problem einer geringen Reichweite, wenn Laser mit geringer Intensität verwendet werden.On the one hand, an active laser scanning means a significant outlay for the optics and the light emitter used, and on the other hand an elaborate downstream signal processing, since the laser only produces individual points of light over time and these have to be combined to form an image. Furthermore, with active laser scanning, the problem arises due to the high intensity To cause eye damage or the problem of short range when using low intensity lasers.

Es ist daher eine Aufgabe der Erfindung, ein Bilderfassungsverfahren und eine Bilderfassungsvorrichtung für automotive Kamerasysteme vorzusehen, die es ermöglichen, Störsignale auf einfache Weise zu unterdrücken und keine komplexen oder kostenintensiven Bauteile erfordern.It is therefore an object of the invention to provide an image sensing method and apparatus for automotive camera systems which make it possible to easily suppress noise and do not require complex or expensive components.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung ermöglicht die Unterdrückung von Störungen ohne die Verwendung eines aktiven Beleuchtungssystems. Die Erfindung kann mittels einfacher optischer Strukturen und mit preisgünstigen Komponenten vorgesehen werden. Darüber hinaus können bekannte Kamerasysteme durch einfache Modifikationen umgerüstet werden, um die Erfindung zu implementieren. Neben der deutlich einfacheren Implementierung ist es mit der Erfindung möglich, aus den erfassten Bilddaten zusätzliche Bildinformationen zu erhalten, die über die übliche Helligkeitsinformation bekannter Videosysteme hinausgeht. Die Erfindung ermöglicht in einfacher Weise die Darstellung der Polarisati- onsgradverteilung der abgebildeten Umgebung. Diese Darstellung sieht zusätzliche Informationen der Beschaffenheit der Umgebung vor und lässt sich insbesondere mit den unmittelbar von den Kameras erfassten Bilddaten kombinieren, um dadurch eine Darstellung der Umgebung mit höherem Informationsgehalt zu erhalten. Insbesondere bei Nachtfahrten lässt sich durch die Darstellung der Verteilung des Polarisationsgrads bzw. durch die polarisationsbezogene Erfassung der Bilder auf Eigenschaften der abgebildeten Objekte schließen, wobei insbesondere Reflektionen oder Spiegelungen von Scheinwerferlicht durch beispielsweise nassen Fahrbahnbelag an Hand dieser Polarisation erkannt werden können. Zum einen lässt dies auf die Eigenschaften des Objekts selbst schließen bzw. das Objekt erkennen und zum anderen kann der entspre- chende Bildbereich manipuliert werden, beispielsweise durch Ausblenden oder Abdunkeln erkannter und unerwünschter Reflektionen.The invention enables the suppression of interference without the use of an active lighting system. The invention may be provided by means of simple optical structures and with inexpensive components. In addition, known camera systems can be converted by simple modifications to implement the invention. In addition to the much simpler implementation, it is possible with the invention to obtain from the captured image data additional image information that goes beyond the usual brightness information of known video systems. The invention makes it possible in a simple manner to represent the degree of polarization of the imaged environment. This representation provides additional information about the nature of the environment and can in particular be combined with the image data acquired directly by the cameras, thereby obtaining a representation of the environment with a higher information content. In particular during night driving can be concluded by the representation of the distribution of the degree of polarization or by the polarization-related detection of the images on properties of the imaged objects, in particular reflections or reflections of headlights can be detected by, for example, wet road surface on the basis of this polarization. On the one hand, this makes it possible to deduce the properties of the object itself or to recognize the object, and on the other hand, the corresponding image area can be manipulated, for example by fading out or darkening recognized and unwanted reflections.

Das der Erfindung zu Grunde liegende Konzept ist es, bei der Erfassung von Bildern, die ein gemeinsames Objekt darstellen, die Polarisationsinformation zu extrahieren, in- dem beide Bilder unter unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden und aus der Differenz von Helligkeitsinformationen, die sich bei dem Vergleich der Bilder unterschiedlicher Aufnahmebedingungen ergibt, auf die Polarisationsrichtung und/oder auf den Polarisationsgrad des Objekts bzw. Abschnitte oder Bildpunkte des Objekts, zu schließen. Die Aufnahme von Bildern mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen wird vorgesehen durch Auf- nehmen von Bildern durch Polarisationsfilter unterschiedlicher Polarisationswinkel hindurch, oder durch Aufnehmen zumindest eines Bildes durch mindestens ein Polarisationsfilter hindurch und Aufnehmen eines Bildes ohne Filtern durch ein Polarisationsfilter. Werden mehrere Bilder durch Polarisationsfilter hindurch aufgenommen, so haben diese eine unterschiedliche Polarisationsrichtung. Als polarisationsbezogene Aufnah- mebedingungen wird somit gleichermaßen das Aufnehmen von Bildern durch Polarisationsfilter unterschiedlicher Polarisationsrichtung hindurch angesehen, sowie das Aufnehmen eines Bildes durch einen (oder mehrere) Polarisationsfilter hindurch, und zumindest eines Bildes ohne Polarisationsfilterung. Unterschiedliche Aufnahmebedingungen ergeben sich daher durch unterschiedliche Polarisationswinkel sowie durch Aufnehmen eines Bildes durch einen Polarisationsfilter und ohne ein Polarisationsfilter.The concept underlying the invention is to extract the polarization information when capturing images that represent a common object, by taking both images under different polarization-related recording conditions and from the difference in brightness information that is present When comparing the images of different recording conditions results in the polarization direction and / or on the degree of polarization of the object or sections or pixels of the object to close. The recording of images with different polarization-related recording conditions is provided by taking pictures through polarizing filters of different polarization angles, or by taking at least one image through at least one polarizing filter and capturing an image without filtering through a polarizing filter. If several images are taken through polarizing filters, they have a different polarization direction. The polarization-related recording conditions are thus likewise considered to be the taking of images through polarization filters of different polarization directions, as well as the taking of an image through one (or more) polarization filters and at least one image without polarization filtering. Different recording conditions therefore result from different polarization angles as well as from taking a picture through a polarizing filter and without a polarizing filter.

Die Aufnahmebedingungen unterscheiden sich daher in dem jeweiligen Polarisationswinkel, der bei der jeweiligen Aufnahme der einzelnen Bilder verwendet wird, oder durch eine Aufnahme durch ein Polarisationsfilter hindurch gegenüber einer Aufnahme ohne Polarisationsfilter. Die Bilder sind nicht notwendigerweise identisch, jedoch betreffen alle miteinander zu vergleichenden Bilder zumindest ein gemeinsames Objekt oder zumindest einen gemeinsamen Objektabschnitt.The recording conditions therefore differ in the respective polarization angle which is used in the respective recording of the individual images, or by a recording through a polarizing filter with respect to a recording without a polarizing filter. The images are not necessarily identical, but all images to be compared relate to at least one common object or at least one common object section.

Anstatt, wie im Stand der Technik vorgeschlagen, die Umgebung aktiv zu beleuchten und das reflektierte Licht aufzunehmen, verwendet die Erfindung in passiver Weise zwei oder mehrere Abbildungen eines gemeinsamen Objekts, um diese einzeln gleichermaßen und mit verschiedenen Polarisationswinkeln bzw. allgemein mit unterschiedlichen Aufnahmebedingungen (die auch eine Aufnahme mit und eine Aufnahme ohne Filter umfassen) zu filtern. Polarisationsbezogene Information wird durch Vergleich von Aufnahmen gewonnen, die mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen gemacht wurden, d.h. mit unterschiedlichen Polarisationswinkeln oder Aufnahmen des gleichen Objekts mit und ohne Polarisationsfilter. Da das erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung selbst nicht unmittelbar darauf beruht, Licht auszusenden, können einfache und preiswerte passive Systeme verwendet werden. Insbesondere kann auf eine aktive Beleuchtung verzichtet werden. In diesem Zusammenhang wird als passive Beleuchtung, wie sie die Erfindung verwendet, insbesondere die Beleuchtung durch externe Lichtquellen bezeichnet, die weder polarisiertes Licht abgeben müssen, noch aus einer bestimmten Richtung einfallendes Licht erzeugen müssen, sondern lediglich der Beleuchtung der Umgebung dienen. Daher reicht das übliche Scheinwerferlicht eines Kraftfahrzeugs aus, so dass keine zusätzlichen Lichtquellen nur für das Kamerasystem vorgesehen werden müssen.Instead of actively illuminating the environment and absorbing the reflected light, as proposed in the prior art, the invention uses passively two or more mappings of a common object to measure them one at a time and with different angles of polarization (generally also include a picture with and a picture without a filter). Polarization-related information is obtained by comparison of images taken with different polarization-related acquisition conditions, ie with different polarization angles or images of the same object with and without polarization filter. Since the method according to the invention and the device according to the invention itself are not directly based on emitting light, simple and inexpensive passive systems can be used. In particular, can be dispensed with an active lighting. In this context, as the passive illumination, as used in the invention, in particular the illumination is called by external light sources, the neither have to emit polarized light nor generate incident light from a particular direction, but merely serve to illuminate the environment. Therefore, the usual headlight of a motor vehicle is sufficient, so that no additional light sources need only be provided for the camera system.

Gemäß der Erfindung wird ein Bilderfassungsverfahren vorgesehen, bei dem mindestens zwei Bilder unter verschiedenen polarisationsbezogenen Aufnahmebedingungen mit einem Kamerasystem erfasst werden. Die Bilder stellen ein gemeinsames Objekt dar. Die Bilder sind im Wesentlichen in die gleiche Richtung ausgerichtet und die jewei- ligen erfassten Bilder umfassen zumindest einen Bildabschnitt (in dem sich das Objekt befindet), der das selbe Objekt darstellt. Die Darstellung des selben Objekts kann für beide Bilder unterschiedlich sein, beispielsweise können beide Bilder das selbe Objekt (d. h. den selben Bildabschnitt) aus verschiedenen Perspektiven erfassen, die Bilder können zueinander verschoben sein, oder eine Kombination hiervon. Neben der Ver- Schiebung können auch andere Verzerrungen der Bilder vorgesehen sein, die für dieAccording to the invention, an image acquisition method is provided in which at least two images are acquired under different polarization-related recording conditions with a camera system. The images represent a common object. The images are oriented essentially in the same direction and the respective captured images comprise at least one image section (in which the object is located), which represents the same object. The representation of the same object may be different for both images, for example both images may capture the same object (i.e., the same image portion) from different perspectives, the images may be shifted from each other, or a combination thereof. In addition to the displacement, other distortions of the images may be provided which are used for the

Bilder unterschiedlich sind, so dass lediglich die Voraussetzung besteht, dass die Bilder jeweils einen Abschnitt aufweisen, der dem selben Objekt oder dem selben Objektabschnitt entspricht, wobei die Bilder und insbesondere der Abschnitt, auf dem das Objekt oder der Objektabschnitt dargestellt ist, unterschiedlich verzerrt sein können, beispielsweise durch verschiedene Perspektiven, durch Verschiebung oder durch andere Verzerrungen. Erfindungsgemäß werden daher mindestens zwei Bilder erfasst, mit unterschiedlichem Polarisationswinkel gefiltert, oder eine Gruppe der Bilder wird gefiltert und eine andere Gruppe wird nicht gefiltert, und, bei beiden Varianten, nach dem Filtern zu einer gemeinsamen Darstellung kombiniert. Durch diese Kombination lässt sich Polarisationsinformation aus den Bildern entnehmen.Images are different, so that there is only the requirement that the images each have a section that corresponds to the same object or the same object section, the images and in particular the section on which the object or the object section is shown, be distorted differently can, for example, by different perspectives, by displacement or by other distortions. According to the invention, therefore, at least two images are captured, filtered with different polarization angles, or one group of images is filtered and another group is not filtered, and combined in both variants, after filtering to form a common representation. This combination allows polarization information to be taken from the images.

Beispielsweise kann für einen Bildpunkt eines mit Polarisationsfilter gefilterten Bildes die Intensität, d. h. die Helligkeit, entnommen werden und mit dem Helligkeitswert des entsprechenden Punktes eines weiteren Bildes verglichen werden, wobei das weitere Bild mit einem anderen Polarisationswinkel gefiltert wurde oder nicht gefiltert wurde.For example, for a pixel of a polarizing filtered image, the intensity, i. H. the brightness, are taken and compared with the brightness value of the corresponding point of another image, wherein the other image was filtered at a different polarization angle or was not filtered.

Werden Bilder unterschiedlicher Polarisationsrichtungen verglichen, ergibt sich bei nicht polarisierten Bildpunkten kein Unterschied, wohingegen polarisierte Bildpunkte durch die verschiedenen Polarisationswinkel auf dem einen Bild eine andere Intensität erhalten als auf dem anderen Bild. Werden gefilterte Bilder mit ungefilterten Bildern verglichen, ist bei nicht polarisierten Bildpunkten ungefilterter Bilder eine Intensität bzw.If images of different polarization directions are compared, there is no difference for non-polarized pixels, whereas polarized pixels are given a different intensity due to the different polarization angles on one image than on the other image. If filtered images are compared with unfiltered images, un-polarized pixels of unfiltered images have an intensity or

Helligkeit zu erwarten, die doppelt so groß ist wie bei den entsprechenden Bildpunkten der zugehörigen gefilterten Bilder. Da die Umgebung üblicherweise mit unpolarisiertem Licht beleuchtet wird, lässt sich aus einem hohen Polarisationsgrad, d. h. aus einem großen Unterschied der Intensität der Bildpunkte verschiedener Bilder bei mit unterschiedlichen Winkeln gefilterten Bilder und bei einer großen Abweichung von der er- warteten doppelten Intensität bei gefilterter und nicht gefilterter Aufnahme des gleichenBrightness expected to be twice as large as the corresponding pixels the associated filtered images. Since the environment is usually illuminated with unpolarized light, a high degree of polarization, that is to say a large difference in the intensity of the pixels of different images with images filtered at different angles and with a large deviation from the expected double intensity in the case of filtered and not filtered recording of the same

Umgebungsabschnitts darauf schließen, dass das Umgebungslicht eine Polarisation erfahren hat. Insbesondere bei Reflektionen mit flachem Winkel treten derartige Reflek- tionen auf. Dadurch lässt sich ein Bildpunkt bzw. ein Bildbereich erkennen, der einer Reflektion entspricht, und diese kann insbesondere herausgefiltert, ausgeblendet oder abgedunkelt werden, da insbesondere bei Nachtfahrten Bildbereiche mit Reflektionen störend wirken. Die Kombination besteht daher insbesondere aus einer Differenzbildung von Helligkeitswerten von Bildpunkten oder Bildbereichen, die verschiedenen Bildern angehören, mit unterschiedlichen Polarisationsrichtungen gefiltert wurden, jedoch dem gleichen Objekt bzw. dem gleichen Objektpunkt angehören. Die Kombination be- steht ferner insbesondere darin, Abweichungen von der anzunehmenden halben Intensität aus einer Differenzbildung von Helligkeitswerten von Bildpunkten oder Bildbereichen zu ermitteln, die verschiedenen Bildern angehören, welche mit und ohne Polarisationsfilter erfasst wurden, jedoch dem gleichen Objekt bzw. dem gleichen Objektpunkt angehören.Environment section to conclude that the ambient light has been polarized. Such reflections occur in particular with reflections with a flat angle. This makes it possible to detect a pixel or an image region that corresponds to a reflection, and this can be filtered out, blanked out or darkened, in particular, since image regions with reflections have a disturbing effect, especially during night driving. The combination therefore consists in particular of a difference formation of brightness values of picture elements or image areas which belong to different images, were filtered with different polarization directions, but belong to the same object or the same object point. The combination also consists, in particular, in determining deviations from the assumed half intensity from a difference of brightness values of pixels or image areas belonging to different images acquired with and without polarization filter but belonging to the same object or the same object point ,

Es sind grundsätzlich auch andere Arten von Kombinationen möglich, wobei jedoch die Kombination umfasst, dass Bildpunkte verschiedener Bilder verglichen werden, die den gleichen Objektpunkt bzw. das gleiche Objekt oder den gleichen Objektabschnitt betreffen.In principle, other types of combinations are also possible, but the combination comprises comparing pixels of different images that relate to the same object point or the same object section or the same object section.

Als Objekt wird im Allgemeinen die von den Kameras erfasste Umgebung bezeichnet, die auf Grund der Anwendung im Kraftfahrzeugbereich insbesondere Objekte wie Fahrbahnmerkmale, Fahrzeuge, feststehende Objekte und Verkehrszeichen umfassen kann. Insbesondere der Fahrbahnuntergrund, spiegelnde Objekte des Fahrbahnunter- grundes (Pfützen und Ähnliches), Reflektionen entgegenkommender Scheinwerfer undAs an object, the environment detected by the cameras is generally referred to, which, due to its application in the field of motor vehicles, may in particular comprise objects such as road characteristics, vehicles, stationary objects and traffic signs. In particular, the road surface, reflecting objects of the road surface (puddles and the like), reflections of oncoming headlights and

Ähnliches werden ebenso als Objekte bezeichnet. Als gemeinsames Objekt werden insbesondere Objekte bezeichnet, die aus unterschiedlichen perspektivischen Winkeln, jedoch mit zumindest teilweise überlappendem Gesichtsfeld erfasst werden. Dies spielt insbesondere bei der Stereobilderfassung eine Rolle, bei der die Umgebung mit von- einander beabstandeten Kameras betrachtet wird, die auf einen gemeinsamen Bereich ausgerichtet sind und somit in der Lage sind, Tiefeninformation zu erfassen, um diese später beispielsweise mit einem Farbdisplay in dem dargestellten Bild wiederzugeben.Similar things are also called objects. In particular, objects that are detected from different perspective angles but with at least partially overlapping field of view are referred to as a common object. This is particularly important in stereo imaging, where the environment is viewed with spaced-apart cameras pointing to a common area are aligned and thus able to capture depth information to reproduce later, for example, with a color display in the displayed image.

Die mehreren Bilder werden daher mittels einen automotiven Kamerasystems erfasst und (hiervon zumindest eines) gefiltert, wobei die mehreren Bilder ein gemeinsamesThe multiple images are therefore captured by means of an automotive camera system and (at least one of them) filtered, the multiple images being a common

Objekt (d. h. einen zumindest teilweise überlappenden Abbildungsbereich) betreffen, und die Bilder des gemeinsamen Objekts werden bei der Erfassung mit mindestens einem Polarisationsfilter gefiltert. Gemäß einer bevorzugten Ausführungsform ist der Polarisationsfilter zwischen einer Kamera und dem Objekt feststehend (bezogen auf die Kamera) angeordnet, und mindestens eine weitere Kamera des Systems weist keinenObject (i.e., an at least partially overlapping imaging area), and the images of the common object are filtered upon detection with at least one polarizing filter. According to a preferred embodiment, the polarizing filter between a camera and the object is stationary (with respect to the camera) arranged, and at least one other camera of the system has none

Polarisationsfilter auf. Alternativ ist eine Kamera mit einem beweglichen, beispielsweise drehbaren Polarisationsfilter mit Ausnehmungen ausgestattet, wobei durch die Bewegung entweder die Ausnehmungen oder polarisationsfilternde Abschnitte des Filters vor die Kamera platziert werden, und so je nach (veränderlicher) Stellung des Polarisa- tionsfilters entweder gefilterte oder ungefilterte Bilder erfasst werden. Zur Bewegung des Polarisationsfilters, der Ausnehmungen aufweist, können die gleichen Mechanismen verwendet werden, wie sie für den folgend beschriebenen durchgehenden Polarisationsfilter verwendet werden.Polarization filter on. Alternatively, a camera is equipped with a movable, for example, rotatable polarizing filter with recesses, wherein the motion either the recesses or polarization filtering sections of the filter are placed in front of the camera, and thus depending on the (variable) position of the polarization filter either filtered or unfiltered images be recorded. For movement of the polarizing filter having recesses, the same mechanisms as used for the continuous polarizing filter described below can be used.

Gemäß einer weiteren Ausführungsform hat der mindestens eine Polarisationsfilter für die mehreren Bilder unterschiedliche Polarisationswinkel, so dass diese beispielsweise später verglichen werden können. Die mehreren Bilder werden nach dem Filtern zu einer gemeinsamen Darstellung kombiniert. Die Kombination umfasst insbesondere nicht nur die Differenzbildung, sondern im Allgemeinen den Vergleich der Bilder bzw. deren Helligkeitswerte, wodurch sich Polarisationsinformation entwickelt. Gemäß einer bevorzugten Ausführungsform umfasst der mindestens eine Polarisationsfilter einen drehenden Polarisationsfilter, so dass die Bilder bei der Erfassung durch den sich drehenden Polarisationsfilter gefiltert werden. Der Polarisationsfilter dreht sich um eine Rotationsachse, die senkrecht zu der Ebene ist, in der sich der Polarisationsfilter erstreckt. Die Bilder werden hierbei nacheinander aufgenommen, beispielsweise von ein und derselben Kamera. Da die Kamera einem automotiven Kamerasystem angehört, ergibt sich durch Bewegung des Kraftfahrzeugs ein Unterschied zwischen nacheinander aufgenommenen Bildern. Da sich in der Zeitdauer, zwischen Zeitpunkten, in denen die Bilder aufgenommen werden, der Polarisationsfilter um einen Winkel gedreht hat, wer- den aufeinander folgende Bilder mit verschiedenen Polarisationswinkeln (oder, in einer anderen Ausführungsform, mit und ohne Polarisationsfilter) erfasst. Die mehreren BiI- der unterscheiden sich daher in den Zeitpunkten ihrer jeweiligen Aufnahme und sind beispielsweise bei einer Vorwärtsbewegung zueinander verschoben (und zusätzlich gemäß der Aufnahmeoptik unterschiedlich verzerrt).According to a further embodiment, the at least one polarization filter has different polarization angles for the plurality of images, so that they can be compared later, for example. The multiple images are combined into a common representation after filtering. In particular, the combination comprises not only the difference formation, but in general the comparison of the images or their brightness values, as a result of which polarization information develops. According to a preferred embodiment, the at least one polarizing filter comprises a rotating polarizing filter so that the images are filtered upon detection by the rotating polarizing filter. The polarizing filter rotates about an axis of rotation that is perpendicular to the plane in which the polarizing filter extends. The pictures are taken one after the other, for example from one and the same camera. Since the camera belongs to an automotive camera system, the movement of the motor vehicle produces a difference between successive recorded images. Since the polarization filter has rotated by an angle in the period between time points at which the images are taken, successive images with different polarization angles (or, in another embodiment, with and without polarization filter) are detected. The multiple images therefore differ in the times of their respective recording and, for example, in a forward movement shifted to each other (and additionally distorted differently according to the recording optics).

Gemäß einer alternativen Ausführungsform (die gegebenenfalls mit der oben beschriebenen Ausführungsform kombiniert werden kann) werden die Bilder von mindestens zwei unterschiedlichen Perspektiven aus erfasst. Die Erfassung wird daher mit zwei seitlich zueinander versetzten Kameras durchgeführt, die in die gleiche Richtung ausgerichtet sind, so dass diese einen Abschnitt abbilden, der von beiden Kameras erfasst wird. Ein gemeinsames Objekt, das in dem überlappenden Bildabschnitt liegt, wird somit von beiden Kameras mit unterschiedlichen Perspektiven und mit Polarisationsfiltern unterschiedlicher Polarisationsrichtung, bzw. von beiden Kameras mit unterschiedlichen Perspektiven, wobei nur eine der Kameras einen Polarisationsfilter aufweist, erfasst. Im Allgemeinen unterscheiden sich die Bilder gemäß dieser Ausführungsform daher insbesondere in der Perspektive, d. h. in der Erfassungsrichtung, die bei der Abbildung eines gemeinsamen Objekts verwendet wird.According to an alternative embodiment (which may optionally be combined with the embodiment described above), the images are captured from at least two different perspectives. The detection is therefore carried out with two laterally offset cameras, which are aligned in the same direction, so that they image a portion that is detected by both cameras. A common object which lies in the overlapping image section is thus detected by both cameras with different perspectives and with polarization filters of different polarization direction, or by both cameras with different perspectives, wherein only one of the cameras has a polarization filter. In general, therefore, the images according to this embodiment differ particularly in perspective, i. H. in the detection direction used in mapping a common object.

Ein derartiges stereoskopisches Kamerasystem umfasst zwei Kameras, die erfindungsgemäß zur Erfassung von Bildern mit unterschiedlichen Perspektiven verwendet werden. Die Bilder werden mit den zwei Kameras durch Ausrichten der in verschiedenen Positionen (beispielsweise seitlich zueinander versetzt) angeordneten Kameras erfasst, wobei die Kameras einen überlappenden Bildabschnitt aufweisen. Der überlappende Bildabschnitt dient der Abbildung des gemeinsamen Objekts. Das gemeinsame Objekt liegt somit zumindest teilweise in dem überlappenden Bildabschnitt, um ver- schiedene Bilder in verschiedenen Perspektiven bei verschiedenen Polarisationswinkeln des gleichen Objekts oder des gleichen Objektabschnitts erfassen zu können. Jede Kamera erfasst ein Bild, das durch einen Polarisationsfilter gefiltert ist. Die Filterung wird von Polarisationsfiltern, vorzugsweise einem Filter pro Kamera (falls diese mit einem Filter ausgestattet werden soll), durchgeführt, wobei Polarisationsfilter verschie- dener Kameras unterschiedliche Polarisationswinkel aufweisen (oder mindestens eineSuch a stereoscopic camera system comprises two cameras, which are used according to the invention for capturing images with different perspectives. The images are captured by the two cameras by aligning the cameras arranged in different positions (for example laterally offset from one another), the cameras having an overlapping image section. The overlapping image section serves to image the common object. The common object thus lies at least partially in the overlapping image section in order to be able to acquire different images in different perspectives at different polarization angles of the same object or the same object section. Each camera captures an image filtered by a polarizing filter. The filtering is performed by polarizing filters, preferably one filter per camera (if it is to be equipped with a filter), wherein polarization filters of different cameras have different polarization angles (or at least one

Kamera keinen Polfilter aufweist, während zumindest eine Weitere einen Polarisationsfilter ausweist). Der jeweilige Polarisationswinkel, d. h. der jeweilige Polarisationsfilter relativ zu den Kameras, steht hierbei fest. Die Abbildungsebene innerhalb der Kamera ist somit zu dem Polarisationsfilter, durch den die Kamera das Bild erfasst (falls die Kamera mit einem Polarisationsfilter ausgestattet ist), feststehend. Gemäß einer weiteren Ausführungsform der Erfindung umfasst das Bilderfassungsverfahren das Bestimmen der jeweiligen Polarisationsrichtung und/oder des Polarisationsgrads jeweils für eine Vielzahl von Bildpunkten oder Bildbereichen der Bilder. Die Polarisationsrichtung und/oder der Polarisationsgrad wird somit für einzelne Bildpunkte, Gruppen von Bildpunkten, insbesondere Gruppen von zueinander benachbarten Bildpunkten oder für Bildbereiche durchgeführt. Beispielsweise lassen sich Bildpunkte ähnlicher Intensität gruppieren, wenn sie zueinander benachbart sind und zu den umgebenden Bildpunkten einen Mindestintensitätsunterschied aufweisen. So können beispielsweise Bildbereiche definiert werden, die einem reflektierten Scheinwerferlicht entsprechen und die einen hellen Fleck wiedergeben.Camera has no polarizing filter, while at least one further identifies a polarizing filter). The respective polarization angle, ie the respective polarization filter relative to the cameras, is fixed in this case. The imaging plane within the camera is thus fixed to the polarizing filter through which the camera captures the image (if the camera is equipped with a polarizing filter). According to a further embodiment of the invention, the image acquisition method comprises determining the respective polarization direction and / or the degree of polarization in each case for a multiplicity of image points or image regions of the images. The polarization direction and / or the degree of polarization is thus carried out for individual pixels, groups of pixels, in particular groups of mutually adjacent pixels or for image areas. For example, pixels of similar intensity can be grouped if they are adjacent to each other and have a minimum intensity difference to the surrounding pixels. For example, image areas can be defined that correspond to a reflected spotlight and that reproduce a bright spot.

Die Polarisationsrichtung kann durch das Verhältnis der Intensitäten von Bildpunkten (oder von Gruppen von Bildpunkten oder Bildbereichen bzw. deren Mittelwerten) verschiedener Polarisationsrichtung und des gleichen Objektabschnitts bestimmt werden. Die Polarisationsrichtung, d. h. die Hauptrichtung der Polarisationsellipse lässt sich auf einfache Weise durch den Quotienten der erfassten Intensitäten, dem Differenzwinkel zwischen den beiden Polarisationsrichtungen und den entsprechenden trigonometrischen Beziehungen errechnen. Beispielsweise bei einem Differenzwinkel von 90° ergibt sich die Polarisationsrichtung α durch die Gleichung:The polarization direction can be determined by the ratio of the intensities of pixels (or groups of pixels or image areas or their mean values) of different polarization direction and of the same object segment. The polarization direction, d. H. The main direction of the polarization ellipse can be easily calculated by the quotient of the detected intensities, the difference angle between the two polarization directions and the corresponding trigonometric relationships. For example, at a differential angle of 90 °, the polarization direction α is given by the equation:

Figure imgf000010_0001
Figure imgf000010_0001

wobei /1 und h die jeweiligen Intensitäten der Bildpunkte unterschiedlicher Bilder (d. h. und auch unterschiedlicher Polarisationswinkel) sind. Der Polarisationsgrad P ergibt sich in gleicher Weise durch Kombination der jeweiligen Intensitäten, d. h. durch denwhere / 1 and h are the respective intensities of the pixels of different images (ie, and also different polarization angles). The degree of polarization P results in the same way by combining the respective intensities, ie by the

Betrag des Quotienten aus der Differenz der Intensitäten zu der Summe der Intensitäten, wobei als Intensitäten die verschiedenen Intensitäten der Bilder bezeichnet werden, die den gleichen Objektpunkt bzw. den gleichen Objektabschnitt betreffen, jedoch mit um 90° verschiedenen Polarisationswinkeln gefiltert sind. Ebenso kann auch die In- tensität des ursprünglich einfallenden Lichts durch die Summe der Intensitäten der gefilterten Bildpunkte ermittelt werden. Wird bei der Kombination ein durch ein Polarisationsfilter erfasstes Bild mit einem ungefilterten Bild verglichen, so wird die doppelte Intensität des gefilterten Bildes mit der einfachen Intensität des nicht gefilterten Bildes verglichen, um auf Polarisationseffekte hinweisende Abweichungen zu erkennen. Die Kombination umfasst entweder: Verringern des Intensität des ungefilterten Bildes elekt- ronisch beim Vergleich der Intensität, elektronisch bei der Bilderfassung, elektronisch bei einer Bildvorverarbeitung (vor dem Vergleich), oder durch Verdunklung mittels eines nicht polarisierenden 3 dB Filters (d.h. mittels eines Verdunklungsfilters, der die Intensität unabhängig von der Polarität um die Hälfte verringert), um das so verdunkelte Bild mit dem polarisationsgefilterten Bild zu vergleichen, oder es wird die Intensität des polarisationsgefilterten Bildes verdoppelt, um den Vergleich der Intensitäten durchzuführen. Anstatt einer Verdunklungsvorrichtung (wie der Verdunklungsfilter) kann (oder können) die Kamera(s) ohne Polarisationsfilter mit einer Empfindlichkeit vorgesehen werden, die der Hälfte der Empfindlichkeit der Kamera mit Polarisationsfilter entspricht. Im Kontext der Erfindung wird als „filtern" nur das Filtern mittels eines Polarisationsfilters verstanden, weshalb das Filtern mittels des unpolarisierenden Verdunklungsfilters als „verdunkeln" bezeichnet wird. Daher steht der Begriff „nicht filtern" für eine Aufnahme ohne Polarisationsfilter, wobei dies jedoch das Verdunkeln auf die Hälfte der Intensität nicht ausschließt.Amount of the quotient of the difference of the intensities to the sum of the intensities, denoting as intensities the different intensities of the images which relate to the same object point or the same object section but are filtered with polarization angles different by 90 °. Likewise, the intensity of the originally incident light can also be determined by the sum of the intensities of the filtered pixels. In the combination, when comparing an image captured by a polarizing filter with an unfiltered image, the double intensity of the filtered image is compared with the simple intensity of the unfiltered image to detect deviations indicative of polarization effects. The combination comprises either: reducing the intensity of the unfiltered image electronically when comparing the intensity, electronically with the image capture, electronically with an image preprocessing (before the comparison), or by darkening by means of a 3 dB non-polarizing filter (ie by means of an obscuration filter, which reduces the intensity by half regardless of the polarity), to compare the thus darkened image with the polarization filtered image, or doubling the intensity of the polarization filtered image to make the comparison of the intensities. Instead of a dimming device (such as the dimming filter), the camera (s) without polarization filter can (or may) be provided with a sensitivity that is equal to half the sensitivity of the camera with polarization filter. In the context of the invention, filtering is understood to mean only filtering by means of a polarizing filter, which is why filtering by means of the unpolarizing obscuring filter is termed "darkening". Therefore, the term "do not filter" means a shot without a polarizing filter, but this does not preclude darkening to half the intensity.

Wie bereits bemerkt, werden starke Polarisationsgrade insbesondere durch Reflektio- nen an ebenen Flächen erzeugt, auf die unpolarisiertes Licht in spitzem Winkel auftrifft. Typische Anwendungen sind somit die Erkennung und Entfernung von Spiegelungen der Fahrbahnoberfläche. Weiterhin gibt die Polarisationsrichtung Auskunft darüber, in welcher Lage sich das spiegelnde Objekt befindet. Beispielsweise bei waagerechtenAs already mentioned, strong degrees of polarization are produced, in particular, by reflections on flat surfaces on which unpolarized light impinges at an acute angle. Typical applications are thus the detection and removal of reflections of the road surface. Furthermore, the polarization direction provides information about the position in which the specular object is located. For example, in horizontal

Spiegelebenen, wie sie beispielsweise Wasserpfützen vorsehen, ergeben sich Lichtreflektionen, die im Wesentlichen senkrecht polarisiert sind und deren waagerechte Komponente vergleichsweise gering ist. Daher können die Polarisationswinkel auch auf die Neigung der Kamera zum Horizont bezogen werden, um somit in typischer Weise vertikal polarisierende Objekte aus dem gemeinsamen Bild auszublenden oder in dem Bild zu erkennen.Mirror planes, such as those provided by water puddles, result in light reflections that are substantially polarized vertically and whose horizontal component is comparatively small. Therefore, the polarization angles can also be related to the tilt of the camera to the horizon, thus typically masking out or recognizing vertically polarizing objects from the common image.

Um die an die Umgebung gekoppelte absolute Polarisationsrichtung, d. h. vertikal oder horizontal, erkennen zu können, wird der Polarisationswinkel mindestens eines Polari- sationsfilters in Bezug gesetzt zu der absoluten Lage des Polarisationsfilters bzw. derTo the coupled to the environment absolute polarization direction, d. H. vertically or horizontally, the polarization angle of at least one polarization filter is related to the absolute position of the polarization filter or the

Kamera zu der Umgebung, beispielsweise durch Erfassung des Winkels zwischen Horizont und Polarisationswinkel oder Richtung der Gravitation (vertikal) zum Polarisationswinkel. Da der Unterschied zwischen dem Polarisationswinkel, der zur Umgebung in Bezug gesetzt wurde, und der Polarisationswinkel eines weiteren Polarisationsfilters bekannt ist, kann auf die absolute Lage des weiteren Polarisationswinkels durch Addition des Differenzwinkels zur Absolutorientierung geschlossen werden. Ferner können auch die Polarisationswinkel verschiedener Polarisationsfilter jeweils in Bezug gesetzt werden zu der Umgebung, d. h. zum Horizont der Umgebung, oder zur Lage des Kraftfahrzeugs oder zur Gravitationsrichtung.Camera to the environment, for example by detecting the angle between horizon and polarization angle or direction of gravity (vertical) to the polarization angle. Since the difference between the polarization angle, which has been related to the environment, and the polarization angle of another polarization filter is known, it is possible to deduce the absolute position of the further polarization angle by adding the difference angle to the absolute orientation. Furthermore, can Also, the polarization angle of various polarization filters are each related to the environment, ie the horizon of the environment, or to the position of the motor vehicle or to the direction of gravity.

Wie bereits bemerkt, können einzelne Bildpunkte, die dem gleichen Objektabschnitt bzw. derselben Objektstelle entsprechen, hinsichtlich ihrer Intensität in Beziehung gesetzt werden, um Polarisationsrichtung und/oder Polarisationsgrad zu bestimmen. Ferner können eine Gruppe oder ein Bereich von Bildpunkten in ihrer Intensität verglichen werden, wobei sich die Intensität der Bildgruppe beispielsweise durch Mittelung oder durch andere statistische Kombinationen ergibt. Die Gruppierung von mehreren Bildpunkten, deren Intensität zur späteren Auswertung kombiniert wird, kann durch Vergleichen von Intensitäten von Bildpunkten erreicht werden, beispielsweise indem zueinander benachbarte Bildpunkte ähnlicher Intensität von Bildpunkten mit deutlich verschiedener Intensität mittels eines Schwellwerts unterschieden werden.As already noted, individual pixels corresponding to the same object portion may be related in intensity to determine polarization direction and / or degree of polarization. Furthermore, a group or a range of pixels can be compared in their intensity, wherein the intensity of the image group results, for example, by averaging or by other statistical combinations. The grouping of a plurality of pixels, the intensity of which is combined for later evaluation, can be achieved by comparing intensities of pixels, for example by differentiating adjacent pixels of similar intensity from pixels with significantly different intensities by means of a threshold value.

In gleicher Weise kann eine Gruppierung von Bildpunkten mittels Erfassung einer vorgegebenen Form durchgeführt werden. Hierbei sind bestimmte zu erkennende Formen vorgegeben, beispielsweise typische Formen von Reflektionsstreifen oder die Kontur von typischen Reflektionsmustern, um dadurch ein potenziell reflektierendes Objekt er- fassen zu können. Durch die darauf folgende Erfassung des Polarisationsgrads (oder der Polarisationsrichtung) kann dann von den Bildpunkten der erkannten Form auf die optischen Eigenschaften geschlossen werden, wobei insbesondere störende Reflektio- nen zunächst in ihrer Form erkannt werden und auf Grund eines hohen Polarisationsgrads als Störungen identifiziert werden können. Da die Form alleine nicht unbedingt eindeutig für die Art des Objekts, d. h. Störer oder Nichtstörer ist, kann somit durch die erfindungsgemäße Untersuchung des Polarisationsgrads der erfassten Form Sicherheit darüber gewonnen werden, dass es sich um eine Störung handelt und nicht um einen Nichtstörer, der lediglich die ungefähre Form eines Störers aufweist und somit von der Formerkennung fälschlicherweise zu einer Gruppe von Störern zugeordnet wurde.In the same way, a grouping of pixels can be performed by detecting a predetermined shape. Here, certain shapes to be recognized are predetermined, for example typical shapes of reflection stripes or the contour of typical reflection patterns in order to be able to detect a potentially reflective object. By the subsequent detection of the degree of polarization (or the direction of polarization) can then be deduced from the pixels of the recognized shape on the optical properties, in particular disturbing reflections nen first be recognized in their form and can be identified due to a high degree of polarization as interference , Since the shape alone is not necessarily unique to the type of object, i. H. Thus, by examining the degree of polarization of the detected shape according to the invention, it is possible to ascertain that it is a disturbance and not a non-interferer which merely has the approximate shape of a disturber and thus erroneously turns from shape recognition to one Group of interferers has been assigned.

Gemäß einer weiteren Ausführungsform werden daher Bildpunkte, Bildbereiche oder ein einzelner Bildpunkt unterdrückt, der einen Polarisationsgrad aufweist (bzw. aufweisen), der (bzw. die) um eine Mindestdifferenz über einem vorgegebenen Schwellwert liegt (bzw. liegen) oder der über einem Mittelwert des Polarisationsgrads liegt (bzw. Ne- gen), der sich aus einem (gemeinsamen) Bildabschnitt ergibt. Der Schwellwert kann somit fest vorgegeben sein oder kann an die erfassten Bilder adaptiert sein. Das Un- - li ¬According to a further embodiment, therefore, pixels, image areas or a single pixel are suppressed, having (or having) a degree of polarization (or) is (or are) by a minimum difference above a predetermined threshold or above an average value of The degree of polarization lies (or inclines), which results from a (common) image section. The threshold value can thus be fixed or can be adapted to the captured images. The - li ¬

terdrücken dieser Bildpunkte, die somit zu Störern zugeordnet werden, kann ausgeführt werden durch Verdunkeln der Bildpunkte, Ersetzen der Bildpunkte, Ausschneiden der Bildpunkte oder Kennzeichnen der Bildpunkte bzw. deren Kontur, um dem Fahrer entweder ein entstörtes Bild zu liefern oder dem Fahrer ein Bild zu liefern, in dem die durch ihren Polarisationsgrad erfassten Störer gekennzeichnet sind.Pressing these pixels, which are thus assigned to interferers, can be performed by darkening the pixels, replacing the pixels, cutting out the pixels or marking the pixels or their contour to provide the driver either a suppressed image or the driver an image in which the disturbers detected by their degree of polarization are identified.

Zur Ausführung der Erfindung und des erfindungsgemäßen Bilderfassungsverfahrens wird erfindungsgemäß eine Bilderfassungsvorrichtung eines automotiven Kamerasystems vorgesehen mit mindestens einer Kamera und einer Polarisationsfiltervorrichtung. Die Polarisationsfiltervorrichtung sieht einen Polarisationswinkel oder verschiedene Polarisationswinkel vor, d. h. entweder verschiedene Polarisationswinkel in zeitlicher Abfolge, gefilterte und ungefilterte Bilder in zeitlicher Abfolge, oder gleichzeitig in Ihrer Ausrichtung verschiedene Polarisationsfilter durch eine Mehrzahl von Polarisationsfiltern oder gleichzeitig gefilterte und ungefilterte Bilder mit mehreren Kameras, die je- doch nicht alle mit einem Polarisationsfilter ausgestattet sind. Pro Polarisationswinkel ist vorzugsweise eine Kamera vorgesehen, die zu einem Polarisationsfilter ausgerichtet ist, der den Polarisationswinkel vorsieht. Die Kamera ist in ihrer Bilderfassung und somit in ihrem empfindlichen Bereich zur Umgebung ausgerichtet, um mehrere Bilder zu erfassen, die ein gemeinsames Objekt darstellen.For carrying out the invention and the image acquisition method according to the invention, an image acquisition device of an automotive camera system according to the invention is provided with at least one camera and one polarization filter device. The polarizing filter device provides a polarization angle or different polarization angles, i. H. either different polarization angles in chronological order, filtered and unfiltered images in chronological order, or at the same time in alignment different polarization filters by a plurality of polarizing filters or simultaneously filtered and unfiltered images with multiple cameras, which are not all equipped with a polarizing filter. For each polarization angle, a camera is preferably provided which is aligned with a polarization filter which provides the polarization angle. The camera is in its image capture and thus in its sensitive area aligned to the environment to capture multiple images that represent a common object.

Bei einer Mehrzahl von Kameras wird dies erreicht, indem die Kameras einen zumindest teilweise gemeinsamen Bildabschnitt vorsehen. Bevorzugt sind die Kameras auf einen gemeinsamen Punkt ausgerichtet. Wenn die mehreren Bilder nacheinander erstellt werden, kann eine Kamera vorgesehen sein, die nach vorne ausgerichtet ist, wo- durch sich mit der gleichen Kamera verschiedene Bilder erstellen lassen, die sich aufIn a plurality of cameras, this is achieved by the cameras provide an at least partially common image section. Preferably, the cameras are aligned to a common point. If the multiple images are created one after the other, a camera may be provided that faces forward, allowing the same camera to take various pictures of themselves

Grund der Bewegung des Kamerasystems relativ zur Umgebung unterscheiden. Vor jeder Kamera, sei es eine oder mehrere Kameras, ist somit genau ein Polarisationsfilter vorgesehen oder vor nicht jeder, jedoch vor mindestens einer Kamera, ist genau ein Polarisationsfilter vorgesehen, wobei bei der Verwendung von mehreren Polarisations- filtern diese zu der Polarisationsfiltervorrichtung gruppiert sind. Die Polarisationsfiltervorrichtung ist somit zwischen dem gemeinsamen Objekt und der mindestens einen Kamera angeordnet. Für jede Kamera (oder für mindestens eine Kamera, jedoch nicht für alle Kameras) ist ein Polarisationsfilter vorgesehen, der zwischen Kamera und Objekt angeordnet ist. Die Bilderfassungsvorrichtung umfasst ferner eine Kombinations- Vorrichtung, die mit der Kamera oder mit der Mehrzahl von Kameras verbunden ist. DieReason the movement of the camera system relative to the environment differ. Thus, exactly one polarization filter is provided in front of each camera, be it one or more cameras, or in front of each, but in front of at least one camera. When multiple polarization filters are used, these are grouped into the polarization filter device. The polarization filter device is thus arranged between the common object and the at least one camera. For each camera (or for at least one camera, but not for all cameras) a polarizing filter is provided, which is arranged between the camera and the object. The image capture device further comprises a combination device connected to the camera or to the plurality of cameras. The

Kombinationsvorrichtung ist eingerichtet, verschiedene Bilder (d. h. zeitlich verschieden oder in ihrer Perspektive unterschiedliche Bilder), die ein gemeinsames Objekt darstellen und somit einen zumindest überlappenden Bildbereich aufweisen, zueinander auszurichten und übereinander zu legen. Die verschiedenen Bilder werden zu deren Übereinstimmung des dargestellten gemeinsamen Objekts bzw. des gemeinsamen Bildab- Schnitts übereinander gelegt. Sind Bilder gegeneinander verschoben, so wird dieseCombination device is set up, different pictures (ie different in time or in their perspective, different images), which represent a common object and thus have an at least overlapping image area to align with each other and to superimpose. The different images are superimposed to match the displayed common object or the common image section. If pictures are shifted against each other, then this becomes

Verschiebung durch die Kombinationsvorrichtung kompensiert, beispielsweise indem die Kombinationsvorrichtung eingerichtet ist, um bestimmte Merkmale der Bilder zu erfassen und die Merkmale verschiedener Bilder zu dem gleichen Objekt oder der gleichen Objektstelle zu zuordnen.Displacement is compensated by the combination device, for example by the combination device is arranged to capture certain features of the images and to assign the features of different images to the same object or the same object location.

Bei der Verwendung eines Stereo-Kamerasystems werden die Bilder, die in verschiedenen Projektionswinkeln aufgenommen sind, durch die dafür eingerichtete Kombinationsvorrichtung kombiniert. Dadurch sieht die Kombinationsvorrichtung einen Bilddatenoder Videodatenausgang vor, an dem eine gemeinsame Darstellung der kompensier- ten Bilder ausgegeben wird.When using a stereo camera system, the images taken at different projection angles are combined by the combination device arranged therefor. As a result, the combination device provides an image data or video data output at which a common representation of the compensated images is output.

Bei der Verwendung eines rotierenden Polarisationsfilters umfasst die Polarisationsfiltervorrichtung eine Rotationsvorrichtung, die mit dem Polarisationsfilter jeder mit Polarisationsfilter ausgestatteten Kamera (oder der einen Kamera) verbunden ist. Die Rota- tionsvorrichtung ist mit dem Polarisationsfilter beispielsweise über eine Welle verbunden, wodurch die Rotationsvorrichtung Rotationsbewegungen über eine entsprechende mechanische Verbindung an den Polarisationsfilter überträgt. Die Verbindung zwischen Rotationsvorrichtung und Polarisationsfilter ist derart, dass die Rotationsvorrichtung den oder die Polarisationsfilter zur Rotation um eine Rotationsachse antreibt, die senk- recht zu der Ebene ist, in der sich der Polarisationsfilter erstreckt oder sich die Polarisationsfilter erstrecken. Durch die mechanische Verbindung und durch den Antrieb der Rotationsvorrichtung erfasst die Bilderfassungsvorrichtung (bestehend aus einer oder aus mehreren Kameras) mehrere Bilder mit sich zeitlich änderndem Polarisationswinkel oder nacheinander und alternierend oder periodisch abwechselnd Bilder mit und Bilder ohne Polarisationsfilterung. Die zeitliche Veränderung ist durch die Rotationsvorrichtung vorgegeben.When using a rotating polarizing filter, the polarizing filter device comprises a rotating device connected to the polarizing filter of each camera (or camera) equipped with a polarizing filter. The rotary device is connected to the polarization filter, for example via a shaft, whereby the rotary device transmits rotational movements via a corresponding mechanical connection to the polarization filter. The connection between the rotary device and the polarizing filter is such that the rotary device drives the polarizing filter (s) for rotation about an axis of rotation perpendicular to the plane in which the polarizing filter extends or the polarizing filters extend. Due to the mechanical connection and the drive of the rotation device, the image acquisition device (consisting of one or more cameras) acquires several images with a time-varying polarization angle or one after the other and alternately or periodically alternately images with and images without polarization filtering. The temporal change is predetermined by the rotation device.

Gemäß einer weiteren Ausführungsform umfasst die Bilderfassungsvorrichtung mindestens zwei Kameras. Insbesondere umfasst die Bilderfassungsvorrichtung hiermit ein Stereo-Kamerasystem. Die mindestens zwei Kameras sind zueinander beabstandet angeordnet. Ferner sind die zwei Kameras auf einen gemeinsamen Punkt ausge- richtet oder in die gleiche Richtung ausgerichtet, so dass die Kameras einen gemeinsamen, sich überlappenden Bildbereich aufweisen. Für jede der mindestens zwei Kameras umfasst die Bilderfassungsvorrichtung einen Polarisationsfilter, der zwischen zugeordneter Kamera und gemeinsamem Punkt bzw. von der Kamera abzubildendem Objekt angeordnet ist. Die Polarisationsfilter verschiedener Kameras weisen unterschiedliche Polarisationswinkel auf. Ferner kann nur eine der Kameras mit einem Polarisationsfilter ausgestattet sein, oder es kann mindestens eine jedoch nicht alle Kameras mit einem Polarisationsfilter ausgestattet sein.According to a further embodiment, the image capture device comprises at least two cameras. In particular, the image capture device hereby includes a stereo camera system. The at least two cameras are arranged at a distance from one another. Furthermore, the two cameras are designed for a common point. directed or aligned in the same direction, so that the cameras have a common, overlapping image area. For each of the at least two cameras, the image capture device comprises a polarization filter, which is arranged between the assigned camera and the common point or object to be imaged by the camera. The polarizing filters of different cameras have different polarization angles. Further, only one of the cameras may be equipped with a polarizing filter, or at least one but not all cameras may be equipped with a polarizing filter.

Gemäß einer weiteren Ausführungsform umfasst die Bilderfassungsvorrichtung eineAccording to another embodiment, the image capture device comprises a

Befestigung, die zur Befestigung der Kamera eingerichtet ist. Die Befestigung sieht ferner eine Ausrichtung für die Kamera vor (wenn diese in der Befestigung angeordnet ist), dass die mindestens eine Kamera mindestens ein Bild durch eine Windschutzscheibe eines Kraftfahrzeug hindurch erfasst. Die Befestigung ist somit eingerichtet, zum einen an der Kamera befestigt zu sein und zum anderen, um innerhalb einesAttachment that is set up to fix the camera. The fixture further provides an alignment for the camera (when located in the fixture) that the at least one camera captures at least one image through a windshield of a motor vehicle. The attachment is thus set up, on the one hand to be attached to the camera and, on the other hand, within one

Kraftfahrzeugs, beispielsweise an der Windschutzscheibe, befestigt zu sein und um die Kamera nach außen zur Windschutzscheibe hin zu orientieren. Die Befestigung sieht diese Orientierung für die Kamera vor, wenn die Befestigung mittelbar oder unmittelbar an der Windschutzscheibe angeordnet ist. Eine unmittelbare Anordnung kann bei- spielsweise durch einen Saugnapf oder eine Schnappverbindung vorgesehen werden, wobei eine mittelbare Befestigung vorgesehen wird durch eine unmittelbare Befestigung an einem Dach oder an einem Armaturenbrett eines Kraftfahrzeugs, wobei die Windschutzscheibe an Dach oder Armaturenbrett in bekannter Weise befestigt ist.Motor vehicle, for example, on the windshield to be attached and to orient the camera out to the windshield out. The attachment provides this orientation to the camera when the attachment is located directly or indirectly on the windshield. An immediate arrangement can be provided, for example, by a suction cup or a snap connection, wherein an indirect fastening is provided by a direct attachment to a roof or to a dashboard of a motor vehicle, wherein the windshield is fixed to the roof or dashboard in a known manner.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.Embodiments of the invention are illustrated in the drawings and explained in more detail in the following description.

Es zeigenShow it

Figur 1 a eine Draufsicht einer erfindungsgemäßen Bilderfassungsvorrichtung zurFigure 1 a is a plan view of an image capture device according to the invention for

Ausführung des Verfahrens;Execution of the procedure;

Figur 1 b Stellung der Polfilter der in Figur 1 a dargestellten Vorrichtung entlang des Schnitts A-A'; und die Figur 2 eine Polfilterausrichtung bei einem sich drehenden Polarisationsfilter. Ausführungsformen der ErfindungFigure 1 b position of the polarizing filter of the device shown in Figure 1 a along the section A-A '; and Figure 2 is a polarizing filter orientation for a rotating polarizing filter. Embodiments of the invention

In der Figur 1 ist eine erfindungsgemäße Vorrichtung mit zwei Kameras dargestellt. Die Kameras 10 a, 10 b sind in die gleiche Richtung ausgerichtet und erfassen beide dasFIG. 1 shows a device according to the invention with two cameras. The cameras 10 a, 10 b are aligned in the same direction and both capture the

Objekt 20. Somit weisen die Kameras 10 a, 10 b einen sich überlappenden Bildabschnitt 30 auf, in dem sich das Objekt 20 befindet. Das Objekt 20 kann gemeinsam und gleichzeitig von den Kameras 10 a und 10 b erfasst werden. Der sich überlappende Bereich 30 befindet sich in gewisser Distanz zu den Kameras und beginnt nach einem gewissen Abstand zu einer Windschutzscheibe 40. Die Kameras 10 a, 10 b sind auf einer Innenseite der Windschutzscheibe 40 angeordnet, wobei das Objekt 20 und auch der überlappende Bereich 30 außerhalb der Windschutzscheibe angeordnet sind. Die Kameras 10 a, 10 b bilden ein Stereo-Kamerasystem. Die Bilderfassungsvorrichtung umfasst die Kameras 10 a, 10 b sowie zugehörige Polfilter 50 a, 50 b, wobei genau ein Polarisationsfilter jeder Kamera zugeordnet ist. Der Polarisationsfilter 50 a ist der Kamera 10 a zugeordnet und der Polarisationsfilter 50 b ist der Kamera 10 b zugeordnet, so dass das von Kamera 10 a erfasste Bild mit einem Strahlengang verknüpft ist, der vollständig durch den Polarisationsfilter 50 a verläuft und in gleicher Weise das von Kamera 10 b erfasste Licht vollständig durch den Polarisationsfilter 50 b läuft. In einer nicht dargestellten Ausführungsform ist eine Kamera mit und eine ohne Polarisationsfilter vorgesehen, wobei die Kamera ohne Polarisationsfilter zudem ein Verdunklungsfilter zur Reduktion der Helligkeit auf 50 % umfassen kann. Eine derartige Ausführungsform ist identisch zu der dargestellten Ausführungsform, bis auf das Weglassen eines der Polarisationsfilter, wobei ein Verdunklungsfilter einen der Polarisationsfilter in Ort und Ausrichtung ersetzt.Object 20. Thus, the cameras 10 a, 10 b have an overlapping image section 30 in which the object 20 is located. The object 20 can be detected jointly and simultaneously by the cameras 10 a and 10 b. The overlapping area 30 is at a certain distance from the cameras and starts after a certain distance to a windshield 40. The cameras 10 a, 10 b are arranged on an inner side of the windshield 40, wherein the object 20 and also the overlapping area 30 are arranged outside the windshield. The cameras 10 a, 10 b form a stereo camera system. The image capture device comprises the cameras 10 a, 10 b and associated polarizing filters 50 a, 50 b, wherein exactly one polarizing filter is assigned to each camera. The polarizing filter 50 a is associated with the camera 10 a and the polarizing filter 50 b is associated with the camera 10 b, so that the image captured by the camera 10 a is associated with a beam path that passes completely through the polarizing filter 50 a and in the same way the of camera 10 b detected light passes completely through the polarizing filter 50 b. In one embodiment, not shown, a camera is provided with and without a polarizing filter, wherein the camera without polarization filter may also include a darkening filter to reduce the brightness to 50%. Such an embodiment is identical to the illustrated embodiment, except for the omission of one of the polarizing filters, wherein an obscuring filter replaces one of the polarizing filters in place and alignment.

Die Kameras 10 a, b weisen jeweils einen Bildausgang auf, der mit einer Kombinationsvorrichtung 60 verbunden ist. Die Kombinationsvorrichtung 60 bringt die von den Kameras 10 a, b erfassten Bilder trotz ihrer unterschiedlichen Perspektiven in Einklang zueinander. Die Kombinationsvorrichtung führt somit eine Stereozuordnung durch und berechnet ferner ein Intensitätssignal für jeden Bildpunkt (oder jeden Bildbereich) jeder Kamera 10 a, b. Ferner gibt die Kombinationsvorrichtung 60 ein Bildsignal aus, das der Kombination der von den Kameras 10 a, 10 b erfassten Bilder entspricht. An die Kombinationsvorrichtung 60 ist eine Polarisationsberechnungsvorrichtung 70 angeschlos- sen, die den Polarisationsgrad, den Polarisationswinkel oder beides erfasst. Hierzu ist die Polarisationsberechnungsvorrichtung 70 über eine (doppelte) Verbindung mit der Kombinationsvorrichtung 60 verbunden, um die Bildpunkte, d. h. Intensitätswerte, der von den Kameras 10 a und 10 b erfassten Bilder zu ermitteln und zu vergleichen. Wie bereits bemerkt, umfasst der Vergleich beispielsweise die Quotientenbildung der Intensitäten zur Polarisationsgraderfassung und die Differenzbildung bzw. dieThe cameras 10 a, b each have an image output, which is connected to a combination device 60. The combination device 60 brings the images captured by the cameras 10 a, b into harmony with one another despite their different perspectives. The combiner thus performs stereo mapping and further calculates an intensity signal for each pixel (or frame) of each camera 10 a, b. Further, the combining device 60 outputs an image signal corresponding to the combination of the images captured by the cameras 10 a, 10 b. Connected to the combiner 60 is a polarization calculator 70 which detects the degree of polarization, the angle of polarization, or both. For this purpose, the polarization calculation device 70 is connected via a (double) connection with the combination device 60 in order to determine and compare the pixels, ie intensity values, of the images captured by the cameras 10 a and 10 b. As already mentioned, the comparison comprises, for example, the quotient formation of the intensities for polarization degree detection and the difference formation or the

Summierung der Intensitäten, um aus dem Quotienten zwischen Differenz und Summe den Polarisationswinkel des zugehörigen Bildpunkts zu errechnen. Da die Polarisati- onsberechnungsvorrichtung 70 die Intensitätsdaten, d. h. die Bilddaten beider Kameras 10 a, b benötigt, ist in Figur 1 a die Verbindung zwischen Polarisationsberech- nungsvorrichtung 70 und Kombinationsvorrichtung 60 als doppelte Verbindung dargestellt. Hierbei ist die Kombinationsvorrichtung 60 eingerichtet, mindestens eines der beiden Bilder zu verschieben oder zu verzerren, um die unterschiedlichen Perspektiven (oder Verschiebungen) der Bilder der Kameras 10 a, b zu kompensieren. Nachdem die Kombinationsvorrichtung 60 die Bilder durch diese Kombination in Einklang gebracht hat, werden die Bilder von der Polarisationsberechnungsvorrichtung 70 zur Erfassung des Polarisationsgrads und/oder des Polarisationswinkels verglichen. Die Kombinationsvorrichtung 60 und die Polarisationsberechnungsvorrichtung 70 sind vorzugsweise als Softwaremodule vorgesehen, die auf einem programmierbaren Datenverarbeitungssystem ablaufen. So können die Vorrichtungen 60 und 70 als eine Software oder als Softwarestücke vorgesehen sein, die in einem Speicher abgelegt sind, welcher wiederum mit einer CPU oder einem Videochip verbunden ist, der durch Ablaufen lassen der Software bzw. der Softwareabschnitte die zugehörigen Verfahrensschritte wie Kombinieren, Vergleichen, Verschieben, Kompensieren der Perspektiven, Errechnen des Polarisationswinkels und/oder des Polarisationsgrads für jeden Bildpunkt oder für einen Bildabschnitt und das Ausgeben der Polarisationsdaten in Form eines Bildsignals implementiert.Summation of the intensities in order to calculate the polarization angle of the associated pixel from the quotient between difference and sum. Since the polarization calculator 70 calculates the intensity data, i. H. If the image data of both cameras 10 a, b are required, the connection between polarization calculation device 70 and combination device 60 is shown in FIG. 1 a as a double connection. In this case, the combination device 60 is set up to shift or distort at least one of the two images in order to compensate for the different perspectives (or displacements) of the images of the cameras 10 a, b. After the combining device 60 reconciles the images by this combination, the images are compared by the polarization calculator 70 for detecting the degree of polarization and / or the polarization angle. Combiner 60 and polarization calculator 70 are preferably provided as software modules running on a programmable data processing system. Thus, the devices 60 and 70 may be provided as software or as software pieces stored in a memory, which in turn is connected to a CPU or a video chip which, by running the software or software sections, performs the associated method steps such as combining, Comparing, shifting, compensating the perspectives, calculating the polarization angle and / or the degree of polarization for each pixel or for an image portion and implementing the output of the polarization data in the form of an image signal.

Die in Figur 1 a dargestellte Vorrichtung kann ferner mit einer Formerkennung kombiniert sein, die Bildpixel eines Bildabschnitts kombiniert, welche innerhalb einer vorge- gebenen und erkannten Form liegen. Diese Formerfassungsvorrichtung kann ebenso als Software vorgesehen sein, die ein Bild nach vorgegebenen Formen absucht und diese kennzeichnet.The device shown in FIG. 1 a can furthermore be combined with a shape recognition which combines image pixels of an image section which lie within a predetermined and recognized form. This shape detection device may also be provided as software which searches an image according to predetermined shapes and marks them.

In der Figur 1 b sind die Polarisationsrichtungen 152 a, b und der Polarisationsfil- ter 150 a, b symbolhaft dargestellt, wobei die Polarisationsfilter 150 a, b den Polarisationsfiltern 50 a, b der Figur 1 entsprechen, und die Figur 1 b dem Schnitt A-A' in Fi- gur 1 a entspricht. Es ist zu erkennen, dass die Polarisationsfilter 150 a, b in Figur 1 b gleichartig ausgebildet sind, jedoch einen zueinander geneigten Polarisationswinkel 152 a, b aufweisen. Durch den Unterschied der Polarisationswinkel 152 a, 152 b lässt sich die Polarisationsinformation (d. h. der Polarisationswinkel oder der Polarisa- tionsgrad) erfassen. Die Figur 1 b zeigt ferner die Kameras 110 a, 110 b in schemati- scher Darstellung, die, von oben auf die Zeichenebene gesehen, hinter den Polarisationsfiltern 150 a, b liegen. Die von der Zeichenebene nach oben weisende Richtung entspricht der zum Objekt 20 führenden Richtung, d. h. durch die Windschutzscheibe 40 hindurch.The polarization directions 152a, b and the polarization filter 150a, b are shown symbolically in FIG. 1b, the polarization filters 150a, b corresponding to the polarization filters 50a, b of FIG. 1, and FIG. 1b to the section AA in finance gur 1 a corresponds. It can be seen that the polarization filters 150 a, b in Figure 1 b have the same design, but have a mutually inclined polarization angle 152 a, b. Due to the difference in the polarization angles 152 a, 152 b, the polarization information (ie the polarization angle or the degree of polarization) can be detected. FIG. 1b further shows the cameras 110a, 110b in a schematic representation, which, viewed from above on the drawing plane, lie behind the polarization filters 150a, b. The direction pointing upwards from the plane of the drawing corresponds to the direction leading to the object 20, ie through the windshield 40.

Die Figur 2 dient der Erläuterung einer weiteren Ausführungsform der Erfindung. In der Figur 2 ist ein Polarisationsfilter 250 dargestellt, der in einer ersten Stellung die Polarisationsrichtung 252 a aufweist. Gemäß dieser Ausführung wird der Polarisationsfilter 250 entlang der Drehrichtung 260 gedreht (beispielsweise durch eine nicht darge- stellte Rotationsvorrichtung, beispielsweise einen Elektromotor), so dass sich zu einem späteren Zeitpunkt eine Polarisationsrichtung 252 b ergibt, die sich von der Polarisationsrichtung 252 a um den Winkel unterscheidet, um den der Polarisationsfilter 250 in Drehrichtung 260 in der Zwischenzeit gedreht wurde. Wird ein erstes Bild in der mit 252 a bezeichneten Stellung erfasst und ein zweites Bild mit der als 252 b bezeichne- ten Stellung, dann ergeben sich zwei Bilder, die mit verschiedenen Polarisationswinkeln erfasst wurden.FIG. 2 serves to explain a further embodiment of the invention. FIG. 2 shows a polarization filter 250 which has the polarization direction 252a in a first position. According to this embodiment, the polarization filter 250 is rotated along the direction of rotation 260 (for example by a rotation device, not shown, for example an electric motor) so that a polarization direction 252 b results from the polarization direction 252 a at a later time differs by which the polarizing filter 250 was rotated in the direction of rotation 260 in the meantime. If a first image is recorded in the position indicated by 252 a and a second image is recorded with the position designated as 252 b, then two images are obtained that were acquired with different polarization angles.

Neben der Drehung des Polarisationsfilters 250 erfährt das gesamte System eine Translation 270 durch die Bewegung des Fahrzeugs, in dem das automotive Kamera- System gemäß der Erfindung angeordnet ist. Das heißt, dass sich nicht nur der Polarisationswinkel 252 a auf den Polarisationswinkel 252 b dreht, sondern auch der Bildbereich 280 a, der der Polarisationsrichtung 252 a zugeordnet ist, dem Polarisationswinkel 252 b zugeordnet ist. Der Versatz zwischen den Bildbereichen 280 a, b wird erfindungsgemäß kompensiert, um die jeweiligen Bilder gemäß einem gemeinsam erfass- ten Objekt übereinander zu legen und gegeneinander auszurichten. Somit erlaubt dieIn addition to the rotation of the polarizing filter 250, the entire system undergoes a translation 270 by the movement of the vehicle in which the automotive camera system according to the invention is located. That is, not only the polarization angle 252 a rotates to the polarization angle 252 b, but also the image area 280 a, which is associated with the polarization direction 252 a, associated with the polarization angle 252 b. The offset between the image areas 280 a, b is compensated according to the invention in order to superimpose the respective images according to a jointly detected object and to align them with each other. Thus, the allowed

Erfindung die Erfassung eines ersten Bildes, mit einer ersten Polarisationsrichtung 252 a, das dem Bildbereich 280 a entspricht, und die Erfassung eines zweiten Bildes (oder auch weiterer Bilder), das mit dem Bildbereich 280 b gekennzeichnet ist, und das einer Filterung gemäß Polarisationsrichtung 252 b unterworfen ist. Der gemeinsa- me überlappende Bildbereich entspricht dem Feld zwischen der Oberkante des Bereichs 280 b und der Unterkante des Bildbereichs bzw. Bilderfassungsbereichs 280 a. Die Verschiebung zwischen beiden Bildbereichen ist durch die Bewegung des Fahrzeugs 270 bedingt. Die in Figur 2 dargestellte Verschiebung ist lediglich symbolisch, bei tatsächlichen Aufnahmen ergeben sich weitere trapezoide Verzerrungen entlang der Fluchtlinien der Kameraausrichtung. Invention, the detection of a first image, with a first polarization direction 252 a, which corresponds to the image area 280 a, and the detection of a second image (or other images), which is characterized with the image area 280 b, and that of a filtering according to the polarization direction 252nd b is subjected. The common overlapping image area corresponds to the field between the upper edge of the area 280b and the lower edge of the image area or image capture area 280a. The displacement between both image areas is due to the movement of the vehicle 270. The displacement shown in FIG. 2 is merely symbolic; in actual recordings, further trapezoidal distortions arise along the alignment lines of the camera alignment.

Claims

Ansprüche claims 1 . Bilderfassungsverfahren, mit den Schritten: Erfassen mehrerer Bilder mittels eines automotiven Kamerasystems (10a,b) unter unterschiedlichen polarisations- bezogenen Aufnahmebedingungen, wobei die mehreren Bilder ein gemeinsames Objekt darstellen, die Bilder des gemeinsamen Objekts unter unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden, wobei das Aufnehmen mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen vorgesehen wird durch Filtern mit mindestens einem Polarisationsfilter (40a, b), der für die mehreren Bilder unterschiedliche Polarisationswinkel (152a,b; 252a, b) aufweist, oder durch Aufnehmen zumindest eines Bildes durch den mindestens einen Polarisationsfilter hindurch, und durch Aufnehmen mindestens eines Bildes ohne Filtern durch einen Polarisationsfilter, und die mehreren Bilder nach dem Filtern zu einer gemeinsamen Darstellung kombiniert werden.1 . An image acquisition method, comprising the steps of: acquiring a plurality of images by means of an automotive camera system (10a, b) under different polarization-related shooting conditions, wherein the plurality of images represent a common object, the images of the common object are taken under different polarization-related shooting conditions; different polarization-related recording conditions is provided by filtering with at least one polarizing filter (40a, b) having different polarization angles (152a, b; 252a, b) for the plurality of images, or by taking at least one image through the at least one polarizing filter, and through Taking at least one image without filtering through a polarizing filter, and combining the plurality of images after filtering into a common representation. 2. Bilderfassungsverfahren nach Anspruch 1 , wobei mindestens eines der mehreren2. An image acquisition method according to claim 1, wherein at least one of said plurality Bilder mit einem sich um eine Rotationsachse drehenden Polarisationsfilter (40a, b) gefiltert werden, und die Rotationsachse senkrecht zu einer Ebene ist, in der sich der Polarisationsfilter (40a, b) erstreckt.Images are filtered with a polarizing filter (40a, b) rotating about an axis of rotation, and the axis of rotation is perpendicular to a plane in which the polarizing filter (40a, b) extends. 3. Bilderfassungsverfahren nach Anspruch 1 oder 2, wobei die Bilder von mindestens zwei unterschiedlichen Perspektiven aus erfasst werden und die Bilder für unterschiedliche Perspektiven mit unterschiedlichen polarisationsbezogenen Aufnahmebedingungen aufgenommen werden durch Filtern bei der Erfassung bei unterschiedliche Perspektiven mit unterschiedlichen Polarisationswinkeln (152a,b) oder durch Erfassung bei unterschiedlichen Perspektiven mit und ohne3. Image acquisition method according to claim 1 or 2, wherein the images are detected from at least two different perspectives and the images are taken for different perspectives with different polarization-related recording conditions by filtering in the detection at different perspectives with different polarization angles (152a, b) or by Acquisition with different perspectives with and without Polarisationsfilter.Polarizing filter. 4. Bilderfassungsverfahren nach Anspruch 3, wobei die Bilder mit einem stereoskopischen Kamerasystem (10a,b) erfasst werden, wobei das zur Erfassung ver- wendete Kamerasystem zwei Kameras (10a,b) mit unterschiedlichen Perspektiven umfasst, und die Bilder mit den zwei Kameras (10a,b) durch Ausrichten der an verschiedenen Positionen angeordneten Kameras mit einem überlappenden Bildabschnitt erfasst werden, wobei jede Kamera ein Bild gefiltert durch einen Polarisationsfilter (40a, b) erfasst und die zur Erfassung verwendeten Polarisationsfilter (40a, b) Bilder mit unterschiedlichen, relativ zu den Kameras feststehenden Polarisationswinkeln (152a,b) filtern oder die zur Erfassung verwendeten Polarisationsfilter (40a, b) mindestens ein Bild jedoch nicht alle Bilder filtern.4. The image acquisition method of claim 3, wherein the images are captured with a stereoscopic camera system (10a, b), wherein the camera system used for detection comprises two cameras (10a, b) with different perspectives, and the images with the two cameras ( 10a, b) by aligning the cameras arranged at different positions with an overlapping image section, each camera capturing an image filtered by a polarization filter (40a, b) and the polarization filters (40a, b) used for detection capturing images with different polarization angles (152a , b) or the polarization filters (40a, b) used for the detection filter at least one image, but not all the images. 5. Bilderfassungsverfahren nach einem der vorangehenden Ansprüche, das ferner den Schritt umfasst: Bestimmen der jeweiligen Polarisationsrichtung und/oder des Polarisationsgrads jeweils für eine Vielzahl von Bildpunkten oder Bildbereichen der Bilder, aus dem Verhältnis von Intensitäten von Bildpunkten oder Bildbereichen verschiedener Bilder, die miteinander korrespondieren.5. The image acquisition method according to claim 1, further comprising the step of: determining the respective polarization direction and / or the degree of polarization respectively for a plurality of pixels or image regions of the images, from the ratio of intensities of pixels or image regions of different images corresponding to each other , 6. Bilderfassungsverfahren nach Anspruch 4 oder 5, das ferner den Schritt umfasst: Unterdrücken von Bildpunkten oder Bildbereichen mit einem Polarisationsgrad, der um eine Mindestdifferenz über einem vorgegebenen Schwellwert oder über einem Mittelwert des Polarisationsgrads zumindest eines Abschnitts eines gemeinsamen Bildteils von Bildern, die unter unterschiedlichen polarisationsbezo- genen Aufnahmebedingungen aufgenommen wurden.The image acquisition method according to claim 4 or 5, further comprising the step of: suppressing pixels or image areas having a degree of polarization that is less than a predetermined threshold or an average of the degree of polarization of at least a portion of a common image portion of images polarization-related recording conditions were recorded. 7. Bilderfassungsvorrichtung eines automotiven Kamerasystems mit mindestens einer Kamera (10a,b) und einer Polarisationsfiltervorrichtung (40a, b), die polarisa- tionsbezogene Aufnahmebedingungen vorsieht, wobei die mindestens eine Kamera ausgerichtet ist, mehrere Bilder zu erfassen, die ein gemeinsames Objekt (20) darstellen, wobei die Polarisationsfiltervorrichtung zwischen dem gemeinsamen Objekt (20) und der mindestens einen Kamera angeordnet ist, die Polarisationsfiltervorrichtung für jede oder für zumindest eine jedoch nicht für alle Kameras einen Polarisationsfilter vorsieht, der zwischen Objekt (20) und Kamera (10a,b) angeordnet ist, und die Bilderfassungsvorrichtung ferner eine Kombinati- onsvorrichtung (60) umfasst, die eingerichtet ist, verschiedene Bilder, die ein gemeinsames Objekt (20) darstellen, zur Übereinstimmung des von den verschiedenen Bilder dargestellten gemeinsamen Objekts (20) übereinander zu legen, um die mehreren Bilder zu einer gemeinsamen Darstellung zu kombinieren, wobei die Polarisationsfiltervorrichtung (40a, b) die polarisationsbezogenen Aufnahme- bedingungen entweder durch unterschiedliche Polarisationswinkel der Polarisati- onsfilter vorsieht oder die Polarisationsfiltervorrichtung die Filterung mittels der (des) Polarisationsfilter(s) nicht für alle Bilder oder Kameras vorsieht.7. An image acquisition device of an automotive camera system comprising at least one camera (10a, b) and a polarization filter device (40a, b), which provides polarization-related recording conditions, wherein the at least one camera is aligned to capture a plurality of images that a common object (20 ), wherein the polarization filter device is arranged between the common object (20) and the at least one camera, the polarization filter device provides for each or at least one but not for all cameras a polarization filter which is arranged between object (20) and camera (10a, b ), and the image capture device further comprises a combination device (60) arranged to superpose different images representing a common object (20) to match the common object (20) represented by the different images, to the multiple images to a common representation wherein the polarization filter device (40a, b) determines the polarization-related recording conditions either by different polarization angles of the polarization onsfilter or the polarization filter device does not provide the filtering by means of (the) polarization filter (s) for all images or cameras. 8. Bilderfassungsvorrichtung nach Anspruch 7, wobei die Polarisationsfiltervorrich- tung (40a, b) eine Rotationsvorrichtung umfasst, die mit dem Polarisationsfilter8. An image sensing device according to claim 7, wherein the polarization filter device (40a, b) comprises a rotation device connected to the polarization filter (40a, b) jeder Kamera verbunden ist, wobei die Rotationsvorrichtung mit dem Polarisationsfilter derart verbunden ist, dass die Rotationsvorrichtung des Polarisationsfilters (40a, b) zur Rotation um eine Rotationsachse antreibt, die senkrecht zur Ebene ist, in der sich der Polarisationsfilter erstreckt oder in der sich die PoIa- risationsfilter erstrecken, wodurch die Bilderfassungsvorrichtung mehrere Bilder mit sich zeitlich änderndem Polarisationswinkel erfasst, und wobei der Polarisationsfilter entweder durchgängig ist, um die Kamera unabhängig vom Rotationswinkel des Polarisationsfilters durchgehend zu filtern, oder der Polarisationsfilter Ausnehmungen umfasst, um die Kamera abhängig vom Rotationswinkel dieses Polarisationsfilters zu filtern oder nicht zu filtern.(40a, b) of each camera, the rotating device being connected to the polarizing filter such that the rotating device of the polarizing filter (40a, b) drives for rotation about an axis of rotation perpendicular to the plane in which the polarizing filter extends or in which the polarization filters extend, whereby the image capture device acquires multiple images with time-varying polarization angle, and wherein the polarization filter is either continuous to continuously filter the camera irrespective of the rotation angle of the polarization filter, or the polarization filter comprises recesses, around the camera depending on the rotation angle of this polarizing filter to filter or not to filter. 9. Bilderfassungsvorrichtung nach Anspruch 7 oder 8, die mindestens zwei Kameras (10a,b) umfasst, die zueinander beabstandet angeordnet sind und auf einen gemeinsamen Punkt ausgerichtet sind, wobei für jede oder mindestens eine der mindestens zwei Kameras die Bilderfassungsvorrichtung einen Polarisationsfilter9. An image sensing device according to claim 7 or 8, comprising at least two cameras (10a, b) spaced apart from one another and aligned with a common point, wherein for each or at least one of the at least two cameras, the image capture device comprises a polarizing filter (40a, b) umfasst, der zwischen zugeordneter Kamera und gemeinsamem Punkt angeordnet ist, und die Polarisationsfilter (40a, b) unterschiedlicher Kameras (10a,b) verschiedene Polarisationswinkel (152a,b) aufweisen oder zumindest eine der Kameras einen Polarisationsfilter aufweist, während zumindest eine dazu verschiedene Kamera der Kameras keinen Polarisationsfilter aufweist.(40a, b), which is arranged between the associated camera and the common point, and the polarization filters (40a, b) of different cameras (10a, b) have different polarization angles (152a, b) or at least one of the cameras has a polarization filter during at least one different camera of the cameras has no polarization filter. 10. Bilderfassungsvorrichtung nach einem der Ansprüche 7 - 9, wobei die Bilderfassungsvorrichtung eine Befestigung umfasst und die mindestens eine Kamera (10a,b) derart ausgerichtet ist, dass die mindestens eine Kamera (10a,b) mindes- tens ein Bild durch eine Windschutzscheibe eines Kraftfahrzeugs hindurch erfasst, wenn die Befestigung mittelbar oder unmittelbar an der Windschutzscheibe angeordnet ist. 10. The image capture device according to claim 7, wherein the image capture device comprises an attachment and the at least one camera is aligned such that the at least one camera has at least one image through a windshield of one Motor vehicle detected when the attachment is arranged directly or indirectly on the windshield.
PCT/EP2010/056647 2009-05-26 2010-05-14 Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system Ceased WO2010136344A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201080023334.0A CN102450023B (en) 2009-05-26 2010-05-14 Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system
EP10719943A EP2436190A1 (en) 2009-05-26 2010-05-14 Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009026463.9 2009-05-26
DE102009026463A DE102009026463A1 (en) 2009-05-26 2009-05-26 Image acquisition method for acquiring multiple images by means of an automotive camera system and associated image capture device of the camera system

Publications (1)

Publication Number Publication Date
WO2010136344A1 true WO2010136344A1 (en) 2010-12-02

Family

ID=42831612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/056647 Ceased WO2010136344A1 (en) 2009-05-26 2010-05-14 Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system

Country Status (4)

Country Link
EP (1) EP2436190A1 (en)
CN (1) CN102450023B (en)
DE (1) DE102009026463A1 (en)
WO (1) WO2010136344A1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011051583A1 (en) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Image pickup device for a vehicle
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
WO2019105737A1 (en) * 2017-11-29 2019-06-06 Robert Bosch Gmbh Method, device and computer program for determining a distance to an object
WO2019141201A1 (en) * 2018-01-17 2019-07-25 Master Dynamic Limited Colour grading process and system for jade
EP3416365A4 (en) * 2016-02-05 2019-09-18 BOE Technology Group Co., Ltd. IMAGE ACQUISITION SYSTEM, IMAGE ACQUISITION PROCESSING SYSTEM, AND IMAGE ACQUISITION PROCESSING METHOD
EP3696722A1 (en) * 2019-02-14 2020-08-19 Continental Automotive GmbH Method of removing stray light from a vehicle window in a camera arrangement, camera arrangement for using said method and computer programs
US11367292B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
DE102012222303B4 (en) 2012-06-12 2024-05-16 Hyundai Motor Company Apparatus and method for removing reflected light from an image of an imaging device
CN119224507A (en) * 2024-12-03 2024-12-31 南方电网科学研究院有限责任公司 A photoelectric synchronous data acquisition system and method for typical long air gap discharge at high altitude

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6388105B2 (en) * 2013-02-22 2018-09-12 パナソニックIpマネジメント株式会社 Camera device and method of controlling camera device
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
DE102014017229A1 (en) 2014-11-20 2016-05-25 Daimler Ag Camera system for a motor vehicle and motor vehicle with a camera system
DE102014224762B4 (en) * 2014-12-03 2016-10-27 Volkswagen Aktiengesellschaft Method and device for obtaining information about an object in a non-accessible, adjacent surrounding area of a motor vehicle
DE102015202376A1 (en) * 2015-02-11 2016-08-11 Conti Temic Microelectronic Gmbh Driver assistance system
DE102015209442A1 (en) * 2015-05-22 2016-11-24 Conti Temic Microelectronic Gmbh Road condition detection method and apparatus
WO2017056821A1 (en) * 2015-09-30 2017-04-06 ソニー株式会社 Information acquiring device and information acquiring method
DE102016006326A1 (en) 2016-05-24 2017-11-30 Audi Ag Linear polarized light emission through a vehicle headlight for use in a camera-based driver assistance system
DE102016007875A1 (en) 2016-06-28 2016-12-08 Daimler Ag Method for controlling a high beam device in a motor vehicle and device
DE102016215115A1 (en) * 2016-08-12 2018-02-15 Continental Automotive Gmbh Device and method for detecting road users in an environment of an ego vehicle
DE102016218390B3 (en) * 2016-09-23 2018-02-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Measuring arrangement and method for measuring mechanical stresses
CN106454040A (en) * 2016-10-21 2017-02-22 东风商用车有限公司 Night anti-dazzle vehicle-mounted camera and control method thereof
CN114241428B (en) * 2020-09-09 2025-08-26 浙江宇视科技有限公司 Polarization road camera control method, system, device and computer storage medium
CN112185126B (en) * 2020-09-27 2022-01-25 杭州海康威视数字技术股份有限公司 Method, device and equipment for determining polarization angle
CN113472985B (en) * 2021-06-28 2023-03-24 平湖莱顿光学仪器制造有限公司 Video processing method and device based on differential interference microscope image acquisition
CN115988302A (en) * 2022-12-21 2023-04-18 北京经纬恒润科技股份有限公司 Image imaging system
WO2024225173A1 (en) * 2023-04-26 2024-10-31 Sony Semiconductor Solutions Corporation Information generation apparatus, information generation system, and information generation method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2422614A1 (en) * 1973-05-11 1974-11-28 Nat Res Dev OPTICAL DIFFERENTIAL POLARIZATION SENSOR
US3904293A (en) * 1973-12-06 1975-09-09 Sherman Gee Optical method for surface texture measurement
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
DE102004061998A1 (en) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0490029B1 (en) 1990-12-11 1995-12-06 Daimler-Benz Aktiengesellschaft Apparatus for improving visibility, in particular in vehicles
EP1990674A1 (en) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2422614A1 (en) * 1973-05-11 1974-11-28 Nat Res Dev OPTICAL DIFFERENTIAL POLARIZATION SENSOR
US3904293A (en) * 1973-12-06 1975-09-09 Sherman Gee Optical method for surface texture measurement
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
DE102004061998A1 (en) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2436190A1 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011051583A1 (en) * 2011-07-05 2013-01-10 Conti Temic Microelectronic Gmbh Image pickup device for a vehicle
DE102012222303B4 (en) 2012-06-12 2024-05-16 Hyundai Motor Company Apparatus and method for removing reflected light from an image of an imaging device
US10764517B2 (en) 2013-01-15 2020-09-01 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9286522B2 (en) 2013-01-15 2016-03-15 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9531966B2 (en) 2013-01-15 2016-12-27 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9854185B2 (en) 2013-01-15 2017-12-26 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US10200638B2 (en) 2013-01-15 2019-02-05 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
EP3416365A4 (en) * 2016-02-05 2019-09-18 BOE Technology Group Co., Ltd. IMAGE ACQUISITION SYSTEM, IMAGE ACQUISITION PROCESSING SYSTEM, AND IMAGE ACQUISITION PROCESSING METHOD
WO2019105737A1 (en) * 2017-11-29 2019-06-06 Robert Bosch Gmbh Method, device and computer program for determining a distance to an object
CN111373411A (en) * 2017-11-29 2020-07-03 罗伯特·博世有限公司 Method, device and computer program for determining a distance to an object
WO2019141201A1 (en) * 2018-01-17 2019-07-25 Master Dynamic Limited Colour grading process and system for jade
EP3696722A1 (en) * 2019-02-14 2020-08-19 Continental Automotive GmbH Method of removing stray light from a vehicle window in a camera arrangement, camera arrangement for using said method and computer programs
US11367292B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
CN119224507A (en) * 2024-12-03 2024-12-31 南方电网科学研究院有限责任公司 A photoelectric synchronous data acquisition system and method for typical long air gap discharge at high altitude

Also Published As

Publication number Publication date
EP2436190A1 (en) 2012-04-04
CN102450023A (en) 2012-05-09
DE102009026463A1 (en) 2010-12-09
CN102450023B (en) 2015-05-20

Similar Documents

Publication Publication Date Title
EP2436190A1 (en) Image acquisition method for recording several images by an automotive camera system, and corresponding image acquisition device of the camera system
EP2657077B1 (en) Method and headlamp assembly for compensation of alignment errors a headlamp
EP2835973B1 (en) 3D camera and method for capturing of three-dimensional image data
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
EP1797534B1 (en) Method for detecting an optical structure
EP3696537B1 (en) Device and method for detecting damage to a moving vehicle
DE10244148A1 (en) Method and device for video-based observation and measurement of the lateral surroundings of a vehicle
DE102017222708A1 (en) 3D environment detection via projector and camera modules
DE69825525T2 (en) Device for creating an image and method and device for distance measurement
DE112012004055T5 (en) Imaging device
DE102020007613A1 (en) Method for generating a three-dimensional depth information map of an environment
EP2350977B1 (en) Method for combining at least two images to form a panoramic image
DE102020109997A1 (en) System and method for taking reliable stitched images
DE102015223500B4 (en) Method and device for testing the functionality of an outside light device of a vehicle
DE102007025147A1 (en) Lane departure warning and/or lane keeping function providing system for motor vehicle i.e. car, has camera aligned perpendicularly downward to road surface and serving for recognition of lane marking provided on road surface
DE102015208442A1 (en) Method and device for determining at least one object image in an environment around a non-sensitive optical image sensor
DE102010036852C5 (en) stereo camera
DE102008059551B4 (en) Method for determining the change in position of a camera system and device for capturing and processing images
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102004053416A1 (en) Stereoscopic distance measurement system to determine distance of object from motor vehicle has splitter mirror element to deflect first part of virtual beam bundle from camera which is then overlapped by second part of beam bundle
DE102011007464A1 (en) Method for visualizing scene, involves selecting scene region in three-dimensional image based on distance information, marking selected scene region in two-dimensional image and presenting scene with marked scene region on display unit
EP3049757B1 (en) Chassis measurement under ambient light
WO2013079727A1 (en) Measurement method and device for performing the measurement method
EP1437615A1 (en) Night vision system for vehicles
DE102004056349A1 (en) Image capturing system for use in motor vehicle, comprises a camera and a mirror for capturing the near region in front of the system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023334.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10719943

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010719943

Country of ref document: EP