[go: up one dir, main page]

WO2025103747A1 - Method and device for determining the position of an environment sensor on a vehicle - Google Patents

Method and device for determining the position of an environment sensor on a vehicle Download PDF

Info

Publication number
WO2025103747A1
WO2025103747A1 PCT/EP2024/080442 EP2024080442W WO2025103747A1 WO 2025103747 A1 WO2025103747 A1 WO 2025103747A1 EP 2024080442 W EP2024080442 W EP 2024080442W WO 2025103747 A1 WO2025103747 A1 WO 2025103747A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image recording
environmental sensor
recording device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/080442
Other languages
German (de)
French (fr)
Inventor
Mauro Disaro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of WO2025103747A1 publication Critical patent/WO2025103747A1/en
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method and a device for determining the position of an environmental sensor on a vehicle, in particular on a motor vehicle.
  • a driver assistance system typically includes at least one environmental sensor designed to detect the vehicle's surroundings.
  • environmental sensors can include, for example, optical cameras, radar sensors, and laser sensors, particularly LIDAR sensors.
  • the positions of the environmental sensors in relation to the body must be checked and, if necessary, corrected to prevent incorrect data from being transmitted from the environmental sensors to the driver assistance system, which could result in a malfunction of the driver assistance system.
  • a method according to the invention for determining the position of an environmental sensor mounted on a vehicle comprises: positioning at least one image recording device at a first position in front of the vehicle; using the at least one image recording device to record a first image of the vehicle and determine the position of the vehicle in a coordinate system of the at least one image recording device; identifying the environmental sensor in the first image and determining the position of the environmental sensor in the coordinate system of the at least one image recording device.
  • the method further comprises positioning the at least one image recording device at a second position in front of the vehicle; using the at least one image recording device to record a second image of the vehicle and determine the position of the vehicle in the coordinate system of the at least one image recording device; identifying the environmental sensor in the second image and determining the position of the environmental sensor in the coordinate system of the at least one image recording device.
  • the method comprises determining a vehicle reference system from the first or second recorded image of the vehicle and a transformation between this vehicle reference system and the coordinate system of the at least one image recording device.
  • the method further comprises determining a transformation between the first and second positions of the at least one image recording device in front of the vehicle from the images recorded in the first position and in the second position of the at least one image recording device, and using this transformation to determine the position of the environmental sensor in the coordinate system of the at least one image recording device by triangulation.
  • the method comprises determining the position of the environmental sensor in the vehicle reference system from the previously determined position of the environmental sensor in the coordinate system of the at least one image recording device using the previously determined transformation between the vehicle reference system and the coordinate system of the image recording devices.
  • vehicle measurement device a device for optical vehicle measurement
  • vehicle measurement device which has at least one image recording device and which is designed to carry out a method according to the invention for determining the position of an environmental sensor mounted on a vehicle.
  • a method and a device according to the invention make it possible to quickly, conveniently and reliably determine and check the position at which an environmental sensor is attached to a vehicle, in particular the position of an environmental sensor of a driver assistance system.
  • the position of the environmental sensor can be checked using a standardized procedure, and a digital record of the checking and calibration of the environmental sensor can be created.
  • the risk of human error can be reduced. This can also improve the road safety of a vehicle equipped with a driver assistance system.
  • a method and a device according to the invention can be used in particular in the workshop area in order to be able to quickly and reliably determine and check the positions of environmental sensors after repairs, in particular after repairs to the body of the vehicle.
  • a device according to the invention can be a vehicle measurement device, such as those often already available in workshops.
  • the additional costs incurred in the workshop area for implementing a method according to the invention can be reduced in this way.
  • Determining the position of the vehicle in the coordinate system of the at least one image recording device may in particular comprise determining the geometric longitudinal axis of the vehicle.
  • the environmental sensor whose position is checked can be a radar sensor or a laser sensor, in particular a LIDAR sensor.
  • the method comprises displaying the previously determined position of the environmental sensor in the vehicle reference system on a display device and/or outputting the determined position of the environmental sensor in the vehicle reference system via an output device. This makes it possible to verify the position of the environmental sensor on the vehicle.
  • the method comprises comparing the position of the environmental sensor on the vehicle, determined according to the invention, with a predefined reference position of the environmental sensor.
  • the method can, in particular, comprise issuing an error or warning message if the position of the environmental sensor on the vehicle, determined according to the invention, deviates from the predefined reference value by more than a predefined tolerance range. In this way, the position of the environmental sensor can be checked automatically. Checking the position of the environmental sensor can thus be simplified and accelerated, and the risk of human error can be further reduced.
  • the method comprises identifying the environmental sensor using classical image pattern recognition methods in the captured images.
  • the method may comprise identifying the environmental sensor in the recorded images using artificial intelligence methods, e.g. using neural networks.
  • the method comprises attaching at least one measuring plate to the vehicle and identifying it in the captured images of the vehicle.
  • the at least one measuring plate can, in particular, be attached to at least one of the vehicle's wheels.
  • the accuracy and reliability of the method can be improved by using at least one measuring plate.
  • the method comprises attaching a measuring plate to each of two or four wheels of the vehicle. Using multiple measuring plates can further improve the accuracy and reliability of the method.
  • the vehicle reference system can be determined solely from the images of the measurement boards. The use of multiple measurement boards therefore makes it possible to determine a vehicle reference system even when the shape of the vehicle body is unknown.
  • the origin of the vehicle reference system can, for example, be set to the center point of a virtual line connecting the two measuring plates attached to the wheels of an axle, in particular the wheels on a front axle of the vehicle.
  • the longitudinal axis of the vehicle can be defined as an axis oriented orthogonally to this virtual line and passing through the origin of the vehicle reference system.
  • the at least one image recording device is part of a device for optical vehicle measurement.
  • an existing device for optical vehicle measurement is upgraded cost-effectively to a vehicle measurement device according to the invention by updating the software of the device ("software update"), which is capable of carrying out a method according to the invention.
  • the device for optical vehicle measurement can, for example, be a device for optical vehicle measurement such as that offered by BOSCH under the names DAS3000 or SCT-418.
  • the at least one image capture device may be a mono image capture device or a stereo image capture device. Two mono image capture devices may also be used, interacting to provide the functions of a stereo image capture device.
  • Images from multiple image recording devices can also be used to carry out a method according to the invention.
  • a device according to the invention can be equipped with multiple image recording devices designed to provide images of the vehicle.
  • Figure 1 A shows a schematic view of a measuring station with a vehicle and with a device according to the invention for determining the position of an environmental sensor of the vehicle, wherein the device is arranged at a first position.
  • Figure 1 B shows a schematic view of the measuring station with the vehicle and with the device according to the invention for determining the position of the environmental sensor of the vehicle, wherein the device is arranged at a second position.
  • Figure 2 shows a schematic flow diagram of a method according to the invention for determining the position of an environmental sensor on a vehicle.
  • Character description Figure 1 A shows a schematic view of a measuring station 1 with a vehicle 2 equipped with an environmental sensor 4 and with a device 10 for optical vehicle measurement arranged at a first position on the measuring station 1.
  • Figure 1 B shows a schematic view of a measuring station 1 with a vehicle 2 equipped with an environmental sensor 4 and with the device for optical vehicle measurement arranged at a second position on the measuring station 1, wherein the first position differs from the second position.
  • the device 10 for optical vehicle measurement is also referred to below as vehicle measurement device 10.
  • the environmental sensor 4 can be, for example, a radar sensor or a laser sensor, in particular a LIDAR sensor.
  • the environmental sensor 4 can be mounted on or in the body of the vehicle 2.
  • the environmental sensor 4 can, in particular, be mounted in, on, or behind a bumper 5 of the vehicle 2.
  • the vehicle 2 can also be equipped with multiple environmental sensors 4.
  • a method according to the invention, as described below, can in this case be carried out for each of the environmental sensors 4 installed in or on the vehicle 2.
  • the vehicle 2 has four wheels 6, with a measuring plate 8 attached to each of the four wheels 4. It is also possible that a measuring plate 8 is attached to none, only to one, or only to two of the four wheels 6 of the vehicle 2.
  • the vehicle measuring device 10 has two image recording devices 12a, 12b and an evaluation device 14.
  • vehicle measurement device 10 may also be equipped with only a single image recording device 12a, 12b.
  • Each of the image pickup devices 12a, 12b may be a mono image pickup device 12a, 12b or a stereo image pickup device 12a, 12b.
  • the vehicle measuring device 10 can, for example, be a vehicle measuring device 10 as offered by BOSCH under the names DAS3000 or SCT-418.
  • the evaluation device 14 of a device 10 according to the invention is designed to carry out a method according to the invention for determining the position of the environmental sensor 4 on the vehicle 2.
  • the evaluation device 14 may have at least one microprocessor 15 which is provided to execute a program which allows the device 10 to carry out a method according to the invention.
  • the vehicle measurement device 10 may have a display device 16 and/or another type of output device 18, e.g., a printer and/or a data interface, to enable the position of the environmental sensor determined according to the invention to be displayed on the display device 16 and/or output via the output device 18.
  • a display device 16 and/or another type of output device 18, e.g., a printer and/or a data interface to enable the position of the environmental sensor determined according to the invention to be displayed on the display device 16 and/or output via the output device 18.
  • the data interface can be designed for wired and/or wireless data transmission.
  • Figure 2 is a schematic flow diagram of a method for determining the position of an environmental sensor on a vehicle according to an embodiment of the invention.
  • the method comprises, in a first step S11, positioning the vehicle measuring device 10 with the image recording devices 12a, 12b at a first position in front of the vehicle, as shown by way of example in Figure 1A.
  • the method also comprises, in a second step S12, recording a first image of the vehicle 2 with the image recording devices 12a, 12b of the vehicle measuring device 10, and, in a third step S13, determining the position of the vehicle 2 or of the measuring panels 8 attached to the vehicle 2 in a coordinate system of the image recording devices 12a, 12b.
  • the environmental sensor 4 is identified in the first image, and the position of the environmental sensor 4 in the coordinate system of the image recording devices 12a, 12b is determined.
  • the vehicle measuring device 10 with the image recording devices 12a, 12b is then positioned in step S21 at a second position, which differs from the first position, in front of the vehicle 2, as shown by way of example in Figure 1B.
  • step S22 a second image of the vehicle 2 is recorded using the image recording devices 12a, 12b, and in a subsequent step S23, the position of the vehicle 2 or of the measuring panels 8 attached to the vehicle 2 is determined in a coordinate system of the image recording devices 12a, 12b.
  • step S25 a vehicle reference system F is determined in the coordinate system of the image recording devices 12a, 12b, and a transformation T ve hicie between these two coordinate systems is determined.
  • the vehicle reference system F and an associated transformation Tvehicie between the coordinate systems may also be determined based on the position of the vehicle 2 determined in step S13 while the vehicle measurement device 10 is positioned at the first position.
  • step S24 environmental sensor 4 is identified in the second image and the position of environmental sensor 4 in the coordinate system of image recording devices 12a, 12b is determined.
  • the vehicle 2 and/or the environmental sensor 4 can be identified in the recorded images using known classical methods of optical pattern recognition and/or using methods of artificial intelligence.
  • a transformation T C ameraicamera2 between the two positions of the vehicle measuring device 10 is determined.
  • step S40 this transformation T C ameraicamera2 between the two positions of the vehicle measurement device 10 is used to determine the 3D position T spo t of the environmental sensor 4 in the reference system of the image recording devices 12a, 12b by triangulation.
  • step S50 the position T spo t of the environmental sensor 4 in the reference system of the image recording devices 12a, 12b, determined in step S40, is then transformed in step S50 into the position of the environmental sensor 4 in the vehicle reference system F.
  • step S60 the result, i.e. the position of the environmental sensor 4 in the reference system of the vehicle 2 determined in this way, is displayed to the user on the display device 16 of the vehicle measuring device 10 and/or output via the output device 18.
  • the method can also comprise comparing the previously determined position of the environmental sensor 4 in the vehicle reference system F with a predetermined reference value T re f and outputting a message which indicates whether the position of the environmental sensor 4 determined in a method according to the invention lies within a predetermined tolerance range around the predetermined reference value T re f, so that the position of the environmental sensor 4 on the vehicle 2 can be regarded as correct, or whether the determined position of the environmental sensor 4 lies outside the predetermined tolerance range around the predetermined reference value T re f, so that the position of the environmental sensor 4 on the vehicle 2 must be regarded as incorrect.
  • the position of the environmental sensor 4 on the vehicle 2 can be determined and checked quickly and reliably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

A method for determining the position of an environment sensor (4) on a vehicle (2) comprises: positioning at least one image-capturing device (12a, 12b) at a first position in front of the vehicle (2); capturing a first image of the vehicle (2) by means of the at least one image-capturing device (12a, 12b) and determining the position of the vehicle (2) in a coordinate system of the at least one image-capturing device (12a, 12b); identifying the environment sensor (4) in the first image and determining the position of the environment sensor (4) in the coordinate system of the at least one image-capturing device (12a, 12b); positioning the at least one image-capturing device (12a, 12b) at a second position in front of the vehicle (2); capturing a second image of the vehicle (2) by means of the at least one image-capturing device (12a, 12b) and determining the position of the vehicle (2) in the coordinate system of the at least one image-capturing device (12a, 12b); identifying the environment sensor (4) in the second image and determining the position of the environment sensor (4) in the coordinate system of the at least one image-capturing device (12a, 12b); and determining a vehicle reference system from the captured images of the vehicle (2) and determining the position of the environment sensor (4) in the vehicle reference system.

Description

Beschreibung Description

Titel zum Bestimmen der Position eines

Figure imgf000003_0001
em
Figure imgf000003_0002
Title to determine the position of a
Figure imgf000003_0001
em
Figure imgf000003_0002

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen der Position eines Umgebungssensors an einem Fahrzeug, insbesondere an einem Kraftfahrzeug. The invention relates to a method and a device for determining the position of an environmental sensor on a vehicle, in particular on a motor vehicle.

Stand der Technik State of the art

Moderne Fahrzeuge sind häufig mit Fahrerassistenzsystemen ausgestattet, die den Fahrer beim Führen des Fahrzeugs unterstützen. Ein Fahrerassistenzsystem umfasst üblicherweise wenigstens einen Umgebungssensor, der dazu ausgebildet ist, die Umgebung des Fahrzeugs zu erfassen. Solche Umgebungssensoren können beispielsweise optische Kameras, Radar-Sensoren und Laser-Sensoren, insbesondere LIDAR-Sensoren, umfassen. Modern vehicles are often equipped with driver assistance systems that support the driver in driving the vehicle. A driver assistance system typically includes at least one environmental sensor designed to detect the vehicle's surroundings. Such environmental sensors can include, for example, optical cameras, radar sensors, and laser sensors, particularly LIDAR sensors.

Während optische Kameras meist hinter der Windschutz- oder Heckscheibe des Fahrzeugs verbaut sind, sind Radar-Sensoren und Laser-Sensoren häufig direkt an der Karosserie, beispielsweise hinter einer Stoßstange, des Fahrzeugs montiert. While optical cameras are usually installed behind the windshield or rear window of the vehicle, radar sensors and laser sensors are often mounted directly on the body of the vehicle, for example behind a bumper.

Nach einer Reparatur des Fahrzeugs, insbesondere nach einer Reparatur der Karosserie, müssen die Positionen der Umgebungssensoren in Bezug auf die Karosserie überprüft und ggf. korrigiert werden, um zu verhindern, dass fehlerhafte Daten von den Umgebungssensoren an das Fahrerassistenzsystem übermittelt werden, die eine Fehlfunktion des Fahrerassistenzsystems zur Folge haben können.

Figure imgf000003_0003
After a vehicle repair, in particular after a repair of the body, the positions of the environmental sensors in relation to the body must be checked and, if necessary, corrected to prevent incorrect data from being transmitted from the environmental sensors to the driver assistance system, which could result in a malfunction of the driver assistance system.
Figure imgf000003_0003

Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur Verfügung zu stellen, die es ermöglichen und insbesondere erleichtern, die Positionen von Umgebungssensoren an einem Fahrzeug zu bestimmen und zu überprüfen. Ein erfindungsgemäßes Verfahren zum Bestimmen der Position eines an einem Fahrzeug angebrachten Umgebungssensors umfasst: wenigstens eine Bildaufnahmevorrichtung an einer ersten Position vor dem Fahrzeug zu positionieren; mit der wenigstens einen Bildaufnahmevorrichtung ein erstes Bild des Fahrzeugs aufzunehmen und die Position des Fahrzeugs in einem Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen; den Umgebungssensor in dem ersten Bild zu identifizieren und die Position des Umgebungssensors im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen. Das Verfahren umfasst darüber hinaus, die wenigstens eine Bildaufnahmevorrichtung an einer zweiten Position vor dem Fahrzeug zu positionieren; mit der wenigstens einen Bildaufnahmevorrichtung ein zweites Bild des Fahrzeugs aufzunehmen und die Position des Fahrzeugs im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen; den Umgebungssensor in dem zweiten Bild zu identifizieren und die Position des Umgebungssensors im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen. It is an object of the invention to provide a method and a device which enable and in particular facilitate the determination and checking of the positions of environmental sensors on a vehicle. A method according to the invention for determining the position of an environmental sensor mounted on a vehicle comprises: positioning at least one image recording device at a first position in front of the vehicle; using the at least one image recording device to record a first image of the vehicle and determine the position of the vehicle in a coordinate system of the at least one image recording device; identifying the environmental sensor in the first image and determining the position of the environmental sensor in the coordinate system of the at least one image recording device. The method further comprises positioning the at least one image recording device at a second position in front of the vehicle; using the at least one image recording device to record a second image of the vehicle and determine the position of the vehicle in the coordinate system of the at least one image recording device; identifying the environmental sensor in the second image and determining the position of the environmental sensor in the coordinate system of the at least one image recording device.

Das Verfahren umfasst, aus dem ersten oder aus dem zweiten aufgenommenen Bild des Fahrzeugs ein Fahrzeug- Referenzsystem und eine Transformation zwischen diesem Fahrzeug- Referenzsystem und dem Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen. The method comprises determining a vehicle reference system from the first or second recorded image of the vehicle and a transformation between this vehicle reference system and the coordinate system of the at least one image recording device.

Das Verfahren umfasst weiter, aus den Bildern, die in der ersten Position und in der zweiten Position der wenigstens einen Bildaufnahmevorrichtung aufgenommen worden sind, eine Transformation zwischen der ersten und der zweiten Position der wenigstens einen Bildaufnahmevorrichtung vor dem Fahrzeug zu bestimmen, und unter Verwendung dieser Transformation durch Triangulation die Position des Umgebungssensors im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung zu bestimmen. The method further comprises determining a transformation between the first and second positions of the at least one image recording device in front of the vehicle from the images recorded in the first position and in the second position of the at least one image recording device, and using this transformation to determine the position of the environmental sensor in the coordinate system of the at least one image recording device by triangulation.

Schließlich umfasst das Verfahren, unter Verwendung der zuvor bestimmten Transformation zwischen dem Fahrzeug- Referenzsystem und dem Koordinatensystem der Bildaufnahmevorrichtungen aus der zuvor bestimmten Position des Umgebungssensors im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung die Position des Umgebungssensors in dem Fahrzeug- Referenzsystem zu bestimmen. Die Erfindung umfasst auch eine Vorrichtung zur optischen Fahrzeugvermessung (,, Fahrzeugvermessungsvorrichtung“), die wenigstens eine Bildaufnahmevorrichtung aufweist und die dazu ausgebildet ist, ein erfindungsgemäßes Verfahren zum Bestimmen der Position eines an einem Fahrzeug montierten Umgebungssensors durchzuführen. Finally, the method comprises determining the position of the environmental sensor in the vehicle reference system from the previously determined position of the environmental sensor in the coordinate system of the at least one image recording device using the previously determined transformation between the vehicle reference system and the coordinate system of the image recording devices. The invention also includes a device for optical vehicle measurement (“vehicle measurement device”), which has at least one image recording device and which is designed to carry out a method according to the invention for determining the position of an environmental sensor mounted on a vehicle.

Ein erfindungsgemäßes Verfahren und eine erfindungsgemäße Vorrichtung ermöglichen es, die Position, an der ein Umgebungssensor an einem Fahrzeug angebracht ist, insbesondere die Position eines Umgebungssensors eines Fahrerassistenzsystems, schnell, bequem und zuverlässig zu bestimmen und zu überprüfen. A method and a device according to the invention make it possible to quickly, conveniently and reliably determine and check the position at which an environmental sensor is attached to a vehicle, in particular the position of an environmental sensor of a driver assistance system.

Erfindungsgemäß kann das Überprüfen der Position des Umgebungssensors in einem standardisierten Verfahren erfolgen, und es kann ein digitales Protokoll des Überprüfens und Kalibrierens des Umgebungssensors erstellt werden. According to the invention, the position of the environmental sensor can be checked using a standardized procedure, and a digital record of the checking and calibration of the environmental sensor can be created.

Mit einem erfindungsgemäßen Verfahren und durch die Verwendung einer erfindungsgemäße Vorrichtung kann die Gefahr menschlicher Fehler reduziert werden. Dadurch kann auch die Verkehrssicherheit des Fahrzeugs, das mit einem Fahrerassistenzsystem ausgestattet ist, verbessert werden. Using a method according to the invention and a device according to the invention, the risk of human error can be reduced. This can also improve the road safety of a vehicle equipped with a driver assistance system.

Ein erfindungsgemäßes Verfahren und eine erfindungsgemäße Vorrichtung können insbesondere im Werkstattbereich zum Einsatz kommen, um die Positionen von Umgebungssensoren nach Reparaturen, insbesondere nach Reparaturen an der Karosserie des Fahrzeugs, schnell und zuverlässig bestimmen und überprüfen zu können. A method and a device according to the invention can be used in particular in the workshop area in order to be able to quickly and reliably determine and check the positions of environmental sensors after repairs, in particular after repairs to the body of the vehicle.

Eine erfindungsgemäße Vorrichtung kann eine Vorrichtung zur Fahrzeugvermessung sein, wie sie in Werkstätten häufig bereits vorhanden ist. Die zusätzlichen Kosten, die im Werkstattbereich anfallen, um ein erfindungsgemäßes Verfahren durchführen zu können, können auf diese Weise reduziert werden. A device according to the invention can be a vehicle measurement device, such as those often already available in workshops. The additional costs incurred in the workshop area for implementing a method according to the invention can be reduced in this way.

Das Bestimmen der Position des Fahrzeugs im Koordinatensystem der wenigstens einen Bildaufnahmevorrichtung kann insbesondere umfassen, die geometrische Längsachse des Fahrzeugs zu bestimmen. Der Umgebungssensor, dessen Position überprüft wird, kann ein Radarsensor oder ein Laser-Sensor, insbesondere ein LIDAR-Sensor, sein. Determining the position of the vehicle in the coordinate system of the at least one image recording device may in particular comprise determining the geometric longitudinal axis of the vehicle. The environmental sensor whose position is checked can be a radar sensor or a laser sensor, in particular a LIDAR sensor.

In einer Ausführungsform umfasst das Verfahren, die zuvor bestimmte Position des Umgebungssensors im Fahrzeug- Referenzsystem auf einer Anzeigevorrichtung anzuzeigen und/oder die bestimmte Position des Umgebungssensors im Fahrzeug- Referenzsystem über eine Ausgabevorrichtung auszugeben. Dies ermöglicht es, die Position des Umgebungssensors am Fahrzeug zu überprüfen. In one embodiment, the method comprises displaying the previously determined position of the environmental sensor in the vehicle reference system on a display device and/or outputting the determined position of the environmental sensor in the vehicle reference system via an output device. This makes it possible to verify the position of the environmental sensor on the vehicle.

In einer Ausführungsform umfasst das Verfahren, die erfindungsgemäß bestimmte Position des Umgebungssensors an dem Fahrzeug mit einer vorgegebenen Referenzposition des Umgebungssensors zu vergleichen. Das Verfahren kann insbesondere umfassen, eine Fehler- bzw. Warnmeldung auszugeben, wenn die erfindungsgemäß bestimmte Position des Umgebungssensors an dem Fahrzeug um mehr als einen vorgegebenen Toleranzbereich von dem vorgegebenen Referenzwert abweicht. Auf diese Weise kann die Position des Umgebungssensors automatisch überprüft werden. Das Überprüfen der Position des Umgebungssensors kann dadurch vereinfacht und beschleunigt werden, und die Gefahr menschlicher Fehler kann noch weiter reduziert werden. In one embodiment, the method comprises comparing the position of the environmental sensor on the vehicle, determined according to the invention, with a predefined reference position of the environmental sensor. The method can, in particular, comprise issuing an error or warning message if the position of the environmental sensor on the vehicle, determined according to the invention, deviates from the predefined reference value by more than a predefined tolerance range. In this way, the position of the environmental sensor can be checked automatically. Checking the position of the environmental sensor can thus be simplified and accelerated, and the risk of human error can be further reduced.

In einer Ausführungsform umfasst das Verfahren, den Umgebungssensor mit Hilfe klassischer Verfahren der Bildmustererkennung in den aufgenommenen Bildern zu identifizieren. In one embodiment, the method comprises identifying the environmental sensor using classical image pattern recognition methods in the captured images.

Alternativ oder zusätzlich kann das Verfahren umfassen, den Umgebungssensor mit Hilfe von Verfahren der künstlichen Intelligenz, z.B. unter Verwendung neuronaler Netzes, in den aufgenommenen Bildern zu identifizieren. Alternatively or additionally, the method may comprise identifying the environmental sensor in the recorded images using artificial intelligence methods, e.g. using neural networks.

In einer Ausführungsform umfasst das Verfahren, wenigstens eine Messtafel an dem Fahrzeug anzubringen und in den aufgenommenen Bildern des Fahrzeugs zu identifizieren. Die wenigstens eine Messtafel kann insbesondere an wenigstens einem der Räder des Fahrzeugs angebracht werden. Durch die Verwendung wenigstens einer Messtafel können die Genauigkeit und die Zuverlässigkeit des Verfahrens verbessert werden. In einer Ausführungsform umfasst das Verfahren, an zwei oder an vier Rädern des Fahrzeugs jeweils eine Messtafel anzubringen. Durch die Verwendung mehrerer Messtafeln können die Genauigkeit und die Zuverlässigkeit des Verfahrens noch weiter verbessert werden. In one embodiment, the method comprises attaching at least one measuring plate to the vehicle and identifying it in the captured images of the vehicle. The at least one measuring plate can, in particular, be attached to at least one of the vehicle's wheels. The accuracy and reliability of the method can be improved by using at least one measuring plate. In one embodiment, the method comprises attaching a measuring plate to each of two or four wheels of the vehicle. Using multiple measuring plates can further improve the accuracy and reliability of the method.

Werden mehrere Messtafeln verwendet, kann das Fahrzeug- Referenzsystem allein aus den Bildern der Messtafeln bestimmt werden. Die Verwendung mehrere Messtafeln ermöglicht es daher insbesondere, ein Fahrzeug- Referenzsystem auch dann zu bestimmen, wenn die Form der Karosserie der Fahrzeugs nicht bekannt ist. If multiple measurement boards are used, the vehicle reference system can be determined solely from the images of the measurement boards. The use of multiple measurement boards therefore makes it possible to determine a vehicle reference system even when the shape of the vehicle body is unknown.

Der Ursprung des Fahrzeug- Referenzsystem kann beispielsweise auf den Mittelpunkt einer virtuellen Linie gelegt werden, welche die beiden Messtafeln, die an den Rädern einer Achse, insbesondere an den Rädern an einer Vorderachse des Fahrzeugs, angebracht sind, miteinander verbindet. Die Längsachse des Fahrzeugs kann als eine Achse bestimmt werden, die orthogonal zu dieser virtuellen Linie ausgerichtet ist und die durch den Ursprung des Fahrzeug- Referenzsystems verläuft. The origin of the vehicle reference system can, for example, be set to the center point of a virtual line connecting the two measuring plates attached to the wheels of an axle, in particular the wheels on a front axle of the vehicle. The longitudinal axis of the vehicle can be defined as an axis oriented orthogonally to this virtual line and passing through the origin of the vehicle reference system.

In einer Ausführungsform ist die wenigstens eine Bildaufnahmevorrichtung Bestandteil einer Vorrichtung zur optischen Fahrzeugvermessung. In one embodiment, the at least one image recording device is part of a device for optical vehicle measurement.

In einer Ausführungsform wird eine vorhandene Vorrichtung zur optischen Fahrzeugvermessung durch eine Aktualisierung der Software der Vorrichtung ("Software- Update") kostengünstig zu einer erfindungsgemäßen Fahrzeugvermessungsvorrichtung aufgerüstet, die in der Lage ist, ein erfindungsgemäßes Verfahren auszuführen. In one embodiment, an existing device for optical vehicle measurement is upgraded cost-effectively to a vehicle measurement device according to the invention by updating the software of the device ("software update"), which is capable of carrying out a method according to the invention.

Die Vorrichtung zur optischen Fahrzeugvermessung kann beispielsweise eine Vorrichtung zur optischen Fahrzeugvermessung sein, wie sie von BOSCH unter den Namen DAS3000 oder SCT-418 angeboten wird. The device for optical vehicle measurement can, for example, be a device for optical vehicle measurement such as that offered by BOSCH under the names DAS3000 or SCT-418.

Auf diese Weise kann eine bereits vorhandene Vorrichtung zur optischen Fahrzeugvermessung so erweitert werden, dass sie kostengünstig zur Durchführung eines erfindungsgemäßen Verfahrens eingesetzt werden kann. Die wenigstens eine Bildaufnahmevorrichtung kann eine Mono- Bildaufnahmevorrichtung oder eine Stereo-Bildaufnahmevorrichtung sein. Es können auch zwei Mono-Bildaufnahmevorrichtungen verwendet werden, die Zusammenwirken, um die Funktionen einer Stereo-Bildaufnahmevorrichtung zur Verfügung zu stellen. In this way, an existing device for optical vehicle measurement can be extended so that it can be used cost-effectively to carry out a method according to the invention. The at least one image capture device may be a mono image capture device or a stereo image capture device. Two mono image capture devices may also be used, interacting to provide the functions of a stereo image capture device.

Es können auch die Bilder mehrerer Bildaufnahmevorrichtungen zur Durchführung eines erfindungsgemäßen Verfahrens verwendet werden. Insbesondere kann eine erfindungsgemäße Vorrichtung mit mehreren Bildaufnahmevorrichtungen ausgestattet sein, die dazu vorgesehen sind, Bilder des Fahrzeugs zur Verfügung zu stellen. Images from multiple image recording devices can also be used to carry out a method according to the invention. In particular, a device according to the invention can be equipped with multiple image recording devices designed to provide images of the vehicle.

Durch Verwenden mehrere Bilder, die von mehreren Bildaufnahmevorrichtungen zur Verfügung gestellt werden, können die Genauigkeit und die Zuverlässigkeit des Verfahrens noch weiter verbessert werden. By using multiple images provided by multiple image acquisition devices, the accuracy and reliability of the method can be further improved.

Ein Ausführungsbeispiel der Erfindung wird im Folgenden unter Bezugnahme auf die beigefügten Figuren beschrieben. An embodiment of the invention is described below with reference to the accompanying figures.

Kurze

Figure imgf000008_0001
der
Figure imgf000008_0002
Short
Figure imgf000008_0001
the
Figure imgf000008_0002

Figur 1 A zeigt in einer schematischen Ansicht einen Messplatz mit einem Fahrzeug und mit einer erfindungsgemäßen Vorrichtung zum Bestimmen der Position eines Umgebungssensors des Fahrzeugs, wobei die Vorrichtung an einer ersten Position angeordnet ist. Figure 1 A shows a schematic view of a measuring station with a vehicle and with a device according to the invention for determining the position of an environmental sensor of the vehicle, wherein the device is arranged at a first position.

Figur 1 B zeigt eine schematische Ansicht des Messplatzes mit dem Fahrzeug und mit der erfindungsgemäßen Vorrichtung zum Bestimmen der Position des Umgebungssensors des Fahrzeugs, wobei die Vorrichtung an einer zweiten Position angeordnet ist. Figure 1 B shows a schematic view of the measuring station with the vehicle and with the device according to the invention for determining the position of the environmental sensor of the vehicle, wherein the device is arranged at a second position.

Figur 2 zeigt ein schematisches Flussdiagramm eines erfindungsgemäßen Verfahrens zum Bestimmen der Position eines Umgebungssensors an einem Fahrzeug. Figure 2 shows a schematic flow diagram of a method according to the invention for determining the position of an environmental sensor on a vehicle.

Figurenbeschreibung Figur 1 A zeigt in einer schematischen Ansicht einen Messplatz 1 mit einem Fahrzeug 2, das mit einem Umgebungssensor 4 ausgestattet ist, und mit einer Vorrichtung 10 zur optischen Fahrzeugvermessung, die an einer ersten Position auf dem Messplatz 1 angeordnet ist. Character description Figure 1 A shows a schematic view of a measuring station 1 with a vehicle 2 equipped with an environmental sensor 4 and with a device 10 for optical vehicle measurement arranged at a first position on the measuring station 1.

Figur 1 B zeigt in einer schematischen Ansicht einen Messplatz 1 mit einem Fahrzeug 2, das mit einem Umgebungssensor 4 ausgestattet ist, und mit der Vorrichtung zur optischen Fahrzeugvermessung, die an einer zweiten Position auf dem Messplatz 1 angeordnet ist, wobei sich die erste Position von der zweiten Position unterscheidet. Figure 1 B shows a schematic view of a measuring station 1 with a vehicle 2 equipped with an environmental sensor 4 and with the device for optical vehicle measurement arranged at a second position on the measuring station 1, wherein the first position differs from the second position.

Die Vorrichtung 10 zur optischen Fahrzeugvermessung wird im Folgenden auch als Fahrzeugvermessungsvorrichtung 10 bezeichnet. The device 10 for optical vehicle measurement is also referred to below as vehicle measurement device 10.

Der Umgebungssensor 4 kann beispielsweise ein Radarsensor oder ein Lasersensor, insbesondere ein LIDAR-Sensor, sein. Der Umgebungssensor 4 kann an oder in der Karosserie des Fahrzeugs 2 angebracht sein. Der Umgebungssensor 4 kann insbesondere in, an oder hinter einer Stoßstange 5 des Fahrzeugs 2 angebracht sein. The environmental sensor 4 can be, for example, a radar sensor or a laser sensor, in particular a LIDAR sensor. The environmental sensor 4 can be mounted on or in the body of the vehicle 2. The environmental sensor 4 can, in particular, be mounted in, on, or behind a bumper 5 of the vehicle 2.

Obwohl in den Figuren 1 A und 1 B nur ein einziger Umgebungssensor 4 gezeigt ist, kann das Fahrzeug 2 auch mit mehreren Umgebungssensoren 4 ausgestattet sein. Ein erfindungsgemäßes Verfahren, wie es im Folgenden beschrieben wird, kann in diesem Fall für jeden der in oder an dem Fahrzeug 2 verbauten Umgebungssensoren 4 durchgeführt werden. Although only a single environmental sensor 4 is shown in Figures 1A and 1B, the vehicle 2 can also be equipped with multiple environmental sensors 4. A method according to the invention, as described below, can in this case be carried out for each of the environmental sensors 4 installed in or on the vehicle 2.

Das Fahrzeug 2 hat vier Räder 6, wobei an jedem der vier Räder 4 jeweils eine Messtafel 8 angebracht ist. Es ist auch möglich, dass an keinem, nur an einem oder nur an zwei der vier Räder 6 des Fahrzeugs 2 jeweils eine Messtafel 8 angebracht ist. The vehicle 2 has four wheels 6, with a measuring plate 8 attached to each of the four wheels 4. It is also possible that a measuring plate 8 is attached to none, only to one, or only to two of the four wheels 6 of the vehicle 2.

Die Fahrzeugvermessungsvorrichtung 10 weist zwei Bildaufnahmevorrichtungen 12a, 12b und eine Auswertevorrichtung 14 auf. The vehicle measuring device 10 has two image recording devices 12a, 12b and an evaluation device 14.

In alternativen Ausführungsbeispielen kann Fahrzeugvermessungsvorrichtung 10 auch nur mit einer einzigen Bildaufnahmevorrichtung 12a, 12b ausgestattet sein. Jede der Bildaufnahmevorrichtungen 12a, 12b kann eine Mono-Bildaufnahme- vorrichtung 12a, 12b oder eine Stereo-Bildaufnahmevorrichtung 12a, 12b sein. In alternative embodiments, vehicle measurement device 10 may also be equipped with only a single image recording device 12a, 12b. Each of the image pickup devices 12a, 12b may be a mono image pickup device 12a, 12b or a stereo image pickup device 12a, 12b.

Die Fahrzeugvermessungsvorrichtung 10 kann beispielsweise eine Fahrzeugvermessungsvorrichtung 10 sein, wie sie von BOSCH unter den Namen DAS3000 oder SCT-418 angeboten wird. The vehicle measuring device 10 can, for example, be a vehicle measuring device 10 as offered by BOSCH under the names DAS3000 or SCT-418.

Die Auswertevorrichtung 14 einer erfindungsgemäßen Vorrichtung 10 ist dazu ausgebildet, ein erfindungsgemäßes Verfahren zum Bestimmen der Position des Umgebungssensors 4 an dem Fahrzeug 2 auszuführen. The evaluation device 14 of a device 10 according to the invention is designed to carry out a method according to the invention for determining the position of the environmental sensor 4 on the vehicle 2.

Die Auswertevorrichtung 14 kann wenigstens einen Mikroprozessor 15 aufweisen, der dazu vorgesehen ist, ein Programm auszuführen, das die Vorrichtung 10 ein erfindungsgemäßes Verfahren ausführen lässt. The evaluation device 14 may have at least one microprocessor 15 which is provided to execute a program which allows the device 10 to carry out a method according to the invention.

Die Fahrzeugvermessungsvorrichtung 10 kann eine Anzeigevorrichtung 16 und/oder eine andere Art von Ausgabevorrichtung 18, z.B. einen Drucker und/oder eine Datenschnittstelle, aufweisen, um es zu ermöglichen, die erfindungsgemäß bestimmte Position des Umgebungssensors auf der Anzeigevorrichtung 16 anzuzeigen und/oder über die Ausgabevorrichtung 18 auszugeben. The vehicle measurement device 10 may have a display device 16 and/or another type of output device 18, e.g., a printer and/or a data interface, to enable the position of the environmental sensor determined according to the invention to be displayed on the display device 16 and/or output via the output device 18.

Die Datenschnittstelle kann zur drahtgebundenen und/oder zur drahtlosen Datenübertragung ausgebildet sein. The data interface can be designed for wired and/or wireless data transmission.

Figur 2 ist ein schematisches Flussdiagramm eines Verfahrens zum Bestimmen der Position eines Umgebungssensors an einem Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung. Figure 2 is a schematic flow diagram of a method for determining the position of an environmental sensor on a vehicle according to an embodiment of the invention.

Das Verfahren umfasst, in einem ersten Schritt S11 die Fahrzeugvermessungsvorrichtung 10 mit den Bildaufnahmevorrichtungen 12a, 12b an einer ersten Position vor dem Fahrzeug zu positionieren, wie es beispielhaft in der Figur 1 A gezeigt ist. Das Verfahren umfasst auch, in einem zweiten Schritt S12 mit den Bildaufnahmevorrichtungen 12a, 12b der Fahrzeugvermessungsvorrichtung 10 ein erstes Bild des Fahrzeugs 2 aufzunehmen und in einem dritten Schritt S13 die Position des Fahrzeugs 2 bzw. der an dem Fahrzeug 2 angebrachten Messtafeln 8 in einem Koordinatensystem der Bildaufnahmevorrichtungen 12a, 12b zu bestimmen. In einem vierten Schritt S14 wird der Umgebungssensor 4 in dem ersten Bild identifiziert und die Position des Umgebungssensors 4 im Koordinatensystem der Bildaufnahmevorrichtungen 12a, 12b bestimmt. The method comprises, in a first step S11, positioning the vehicle measuring device 10 with the image recording devices 12a, 12b at a first position in front of the vehicle, as shown by way of example in Figure 1A. The method also comprises, in a second step S12, recording a first image of the vehicle 2 with the image recording devices 12a, 12b of the vehicle measuring device 10, and, in a third step S13, determining the position of the vehicle 2 or of the measuring panels 8 attached to the vehicle 2 in a coordinate system of the image recording devices 12a, 12b. In a fourth step S14, the environmental sensor 4 is identified in the first image, and the position of the environmental sensor 4 in the coordinate system of the image recording devices 12a, 12b is determined.

Die Fahrzeugvermessungsvorrichtung 10 mit den Bildaufnahmevorrichtungen 12a, 12b wird dann im Schritt S21 an einer zweiten Position, die sich von der ersten Position unterscheidet, vor dem Fahrzeug 2 zu positioniert, wie es beispielhaft in der Figur 1 B gezeigt ist. The vehicle measuring device 10 with the image recording devices 12a, 12b is then positioned in step S21 at a second position, which differs from the first position, in front of the vehicle 2, as shown by way of example in Figure 1B.

Nachdem die Fahrzeugvermessungsvorrichtung 10 an der zweiten Position positioniert worden ist, werden die zuvor in der ersten Position durchgeführten Schritte S12 bis S14 an der zweiten Position der Fahrzeugvermessungsvorrichtung 10 wiederholt: Mit den Bildaufnahmevorrichtungen 12a, 12b wird im Schritt S22 ein zweites Bild des Fahrzeugs 2 aufgenommen und in einem folgenden Schritt S23 wird die Position des Fahrzeugs 2 bzw. der an dem Fahrzeug 2 angebrachten Messtafeln 8 in einem Koordinatensystem der Bildaufnahmevorrichtungen 12a, 12b bestimmt. After the vehicle measuring device 10 has been positioned at the second position, the steps S12 to S14 previously performed in the first position are repeated at the second position of the vehicle measuring device 10: In step S22, a second image of the vehicle 2 is recorded using the image recording devices 12a, 12b, and in a subsequent step S23, the position of the vehicle 2 or of the measuring panels 8 attached to the vehicle 2 is determined in a coordinate system of the image recording devices 12a, 12b.

Mit dieser Information wird im Schritt S25 ein Fahrzeug- Referenzsystem F im Koordinatensystem der Bildaufnahmevorrichtungen 12a, 12b bestimmt, und es wird eine Transformation Tvehicie zwischen diesen beiden Koordinatensystemen bestimmt. With this information, in step S25 a vehicle reference system F is determined in the coordinate system of the image recording devices 12a, 12b, and a transformation T ve hicie between these two coordinate systems is determined.

In einem alternativen Ausführungsbeispiel können das Fahrzeug-Referenzsystem F und eine zugehörige Transformation Tvehicie zwischen den Koordinatensystemen auch auf Grundlage der Position des Fahrzeugs 2 bestimmt werden, die im Schritt S13 bestimmt worden ist, während die Fahrzeugvermessungsvorrichtung 10 an der ersten Position positioniert ist. In an alternative embodiment, the vehicle reference system F and an associated transformation Tvehicie between the coordinate systems may also be determined based on the position of the vehicle 2 determined in step S13 while the vehicle measurement device 10 is positioned at the first position.

Im Schritt S24 wird Umgebungssensor 4 in dem zweiten Bild identifiziert und die Position des Umgebungssensors 4 im Koordinatensystem der Bildaufnahmevorrichtungen 12a, 12b bestimmt. In step S24, environmental sensor 4 is identified in the second image and the position of environmental sensor 4 in the coordinate system of image recording devices 12a, 12b is determined.

In einem erfindungsgemäßen Verfahren können das Fahrzeug 2 und/oder der Umgebungssensor 4 mit bekannten klassischen Verfahren der optischen Mustererkennung und/oder mit Verfahren der künstlichen Intelligenz in den aufgenommen Bildern identifiziert werden. In einem folgenden Schritt S30 wird eine Transformation TCameraicamera2 zwischen den beiden Positionen der Fahrzeugvermessungsvorrichtung 10 bestimmt. In a method according to the invention, the vehicle 2 and/or the environmental sensor 4 can be identified in the recorded images using known classical methods of optical pattern recognition and/or using methods of artificial intelligence. In a following step S30, a transformation T C ameraicamera2 between the two positions of the vehicle measuring device 10 is determined.

Im Schritt S40 wird diese Transformation TCameraicamera2 zwischen den beiden Positionen der Fahrzeugvermessungsvorrichtung 10 benutzt, um durch Triangulation die 3D-Position Tspot des Umgebungssensors 4 im Referenzsystem der Bildaufnahmevorrichtungen 12a, 12b zu bestimmen. In step S40, this transformation T C ameraicamera2 between the two positions of the vehicle measurement device 10 is used to determine the 3D position T spo t of the environmental sensor 4 in the reference system of the image recording devices 12a, 12b by triangulation.

Mit Hilfe der zuvor im Schritt S25 bestimmten Transformation Tvehicie wird dann im Schritt S50 die im Schritt S40 bestimmte Position Tspot des Umgebungssensors 4 im Referenzsystem der Bildaufnahmevorrichtungen 12a, 12b in die Position des Umgebungssensors 4 im Fahrzeug- Referenzsystem F transformiert. With the aid of the transformation T ve hicie previously determined in step S25, the position T spo t of the environmental sensor 4 in the reference system of the image recording devices 12a, 12b, determined in step S40, is then transformed in step S50 into the position of the environmental sensor 4 in the vehicle reference system F.

Im Schritt S60 wird das Ergebnis, d.h. die auf diese Weise bestimmte Position des Umgebungssensors 4 im Referenzsystem des Fahrzeugs 2, dem Benutzer auf der Anzeigevorrichtung 16 der Fahrzeugvermessungsvorrichtung 10 angezeigt und/oder über die Ausgabevorrichtung 18 ausgegeben. In step S60, the result, i.e. the position of the environmental sensor 4 in the reference system of the vehicle 2 determined in this way, is displayed to the user on the display device 16 of the vehicle measuring device 10 and/or output via the output device 18.

Das Verfahren kann auch umfassen, die zuvor bestimmte Position des Umgebungssensors 4 im Fahrzeug- Referenzsystem F mit einem vorgegebenen Referenzwert Tref zu vergleichen und eine Meldung auszugeben, die anzeigt, ob die in einem erfindungsgemäßen Verfahren bestimmte Position des Umgebungssensors 4 innerhalb eines vorgegebenen Toleranzbereichs um den vorgegebenen Referenzwert Tref liegt, so dass die Position des Umgebungssensors 4 an dem Fahrzeug 2 als korrekt angesehen werden kann, oder ob die bestimmte Position des Umgebungssensors 4 außerhalb des vorgegebenen Toleranzbereichs um den vorgegebenen Referenzwert Tref liegt, so dass die Position des Umgebungssensors 4 an dem Fahrzeug 2 als fehlerhaft angesehen werden muss. The method can also comprise comparing the previously determined position of the environmental sensor 4 in the vehicle reference system F with a predetermined reference value T re f and outputting a message which indicates whether the position of the environmental sensor 4 determined in a method according to the invention lies within a predetermined tolerance range around the predetermined reference value T re f, so that the position of the environmental sensor 4 on the vehicle 2 can be regarded as correct, or whether the determined position of the environmental sensor 4 lies outside the predetermined tolerance range around the predetermined reference value T re f, so that the position of the environmental sensor 4 on the vehicle 2 must be regarded as incorrect.

Mit einem erfindungsgemäßen Verfahren und einer erfindungsgemäßen Fahrzeugvermessungsvorrichtung 10 kann die Position des Umgebungssensors 4 an dem Fahrzeug 2 schnell und zuverlässig bestimmt und überprüft werden. Using a method according to the invention and a vehicle measurement device 10 according to the invention, the position of the environmental sensor 4 on the vehicle 2 can be determined and checked quickly and reliably.

Claims

1. Verfahren zum Bestimmen der Position eines Umgebungssensors (4) an einem Fahrzeug (2), wobei das Verfahren umfasst: wenigstens eine Bildaufnahmevorrichtung (12a, 12b) an einer ersten Position vor dem Fahrzeug (2) zu positionieren (S11); mit der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) ein erstes Bild des Fahrzeugs (2) aufzunehmen (S12) und die Position des Fahrzeugs (2) in einem Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen (S13); den Umgebungssensor (4) in dem ersten Bild zu identifizieren und die Position des Umgebungssensors (4) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen (S14); die wenigstens eine Bildaufnahmevorrichtung (12a, 12b) an einer zweiten Position vor dem Fahrzeug (2) zu positionieren (S21); mit der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) ein zweites Bild des Fahrzeugs (2) aufzunehmen (S22) und die Position des Fahrzeugs (2) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen (S22); den Umgebungssensor (4) in dem zweiten Bild zu identifizieren und die Position des Umgebungssensors (4) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen (S24); aus dem ersten oder aus dem zweiten aufgenommenen Bild des Fahrzeugs (2) ein Fahrzeug- Referenzsystem (F) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen und eine Transformation (Tvehicie) zwischen dem Fahrzeug- Referenzsystem (F) und dem Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) (S25); eine Transformation (TCameraicamera2) zwischen der ersten Position und der zweiten Position der wenigstens einen Bildaufnahmeorrichtung (12a, 12b) vor dem Fahrzeug (2) zu bestimmen (S30), und unter Verwendung dieser Transformation (TCameraicamera2) durch Triangulation die Position des Umgebungssensors (4) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b)zu bestimmen (S40); unter Verwendung der zuvor bestimmten Transformation (Tvehicie) zwischen dem Fahrzeug- Referenzsystem (F) und dem Koordinatensystem (B) der Bildaufnahmevorrichtungen aus der zuvor bestimmten Position des Umgebungssensors (4) im Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung die Position des Umgebungssensors (4) in dem Fahrzeug- Referenzsystem (F) zu bestimmen (S50). 1. A method for determining the position of an environmental sensor (4) on a vehicle (2), the method comprising: positioning at least one image recording device (12a, 12b) at a first position in front of the vehicle (2) (S11); recording a first image of the vehicle (2) with the at least one image recording device (12a, 12b) (S12) and determining the position of the vehicle (2) in a coordinate system (B) of the at least one image recording device (12a, 12b) (S13); identifying the environmental sensor (4) in the first image and determining the position of the environmental sensor (4) in the coordinate system (B) of the at least one image recording device (12a, 12b) (S14); positioning the at least one image recording device (12a, 12b) at a second position in front of the vehicle (2) (S21); to record a second image of the vehicle (2) with the at least one image recording device (12a, 12b) (S22) and to determine the position of the vehicle (2) in the coordinate system (B) of the at least one image recording device (12a, 12b) (S22); to identify the environmental sensor (4) in the second image and to determine the position of the environmental sensor (4) in the coordinate system (B) of the at least one image recording device (12a, 12b) (S24); to determine a vehicle reference system (F) in the coordinate system (B) of the at least one image recording device (12a, 12b) from the first or from the second recorded image of the vehicle (2) and to perform a transformation (T ve hicie) between the vehicle reference system (F) and the coordinate system (B) of the at least one image recording device (12a, 12b) (S25); to determine (S30) a transformation (T C ameraicamera2) between the first position and the second position of the at least one image recording device (12a, 12b) in front of the vehicle (2), and using this transformation (T C ameraicamera2) to determine by triangulation the position of the environmental sensor (4) in the coordinate system (B) of the at least one image recording device (12a, 12b); to determine (S50) the position of the environmental sensor (4) in the vehicle reference system (F) using the previously determined transformation (T ve hicie) between the vehicle reference system (F) and the coordinate system (B) of the image recording devices from the previously determined position of the environmental sensor (4) in the coordinate system (B) of the at least one image recording device. 2. Verfahren nach Anspruch 1 , wobei das Verfahren umfasst, die erfindungsgemäß bestimmte Position des Umgebungssensors (4) auf einer Anzeigevorrichtung (16) anzuzeigen und/oder über eine Ausgabevorrichtung (18) auszugeben (S60). 2. The method according to claim 1, wherein the method comprises displaying the position of the environmental sensor (4) determined according to the invention on a display device (16) and/or outputting it via an output device (18) (S60). 3. Verfahren nach Anspruch 1 oder 2, wobei das Verfahren umfasst, die erfindungsgemäß bestimmte Position des Umgebungssensors (4) mit einer vorgegebenen Referenzposition (Tref) des Umgebungssensors (4) zu vergleichen und das Vergleichsergebnis auszugeben. 3. Method according to claim 1 or 2, wherein the method comprises comparing the position of the environmental sensor (4) determined according to the invention with a predetermined reference position (T re f) of the environmental sensor (4) and outputting the comparison result. 4. Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren umfasst, klassische Verfahren der Bildmustererkennung durchzuführen, um den Umgebungssensor (4) in den aufgenommenen Bildern zu identifizieren. 4. Method according to one of the preceding claims, wherein the method comprises performing classical image pattern recognition methods to identify the environmental sensor (4) in the recorded images. 5. Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren umfasst, den Umgebungssensor (4) mit Hilfe von Verfahren der künstlichen Intelligenz, insbesondere unter Verwendung eines neuronalen Netzes in den aufgenommenen Bildern zu identifizieren. 5. Method according to one of the preceding claims, wherein the method comprises identifying the environmental sensor (4) in the recorded images using artificial intelligence methods, in particular using a neural network. 6. Verfahren nach einem der vorangehenden Ansprüche, wobei das Verfahren umfasst, wenigstens eine Messtafel (8) an dem Fahrzeug (2) anzubringen und die wenigstens eine Messtafel (8) in den aufgenommenen Bilder zu identifizieren, um die Position des Fahrzeugs (2) in dem Koordinatensystem (B) der wenigstens einen Bildaufnahmevorrichtung (12a, 12b) zu bestimmen. 6. The method according to any one of the preceding claims, wherein the method comprises attaching at least one measuring panel (8) to the vehicle (2) and identifying the at least one measuring panel (8) in the recorded images in order to determine the position of the vehicle (2) in the coordinate system (B) of the at least one image recording device (12a, 12b). 7. Verfahren nach Anspruch 6, wobei das Verfahren umfasst, wenigstens eine Messtafel (8) an wenigstens einem der Räder (6) des Fahrzeugs (2) anzubringen, wobei das Verfahren insbesondere umfasst an zwei oder an vier Rädern (6) des Fahrzeugs (2) jeweils eine Messtafel (8) anzubringen. 7. The method according to claim 6, wherein the method comprises attaching at least one measuring panel (8) to at least one of the wheels (6) of the vehicle (2), wherein the method in particular comprises attaching a measuring panel (8) to two or four wheels (6) of the vehicle (2). 8. Verfahren nach einem der vorangehenden Ansprüche, wobei der Umgebungssensor (4) ein Radarsensor oder ein Laser-Sensor, insbesondere eine LIDAR-Sensor, ist. 8. Method according to one of the preceding claims, wherein the environmental sensor (4) is a radar sensor or a laser sensor, in particular a LIDAR sensor. 9. Verfahren nach einem der vorangehenden Ansprüche, wobei die wenigstens eine Bildaufnahmevorrichtung (12a, 12b) Bestandteil einer Fahrzeugvermessungsvorrichtung (10) zur optischen Fahrzeugvermessung ist. 9. Method according to one of the preceding claims, wherein the at least one image recording device (12a, 12b) is part of a vehicle measuring device (10) for optical vehicle measurement. 10. Fahrzeugvermessungsvorrichtung (10) zur optischen Fahrzeugvermessung, die wenigstens eine Bildaufnahmevorrichtung (12a, 12b) aufweist und die dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen. 10. Vehicle measurement device (10) for optical vehicle measurement, which has at least one image recording device (12a, 12b) and which is designed to carry out a method according to one of claims 1 to 8.
PCT/EP2024/080442 2023-11-13 2024-10-28 Method and device for determining the position of an environment sensor on a vehicle Pending WO2025103747A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023211233.7 2023-11-13
DE102023211233.7A DE102023211233A1 (en) 2023-11-13 2023-11-13 Method and device for determining the position of an environmental sensor on a vehicle

Publications (1)

Publication Number Publication Date
WO2025103747A1 true WO2025103747A1 (en) 2025-05-22

Family

ID=93333802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/080442 Pending WO2025103747A1 (en) 2023-11-13 2024-10-28 Method and device for determining the position of an environment sensor on a vehicle

Country Status (2)

Country Link
DE (1) DE102023211233A1 (en)
WO (1) WO2025103747A1 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062696A1 (en) * 2010-12-09 2012-06-14 Robert Bosch Gmbh Method and device for calibrating and adjusting a vehicle environment sensor.
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20190122386A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar to camera calibration for generating high definition maps
US20200065996A1 (en) * 2017-05-05 2020-02-27 Conti Temic Microelectronic Gmbh Device and Method for Calibrating a Camera System of a Vehicle
US20200096604A1 (en) * 2018-09-25 2020-03-26 Honda Motor Co., Ltd. Sensor axis adjustment method
CN113188569A (en) * 2021-04-07 2021-07-30 东软睿驰汽车技术（沈阳）有限公司 Vehicle and laser radar coordinate system calibration method, device and storage medium
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons
CN115128584A (en) * 2022-05-19 2022-09-30 上海人工智能创新中心 Camera lidar manual calibration method, device, electronic device and storage medium
US11594037B1 (en) * 2020-06-29 2023-02-28 Waymo Llc Vehicle sensor calibration and verification

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062696A1 (en) * 2010-12-09 2012-06-14 Robert Bosch Gmbh Method and device for calibrating and adjusting a vehicle environment sensor.
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20200065996A1 (en) * 2017-05-05 2020-02-27 Conti Temic Microelectronic Gmbh Device and Method for Calibrating a Camera System of a Vehicle
US20190122386A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Lidar to camera calibration for generating high definition maps
US20200096604A1 (en) * 2018-09-25 2020-03-26 Honda Motor Co., Ltd. Sensor axis adjustment method
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons
US11594037B1 (en) * 2020-06-29 2023-02-28 Waymo Llc Vehicle sensor calibration and verification
CN113188569A (en) * 2021-04-07 2021-07-30 东软睿驰汽车技术（沈阳）有限公司 Vehicle and laser radar coordinate system calibration method, device and storage medium
CN115128584A (en) * 2022-05-19 2022-09-30 上海人工智能创新中心 Camera lidar manual calibration method, device, electronic device and storage medium

Also Published As

Publication number Publication date
DE102023211233A1 (en) 2025-05-15

Similar Documents

Publication Publication Date Title
DE102010004165B4 (en) Methods and systems for calibrating vehicle vision systems
DE10229336A1 (en) Method and device for calibrating image sensor systems
DE102015118874A1 (en) Method for operating a sensor system of a motor vehicle, driver assistance system and system for calibrating a sensor system of a motor vehicle
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102017011177A1 (en) Method for determining a bending angle of a vehicle combination, determination device and vehicle combination
DE102014226020A1 (en) Method and device for calibrating at least one mobile sensor device
DE112019000388T5 (en) DEVICE FOR PROVIDING INFORMATION ABOUT AN INSTALLATION POSITION AND METHOD FOR PROVIDING INFORMATION ABOUT THE INSTALLATION POSITION
DE102004059596A1 (en) Bending angle determining method for use between tractor and trailer of motor vehicle combination, involves subjecting position data, which is determined by sensor, to filtration with model data for identifying object of trailer or tractor
EP4239294A1 (en) Method for calibrating a portable reference sensor system, portable reference sensor system, and use of the portable reference sensor system
DE102018004057A1 (en) Method and system for determining the offset of a steering wheel angle sensor
DE102019202269B4 (en) Method for calibrating a mobile camera unit of a camera system for a motor vehicle
DE102020112289A1 (en) Method for calibrating an environment sensor of a vehicle with immediate validation and computing device
DE102011050660B4 (en) Alignment method and method for controlling the alignment of a traffic surveillance device with a lane edge
DE102007021106A1 (en) Method for calibrating camera system, involves arranging camera system in calibration position and calibration board is projected in level of image sensor of camera system
DE102020202679A1 (en) Method and device for calibrating a sensor system of a moving object
DE69916233T2 (en) Track modeling method for lane departure warning system
WO2016156377A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
WO2025103747A1 (en) Method and device for determining the position of an environment sensor on a vehicle
DE102012213132A1 (en) Method for displaying environment of e.g. passenger car by electronic processing unit, involves displaying environment of vehicle based on first and second cameras, and recording first and second positions of camera
DE102006056232B4 (en) Device for calibrating a camera
DE102006044615A1 (en) Image capturing device calibrating method for vehicle, involves locating objects in vehicle surrounding based on image information detected by image capturing device, and evaluating geometrical relations of objects
DE102018216395A1 (en) Method and device for monitoring an arrangement of at least one stationary or variably arranged calibration marker using at least one stationary or variably arranged vehicle-external reference sensor for the calibration of environment sensors of a vehicle
WO2025103744A1 (en) Method, device, and sensor measuring panel for determining the spatial orientation of a surroundings sensor in or on a vehicle
DE102013218299A1 (en) A method of detecting damage to a vehicle from a test image, corresponding system and computer program product
EP2565580B1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24799151

Country of ref document: EP

Kind code of ref document: A1