[go: up one dir, main page]

WO2024200183A1 - Method for creating a virtual lane - Google Patents

Method for creating a virtual lane Download PDF

Info

Publication number
WO2024200183A1
WO2024200183A1 PCT/EP2024/057536 EP2024057536W WO2024200183A1 WO 2024200183 A1 WO2024200183 A1 WO 2024200183A1 EP 2024057536 W EP2024057536 W EP 2024057536W WO 2024200183 A1 WO2024200183 A1 WO 2024200183A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
lane
trajectory
virtual lane
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/057536
Other languages
German (de)
French (fr)
Inventor
Rolf Bensemann
Gerald Koudijs
Ralf Schneider
Alex Amoruso
Safa Kaya
Rolf Dubitzky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to CN202480022724.8A priority Critical patent/CN120937058A/en
Priority to KR1020257036653A priority patent/KR20250165657A/en
Publication of WO2024200183A1 publication Critical patent/WO2024200183A1/en
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B60W2050/0091—Priority selection of control inputs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Definitions

  • the present invention relates to a method for creating a virtual lane, a computer program product, a control device for a vehicle and a vehicle.
  • Lanes When driving, especially on motorways, situations arise in which construction sites change the course of the lane. Lanes are usually narrowed and led over the hard shoulder so that construction work can be carried out. Lane markings of a different colour are often used to mark lanes within construction sites. These lane markings are less durable on the asphalt because they are only temporarily attached and are intended to be removed without leaving any residue. This leads to situations in which these different-coloured lane markings are only partially present.
  • the lack of differentiation, and in particular the lack of temporary lane markings means that lane departure warning systems usually switch off within construction sites. It is particularly advantageous, especially in narrow lanes within a construction site, if the driver of a vehicle is supported by a lane departure warning system.
  • US 2018/247138 A1 discloses a method and a device for generating a virtual lane.
  • the method includes generating a virtual lane, for example from an image that represents a section in front of the vehicle. Furthermore, the validity of the generated virtual lane is checked based on objects present in the image. For example, a warning sign, for example that the lane is closed, can be recognized in the image and in response to this, the generated virtual lane can be discarded.
  • an object of the present invention is to provide an improved method for creating a virtual lane.
  • a method for creating a virtual lane of an ego vehicle has the following steps: a) determining trajectories of at least two different lane markings in the environment of the ego vehicle; b) determining a trajectory of at least one preceding vehicle; c) comparing the determined trajectory of the at least one preceding vehicle with trajectories of the at least two different lane markings; d) creating the virtual lane depending on the comparison in step c).
  • This method has the advantage that a virtual lane is not only created depending on the determined trajectory of the lane markings, but also depending on a vehicle driving ahead. This creates a virtual lane with a higher level of confidence than if only the lane markings were taken into account. In particular, this can minimize the probability of an incorrect virtual lane, which can arise, for example, due to missing markings or problems distinguishing between temporary lane markings and normal lane markings.
  • a trajectory is determined for each of the lane markings.
  • the trajectory of the lane markings is a direction in which the lane runs.
  • the trajectory is formed, for example, from the courses of a pair of lane markings (right and left lane markings) and the center of the lane.
  • At least one vehicle driving ahead is detected and a trajectory of the vehicle driving ahead is also determined.
  • the trajectory is determined, for example, from the position, orientation and the like of the vehicle driving ahead.
  • step c) the trajectory of the vehicle in front is compared with at least two trajectories of the detected lanes.
  • the trajectory of the vehicle in front is compared with each trajectory of the detected lanes.
  • the virtual lane is created based on this comparison.
  • the virtual lane created can, for example, be output to the driver of the ego vehicle via a display unit and/or the virtual lane is transmitted via an interface, for example to a driver assistance system such as a lane keeping assistant.
  • the trajectory of the preceding vehicle is determined using one or more sensors of the ego vehicle.
  • the one or more sensors of the ego vehicle are configured to determine data about at least one vehicle driving ahead. This data is then used to determine the trajectory of the vehicle driving ahead.
  • the trajectory of the preceding vehicle is determined from data received from the ego vehicle.
  • the trajectory can also be determined from data received by the ego vehicle from the vehicle in front.
  • the ego vehicle has a receiver that is set up to receive data from other vehicles.
  • One possibility for this is, for example, vehicles that are networked with each other, such as in car-2-car communication.
  • the camera data from the vehicle in front can also be received, for example, so that the ego vehicle can determine the further course of the lane.
  • the created virtual lane has virtual lane markings that correspond to one of the at least two different detected lane markings. Accordingly, the virtual lane is not a theoretical lane, but corresponds to one of the two detected lane markings. This ensures that the vehicle does not drive on a nonexistent lane, but that the vehicle drives on a predetermined lane.
  • the virtual lane has at least a specified minimum width.
  • a specified minimum width ensures, on the one hand, that the virtual lane is selected in such a way that the ego vehicle can drive in this lane. On the other hand, specifying a minimum width ensures that the virtual lane actually corresponds to a real lane and that no error occurred when creating the virtual lane.
  • the minimum width corresponds, for example, to the vehicle width.
  • the minimum width can also be specified by the driver of the vehicle himself, for example, if the value entered is not less than the width of the vehicle.
  • step d) the virtual lane is determined depending on the correspondence of the trajectory of the preceding vehicle with the trajectories of the at least two different lane markings.
  • the match can, for example, be a similarity or match between the trajectory of the vehicle ahead and the trajectory of the lane markings.
  • the orientation or direction of the trajectories plays an important role.
  • the different lane markings differ in their color and/or shape. In order to distinguish temporary lane markings from normal lane markings, they differ in their color and/or shape, for example. Lane markings that are glued to the road usually differ in their color, while temporary lane markings differ from normal lane markings in their shape and especially in their position.
  • the at least two different lane markings are detected by a sensor of the ego vehicle.
  • the road markings are detected by one or more sensors, the sensor preferably being a camera.
  • the lane markings are assigned a priority depending on their color and/or their shape, which is taken into account in the comparison in step d).
  • Prioritizing a lane marking is also advantageous in that if there are more than two lane markings, the trajectory of the vehicle in front only needs to be compared with the trajectories of the two lane markings with the highest priority. This saves computing power and the virtual lane created is available to the driver of the ego vehicle or the driver assistance system more quickly.
  • a driver assistance system of the ego vehicle is configured to receive the virtual lane created in step d) and to control the ego vehicle according to the virtual lane.
  • the created virtual lane is output to the control unit of the ego vehicle, and the control unit is configured to control the vehicle according to the virtual lane.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above according to the first aspect.
  • a computer program product such as a computer program means, can be provided or delivered, for example, as a storage medium, such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file from a server in a network. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.
  • a control device for a vehicle for creating a virtual lane comprises: a processor unit and a memory unit on which means for carrying out the method according to the preceding embodiments are stored.
  • the control unit (for example in the form of the central vehicle control unit or electronic control unit - "ECU") is designed in particular to process the computer program product described above for creating a virtual lane, for example on the processor unit of the control unit.
  • the respective unit for example the processor unit, can be implemented in hardware and/or software.
  • the respective unit can be designed as a computer or as a microprocessor, for example.
  • the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object.
  • each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or an engine control device.
  • a vehicle comprises: one or more sensors and a control unit according to the third aspect.
  • the sensors of the ego vehicle can be, for example, radar sensors, LiDAR sensors, ultrasonic sensors and/or cameras (as already described above).
  • the ego vehicle can have one sensor of one type, several sensors of one type and/or several sensors of several types.
  • the ego vehicle advantageously has several sensors of several types.
  • the ego vehicle in particular has a camera, which is advantageously arranged in the middle of the front of the ego vehicle, oriented in the direction of travel. Such a front camera can be arranged, for example, at the upper end of the windshield in the area of the rear-view mirror.
  • Steps a), b), c), etc. can also occur in a different order.
  • the presence of steps a) and c) does not require that an intermediate step b) also be present, etc.
  • "One" does not exclude a plural.
  • Fig. 1 shows a schematic plan view of a vehicle with a control unit that is configured to carry out a method for creating a virtual lane according to an embodiment
  • Fig. 2 shows a schematic view of a situation in which the method for creating a virtual lane is carried out according to an embodiment
  • FIG. 3 shows a flow diagram of a method for creating a virtual lane according to an embodiment
  • Fig. 4 shows a further schematic view of a situation in which the method for creating a virtual lane is carried out according to an embodiment
  • Fig. 5 shows another flow diagram of a method for creating a virtual lane according to an embodiment.
  • Fig. 1 shows a schematic top view of a vehicle 100 with a control unit 103 and a sensor 102 according to an embodiment.
  • the vehicle 100 is a motor vehicle, in particular a passenger car.
  • the sensor 102 is designed, for example, as part of a driver assistance system.
  • a method for creating a virtual lane is designed, for example, as a software component of a driver assistance system.
  • the driver assistance system serves, for example, to support a of the driver of the vehicle 100.
  • the driver assistance system can be designed for semi-autonomous or fully autonomous operation of the vehicle 100.
  • the driver assistance system is set up, for example, to control components of the vehicle, such as an engine control device 104, a braking device 106 and in particular a steering device 107, so that driver support, semi-autonomous and/or fully autonomous operation can be carried out.
  • the driver assistance system is designed, for example, to operate at higher speeds, such as those found on a country road or on a motorway. Furthermore, the driver assistance system is designed to operate at lower speeds, such as those found on inner-city streets, for example.
  • the sensor 102 here is a camera, in particular a front camera, and is arranged in the middle of the front of the vehicle 100, as shown in Fig. 1.
  • the sensor 102 is connected wirelessly and/or by wire to the control unit 103 for transmitting sensor data.
  • the vehicle 100 preferably comprises further sensors (not shown in Fig. 1) which are set up to detect the driving state of the vehicle 100 and to detect an environment of the vehicle 100. Examples of such sensors of the vehicle 100 are a radar (radio detection and ranging) or a lidar (light detection and ranging), ultrasonic sensors, location sensors, wheel angle sensors and/or wheel speed sensors.
  • the further sensors are each set up to provide sensor data, for example to the control unit 103 and/or to the driver assistance system.
  • the control unit 103 has a processor unit and a memory unit (not shown in Fig. 1) which are designed to carry out the method described below for creating a virtual lane during operation of the vehicle 100.
  • the control unit 103 is designed to receive sensor data, in particular from the sensor 102.
  • Data connections of the control unit 103 to vehicle components are identified by the reference numeral 105, with data connections representing lines, data lines, a vehicle bus and/or wireless data transmission.
  • the control unit 103 is connected to the engine control device 104 and is configured to transmit data to the engine control device 104 wirelessly and/or by wire.
  • the transmitted data contain, for example, control signals which cause the engine control device 104 to accelerate and/or brake the vehicle 100.
  • control unit 103 in Fig. 1 is connected to the braking device 106.
  • the control unit 103 transmits data wirelessly and/or by wire to the braking device 106 of the vehicle 100, the data containing, for example, control signals. These control signals cause the braking device 106 to brake the vehicle 100.
  • the control unit 103 in Fig. 1 is connected in particular to a steering device 107 of the vehicle 100.
  • the control unit 103 transmits data wirelessly and/or by wire to the steering device 106 of the vehicle 100, the data containing, for example, control signals. These control signals cause the steering device 107 to change a steering angle of the vehicle 100, for example depending on the virtual lane created.
  • control unit 103 has a computer program product which has program code means which are stored on a computer-readable medium in order to be able to carry out the method for creating a virtual lane described below.
  • Fig. 2 shows a situation in which the method for creating a virtual lane is carried out.
  • Fig. 3 shows a flow chart showing the individual method steps.
  • Fig. 2 is a top view of a situation that often occurs in construction sites on motorways, but also on country roads or in towns.
  • the first lane marking 400 is the normal lane marking (permanent lane marking)
  • the second lane marking 500 temporary lane marking was applied for lane guidance within the construction site.
  • the two lane markings differ, for example, in their colors, for example the first lane marking 400 is white and the second lane marking is yellow. In Fig. 2, the two lane markings also differ in their shapes.
  • the first lane marking 400 is a dashed line, while the second lane marking 500 is a solid line.
  • the ego vehicle 100 which corresponds to the ego vehicle 100 from Fig.
  • the sensor 102 detects the two different lane markings using the sensor 102.
  • the sensor 102 is, for example, a camera, and the lane markings are detected in the captured image using an image recognition routine or an image recognition program.
  • a trajectory 401, 501 is determined (see S1 in Fig. 3).
  • the trajectory of the lane marking represents the course of the lane that results from the lane markings.
  • the trajectory 401 of the first lane marking 400 and the trajectory 501 of the second lane marking 500 are shown as examples.
  • the ego vehicle 100 determines a trajectory 201 of a first preceding vehicle 200 (see step S2 in Fig. 3).
  • This trajectory 201 is also determined using sensor data of the ego vehicle 100. For example, the orientation, wheel angle and the like are used as parameters for determining the trajectory of the preceding vehicle.
  • the trajectory 201 of the first preceding vehicle 200 thus determined is then compared in step S3 (see Fig. 3) with the two trajectories 401, 501 of the lane markings 400, 500.
  • a similarity or The correspondence of the trajectory 201 of the first preceding vehicle 200 with the respective trajectory 401, 501 of the first and second lane markings 400, 500 is determined.
  • a virtual lane is created in step S4. According to the greater similarity of the trajectory 201 of the first preceding vehicle 200 and the trajectory 501 of the second lane marking 500, a virtual lane is created that corresponds to the second lane marking 500.
  • the virtual lane created has at least a minimum width b. This minimum width b is used to check whether the virtual lane created is a valid virtual lane that can be driven on by the ego vehicle 100.
  • a second vehicle 300 driving ahead is detected, for example in a lane next to the ego vehicle
  • the trajectory 301 of the second vehicle 300 driving ahead is also determined.
  • the trajectory 301 of the second vehicle 300 driving ahead can be determined in the same way as the trajectory 201 of the first vehicle 200 driving ahead.
  • the trajectory 301 of the second vehicle 300 driving ahead determined in this way is then compared with the trajectory of the virtual lane created. In this process, a match between the two trajectories is also determined. This checks the validity of the virtual lane created again.
  • the virtual lane created in this way can then be output to the driver of the ego vehicle 100, for example via a display unit. Furthermore, the created virtual lane can be output, for example, to the control unit 103 of the ego vehicle 100, wherein the driver assistance system or a lane keeping assistance system (here also "lane keeping assistant") is set up to control the ego vehicle 100 semi- and/or fully autonomously along the created virtual lane. Furthermore, the control unit 103 of the ego vehicle 100 can be set up to assist the driver when steering and to control the steering device 107 of the ego vehicle in such a way that the driver is supported in maintaining the created virtual lane.
  • the lane keeping assistance system can be designed as part of the driver assistance system.
  • Fig. 4 shows a similar situation to Fig. 2, also with the ego vehicle 100 from Fig. 1.
  • a lane is also separated with colored, for example orange, cones, i.e. a third lane marking 600.
  • the method steps for determining a virtual lane are shown in Fig. 5.
  • a preceding vehicle 200 is in the same lane as the ego vehicle 100.
  • the ego vehicle determines the trajectory 201 of the preceding vehicle 200.
  • the trajectory of the preceding vehicle 200 can be determined depending on sensor data of the ego vehicle 100.
  • a second step S1 1 the ego vehicle 100 recognizes the three different lane markings 400, 500, 600.
  • the ego vehicle 100 is set up to recognize the different lane markings, for example with the help of image recognition software. Furthermore, the ego vehicle 100 is then set up to prioritize the lane markings depending on their color and/or shape.
  • a priority of the lane markings can be stored in the driver assistance system, for example. For example, normal lane markings have a low priority, lane markings that are used in construction sites have a medium priority, and lane markings that are only temporarily set up, such as cones or warning beacons, have a high priority. Accordingly, the ego vehicle 100 assigns a higher priority to the third lane marking 600 than to the second lane marking 500. The second lane marking 500 is assigned a higher priority than the first lane marking 400.
  • the prioritization is advantageous, for example, in that a virtual lane can be created more quickly because the trajectory 201 of the preceding vehicle 200 only needs to be compared with the trajectories 501, 601 of the highest prioritized lane markings 500, 600.
  • step S12 the trajectories 501, 601 for the second lane marking 500 and the third lane marking 600 are determined.
  • the trajectories can be determined using sensor data from the ego vehicle 100. Due to the assigned low priority, preferably no trajectory of the first lane marking 400 is created.
  • step S13 the determined trajectory 201 of the first preceding vehicle 200 is compared with the two trajectories 501, 601 of the second and third lane markings 500, 600.
  • the trajectory of the preceding vehicle 200 is compared with one of the trajectories 501, 601 of the second and third lane markings 500, 600, or a similarity is determined.
  • a virtual lane is created in step S15.
  • a virtual lane is created in step S15.
  • the greater similarity of the trajectory 201 of the first preceding vehicle and the trajectory 601 of the third Lane marking 600 creates a virtual lane that corresponds to the third lane marking 600.
  • the virtual lane created in this way is output to the driver of the ego vehicle 100, for example via a display unit.
  • the created virtual lane can be used, for example, by a driver assistance system to control the ego vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for creating a virtual lane, to a computer program product, to a control device for a vehicle, and to a vehicle. The method for creating a virtual lane of an ego vehicle (100) comprises the following steps: a) determining (S1) trajectories (401, 501, 601) of at least two different lane markings (400, 500, 600) in the surroundings of the ego vehicle (100); b) determining (S2) a trajectory (201, 301) of at least one vehicle (200, 300) driving in front; c) comparing (S3) the determined trajectory (201, 301) of the at least one vehicle (200, 300) driving in front with trajectories (401, 501, 601) of the at least two different lane markings (400, 500, 600); d) creating (S4) the virtual lane depending on the comparison carried out in step c).

Description

VERFAHREN ZUM ERSTELLEN EINER VIRTUELLEN FAHRSPUR METHOD FOR CREATING A VIRTUAL LANE

Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen einer virtuellen Fahrspur, ein Computerprogrammprodukt, ein Steuergerät für ein Fahrzeug und ein Fahrzeug. The present invention relates to a method for creating a virtual lane, a computer program product, a control device for a vehicle and a vehicle.

Beim Fahren, insbesondere auf Autobahnen, kommt es zu Situationen, in denen Baustellen den Fahrspurverlauf ändern. Meist werden Fahrspuren verschmälert und über den Standstreifen geführt, damit die Bauarbeiten durchgeführt werden können. Um Fahrspuren innerhalb von Baustellen zu kennzeichnen, werden oftmals andersfarbige Fahrspurmarkierungen verwendet. Diese Fahrspurmarkierungen weisen eine geringere Haltbarkeit auf dem Asphalt auf, da sie nur temporär befestigt und wieder rückstandlos entfernt werden sollen. Dadurch kommt es zu Situationen, in denen diese andersfarbigen Fahrspurmarkierungen nur noch teilweise vorhanden sind. Neben der Tatsache, dass herkömmliche Spurhalteassistenten die andersfarbigen temporären Fahrspurmarkierungen nicht gut von den normalen Fahrspurmarkierungen unterscheiden können, führt die fehlende Unterscheidungskraft, und insbesondere das Fehlen der temporären Fahrspurmarkierungen, dazu, dass sich Spurhalteassistenten innerhalb von Baustellen meist abschalten. Dabei ist es, gerade in meist schmalen Fahrspuren innerhalb einer Baustelle, besonders vorteilhaft, wenn der Fahrer eines Fahrzeugs von einem Spurhalteassistenten unterstützt wird. When driving, especially on motorways, situations arise in which construction sites change the course of the lane. Lanes are usually narrowed and led over the hard shoulder so that construction work can be carried out. Lane markings of a different colour are often used to mark lanes within construction sites. These lane markings are less durable on the asphalt because they are only temporarily attached and are intended to be removed without leaving any residue. This leads to situations in which these different-coloured lane markings are only partially present. In addition to the fact that conventional lane departure warning systems cannot easily distinguish the different-coloured temporary lane markings from the normal lane markings, the lack of differentiation, and in particular the lack of temporary lane markings, means that lane departure warning systems usually switch off within construction sites. It is particularly advantageous, especially in narrow lanes within a construction site, if the driver of a vehicle is supported by a lane departure warning system.

US 2018/247138 A1 offenbart ein Verfahren und eine Vorrichtung zur Erzeugung einer virtuellen Fahrspur. Das Verfahren umfasst das Erzeugen einer virtuellen Fahrspur, beispielsweise aus einem Bild, das einen Abschnitt vor dem Fahrzeug darstellt. Weiterhin wird eine Gültigkeit der erzeugte virtuellen Fahrspur anhand von in dem Bild vorhandenen Objekten geprüft. Beispielsweise kann ein Warnschild, beispielsweise dass die Spur gesperrt ist, in dem Bild erkannt werden und in Reaktion darauf kann die erzeugte virtuelle Fahrspur verworfen werden. US 2018/247138 A1 discloses a method and a device for generating a virtual lane. The method includes generating a virtual lane, for example from an image that represents a section in front of the vehicle. Furthermore, the validity of the generated virtual lane is checked based on objects present in the image. For example, a warning sign, for example that the lane is closed, can be recognized in the image and in response to this, the generated virtual lane can be discarded.

Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, ein verbessertes Verfahren zum Erstellen einer virtuellen Fahrspur bereitzustellen. Gemäß einem ersten Aspekt wird ein Verfahren zum Erstellen einer virtuellen Fahrspur eines Ego-Fahrzeugs bereitgestellt. Das Verfahren weist die folgenden Schritte auf: a) Ermitteln von Trajektorien von zumindest zwei unterschiedlichen Fahrspurmarkierungen in der Umgebung des Ego-Fahrzeugs; b) Ermitteln einer Trajektorie zumindest eines vorausfahrenden Fahrzeugs; c) Vergleichen der ermittelten Trajektorie des zumindest einen vorausfahrenden Fahrzeugs mit Trajektorien der zumindest zwei unterschiedlichen Fahrspurmarkierungen; d) Erstellen der virtuellen Fahrspur in Abhängigkeit des Vergleichs in Schritt c). Against this background, an object of the present invention is to provide an improved method for creating a virtual lane. According to a first aspect, a method for creating a virtual lane of an ego vehicle is provided. The method has the following steps: a) determining trajectories of at least two different lane markings in the environment of the ego vehicle; b) determining a trajectory of at least one preceding vehicle; c) comparing the determined trajectory of the at least one preceding vehicle with trajectories of the at least two different lane markings; d) creating the virtual lane depending on the comparison in step c).

Dieses Verfahren hat den Vorteil, dass eine virtuelle Fahrspur nicht nur in Abhängigkeit der ermittelten Trajektorie der Fahrspurmarkierungen erstellt wird, sondern auch in Abhängigkeit eines vorausfahrenden Fahrzeugs. Damit wird eine virtuelle Fahrspur mit einer höheren Kon- fidenz erstellt, als wenn nur die Fahrspurmarkierungen berücksichtigt werden würden. Insbesondere kann so die Wahrscheinlichkeit einer fehlerhaften virtuellen Fahrspur minimiert werden, die beispielsweise durch fehlende Markierungen oder Probleme bei der Unterscheidung zwischen temporärer Fahrspurmarkierung und normaler Fahrspurmarkierung entstehen. This method has the advantage that a virtual lane is not only created depending on the determined trajectory of the lane markings, but also depending on a vehicle driving ahead. This creates a virtual lane with a higher level of confidence than if only the lane markings were taken into account. In particular, this can minimize the probability of an incorrect virtual lane, which can arise, for example, due to missing markings or problems distinguishing between temporary lane markings and normal lane markings.

Werden in der Umgebung des Ego-Fahrzeugs zumindest zwei unterschiedliche Fahrspurmarkierungen erkannt, so wird für jede der Fahrspurmarkierungen eine Trajektorie ermittelt. Die Trajektorie der Fahrspurmarkierungen ist dabei eine Richtung, in die die Fahrspur verläuft. Die Trajektorie wird dabei beispielsweise aus den Verläufen eines Paars an Fahrspurmarkierungen (rechte und linke Fahrspurmarkierung) und der Mitte der Fahrspur gebildet. If at least two different lane markings are detected in the vicinity of the ego vehicle, a trajectory is determined for each of the lane markings. The trajectory of the lane markings is a direction in which the lane runs. The trajectory is formed, for example, from the courses of a pair of lane markings (right and left lane markings) and the center of the lane.

Zumindest ein vorausfahrendes Fahrzeug wird erkannt und es wird ebenfalls eine Trajektorie des vorausfahrenden Fahrzeugs ermittelt. Die Trajektorie wird beispielsweise aus der Position, der Orientierung und dergleichen des vorausfahrenden Fahrzeugs bestimmt. In Schritt c) wird die Trajektorie des vorausfahrenden Fahrzeugs mit den zumindest zwei Trajektorien der erkannten Fahrspuren verglichen. Dabei wird die Trajektorie des vorausfahrenden Fahrzeugs mit jeder Trajektorie der erkannten Fahrspuren abglichen. At least one vehicle driving ahead is detected and a trajectory of the vehicle driving ahead is also determined. The trajectory is determined, for example, from the position, orientation and the like of the vehicle driving ahead. In step c), the trajectory of the vehicle in front is compared with at least two trajectories of the detected lanes. The trajectory of the vehicle in front is compared with each trajectory of the detected lanes.

In Abhängigkeit von diesem Vergleich wird die virtuelle Fahrspur erstellt. Die erstellte virtuelle Fahrspur kann beispielsweise über eine Anzeige-Einheit an den Fahrer des Ego-Fahrzeugs ausgegeben werden und/oder die virtuelle Fahrspur wird über eine Schnittstelle beispielsweise an ein Fahrerassistenzsystem, wie ein Spurhalteassistent, übermittelt. The virtual lane is created based on this comparison. The virtual lane created can, for example, be output to the driver of the ego vehicle via a display unit and/or the virtual lane is transmitted via an interface, for example to a driver assistance system such as a lane keeping assistant.

Gemäß einer Ausführungsform wird die Trajektorie des vorausfahrenden Fahrzeugs mithilfe ein oder mehrerer Sensoren des Ego-Fahrzeugs ermittelt. According to one embodiment, the trajectory of the preceding vehicle is determined using one or more sensors of the ego vehicle.

Der eine oder die mehreren Sensoren des Ego-Fahrzeugs sind dazu eingerichtet, Daten über das zumindest eine vorausfahrende Fahrzeug zu ermitteln. Mithilfe dieser Daten wird dann die Trajektorie des vorausfahrenden Fahrzeugs ermittelt. The one or more sensors of the ego vehicle are configured to determine data about at least one vehicle driving ahead. This data is then used to determine the trajectory of the vehicle driving ahead.

Gemäß einer Ausführungsform wird die Trajektorie des vorausfahrenden Fahrzeugs aus von dem Ego-Fahrzeug empfangenen Daten ermittelt. According to one embodiment, the trajectory of the preceding vehicle is determined from data received from the ego vehicle.

Die Trajektorie kann auch aus von dem Ego-Fahrzeug empfangenen Daten des vorausfahrenden Fahrzeugs ermittelt werden. Dabei verfügt das Ego-Fahrzeug über einen Empfänger, der dazu eingerichtet ist, Daten von anderen Fahrzeugen zu empfangen. Eine Möglichkeit hierfür sind beispielsweise untereinander vernetzte Fahrzeuge, wie beispielsweise bei einer Car-2-Car Kommunikation. Dabei können beispielsweise auch die Kameradaten des vorausfahrenden Fahrzeugs empfangen werden, so dass ein weiterer Verlauf der Fahrspur von dem Ego-Fahrzeug ermittelt werden kann. The trajectory can also be determined from data received by the ego vehicle from the vehicle in front. The ego vehicle has a receiver that is set up to receive data from other vehicles. One possibility for this is, for example, vehicles that are networked with each other, such as in car-2-car communication. The camera data from the vehicle in front can also be received, for example, so that the ego vehicle can determine the further course of the lane.

Gemäß einer Ausführungsform weist die erstellte virtuelle Fahrspur virtuelle Fahrspurmarkierungen auf, die einer der zumindest zwei unterschiedlichen erkannten Fahrspurmarkierungen entsprechen. Demgemäß ist die virtuelle Fahrspur keine theoretische Fahrspur, sondern entspricht einer der beiden erkannten Fahrspurmarkierungen. Dadurch wird sichergestellt, dass das Fahrzeug nicht auf einer nicht vorhandenen Spur fährt, sondern dass das Fahrzeug auf einer vorgegebenen Spur fährt. According to one embodiment, the created virtual lane has virtual lane markings that correspond to one of the at least two different detected lane markings. Accordingly, the virtual lane is not a theoretical lane, but corresponds to one of the two detected lane markings. This ensures that the vehicle does not drive on a nonexistent lane, but that the vehicle drives on a predetermined lane.

Gemäß einer Ausführungsform weist die virtuelle Fahrspur zumindest eine festgelegte minimale Breite auf. According to one embodiment, the virtual lane has at least a specified minimum width.

Eine festgelegte minimale Breite stellt zum einen sicher, dass die virtuelle Fahrspur so gewählt ist, dass das Ego-Fahrzeug auf dieser Spur fahren kann. Zum anderen wird durch das Festlegen einer minimalen Breite sichergestellt, dass die virtuelle Fahrspur tatsächlich einer reellen Fahrspur entspricht und dass kein Fehler beim Erstellen der virtuellen Fahrspur aufgetreten ist. Die minimale Breite entspricht dabei beispielsweise der Fahrzeugbreite. Die minimale Breite kann beispielsweise auch von dem Fahrer des Fahrzeugs selbst festgelegt werden, wenn der eigegebene Wert nicht die Breite des Fahrzeugs unterschreitet. A specified minimum width ensures, on the one hand, that the virtual lane is selected in such a way that the ego vehicle can drive in this lane. On the other hand, specifying a minimum width ensures that the virtual lane actually corresponds to a real lane and that no error occurred when creating the virtual lane. The minimum width corresponds, for example, to the vehicle width. The minimum width can also be specified by the driver of the vehicle himself, for example, if the value entered is not less than the width of the vehicle.

Gemäß einer Ausführungsform wird in Schritt d) die virtuelle Fahrspur in Abhängigkeit der Übereinstimmung der Trajektorie des vorausfahrenden Fahrzeugs mit den Trajektorien der zumindest zwei unterschiedlichen Fahrspurmarkierungen bestimmt. According to one embodiment, in step d) the virtual lane is determined depending on the correspondence of the trajectory of the preceding vehicle with the trajectories of the at least two different lane markings.

Die Übereinstimmung kann dabei beispielsweise eine Ähnlichkeit beziehungsweise Übereinstimmung zwischen der Trajektorie des vorausfahrenden Fahrzeugs mit der Trajektorie der Fahrspurmarkierungen sein. Dabei spielt beispielsweise die Ausrichtung beziehungsweise die Richtung der Trajektorien eine wichtige Rolle. The match can, for example, be a similarity or match between the trajectory of the vehicle ahead and the trajectory of the lane markings. The orientation or direction of the trajectories plays an important role.

Gemäß einer Ausführungsform unterscheiden sich die unterschiedlichen Fahrspurmarkierungen in ihrer Farbe und/oder in ihrer Form. Um die temporären Fahrspurmarkierungen von normalen Fahrspurmarkierungen unterscheiden zu können, unterscheiden sich diese beispielsweise in ihrer Farbe und/oder Form. Fahrbahnmarkierungen, die auf der Fahrbahn aufgeklebt sind, unterscheiden sich meist in ihrer Farbe, während gestellte temporäre Fahrbahnmarkierungen sich in ihrer Form und insbesondere in ihrer Position von normalen Fahrbahnmarkierungen unterscheiden. According to one embodiment, the different lane markings differ in their color and/or shape. In order to distinguish temporary lane markings from normal lane markings, they differ in their color and/or shape, for example. Lane markings that are glued to the road usually differ in their color, while temporary lane markings differ from normal lane markings in their shape and especially in their position.

Gemäß einer Ausführungsform werden die zumindest zwei unterschiedlichen Fahrspurmarkierungen durch einen Sensor des Ego-Fahrzeugs erkannt. According to one embodiment, the at least two different lane markings are detected by a sensor of the ego vehicle.

Die Fahrbahnmarkierungen werden durch einen oder mehrere Sensoren erkannt, wobei der Sensor vorzugsweise eine Kamera ist. The road markings are detected by one or more sensors, the sensor preferably being a camera.

Gemäß einer Ausführungsform ist den Fahrspurmarkierungen in Abhängigkeit ihrer Farbe und/oder ihrer Form eine Priorität zugeordnet, die bei dem Vergleich in Schritt d) berücksichtigt wird. According to one embodiment, the lane markings are assigned a priority depending on their color and/or their shape, which is taken into account in the comparison in step d).

Demgemäß haben beispielsweise temporäre Fahrbahnmarkierungen eine höhere Priorität als normale Fahrbahnmarkierungen. Die Priorisierung einer Fahrbahnmarkierung ist weiterhin dahingehend vorteilhaft, dass bei mehr als zwei vorhandenen Spurmarkierungen die Trajektorie des vorausfahrenden Fahrzeugs beispielsweise nur mit den Trajektorien der zwei am höchsten priorisierten Fahrspurmarkierungen verglichen werden müssen. Auf diese Art kann Rechenleistung eingespart werden und die erstellte virtuelle Fahrspur steht dem Fahrer des Ego-Fahrzeugs oder dem Fahrerassistenzsystem schneller zur Verfügung. Accordingly, temporary lane markings, for example, have a higher priority than normal lane markings. Prioritizing a lane marking is also advantageous in that if there are more than two lane markings, the trajectory of the vehicle in front only needs to be compared with the trajectories of the two lane markings with the highest priority. This saves computing power and the virtual lane created is available to the driver of the ego vehicle or the driver assistance system more quickly.

Gemäß einer Ausführungsform ist ein Fahrerassistenzsystem des Ego-Fahrzeugs dazu eingerichtet, die in Schritt d) erstellte virtuelle Fahrspur zu empfangen und das Ego-Fahrzeug gemäß der virtuellen Fahrspur zu steuern. Die erstellte virtuelle Fahrspur wird beispielsweise an das Steuergerät des Ego-Fahrzeugs ausgegeben, und das Steuergerät ist dazu eingerichtet, das Fahrzeug gemäß der virtuellen Fahrspur zu steuern. According to one embodiment, a driver assistance system of the ego vehicle is configured to receive the virtual lane created in step d) and to control the ego vehicle according to the virtual lane. For example, the created virtual lane is output to the control unit of the ego vehicle, and the control unit is configured to control the vehicle according to the virtual lane.

Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das vorstehend beschriebene Verfahren gemäß dem ersten Aspekt auszuführen. According to a second aspect, a computer program product is proposed which comprises instructions which, when the program is executed by a computer, cause the computer to carry out the method described above according to the first aspect.

Ein Computerprogrammprodukt nach dem zweiten Aspekt, wie z.B. ein Computerprogramm- Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD- ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen. A computer program product according to the second aspect, such as a computer program means, can be provided or delivered, for example, as a storage medium, such as a memory card, USB stick, CD-ROM, DVD, or in the form of a downloadable file from a server in a network. This can be done, for example, in a wireless communication network by transmitting a corresponding file with the computer program product or the computer program means.

Gemäß einem dritten Aspekt wird ein Steuergerät für ein Fahrzeug zum Erstellen einer virtuellen Fahrspur bereitgestellt. Das Steuergerät umfasst: eine Prozessor-Einheit und eine Speicher-Einheit, auf welcher Mittel zur Ausführung des Verfahrens nach den vorhergehenden Ausführungsformen abgespeichert sind. According to a third aspect, a control device for a vehicle for creating a virtual lane is provided. The control device comprises: a processor unit and a memory unit on which means for carrying out the method according to the preceding embodiments are stored.

Das Steuergerät (beispielsweise in Form deszentralen Fahrzeugsteuergeräts bzw. electronic control unit - "ECU") ist insbesondere dazu eingerichtet, das vorstehend beschriebene Computerprogrammprodukt zum Erstellen einer virtuellen Fahrspur abzuarbeiten, beispielsweise auf der Prozessor-Einheit des Steuergeräts. The control unit (for example in the form of the central vehicle control unit or electronic control unit - "ECU") is designed in particular to process the computer program product described above for creating a virtual lane, for example on the processor unit of the control unit.

Die jeweilige Einheit, beispielsweise die Prozessor-Einheit, kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuervorrichtung und/oder einer Motorsteuervorrichtung ausgebildet sein. The respective unit, for example the processor unit, can be implemented in hardware and/or software. In a hardware implementation, the respective unit can be designed as a computer or as a microprocessor, for example. In a software implementation, the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object. Furthermore, each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or an engine control device.

Gemäß einem vierten Aspekt wird ein Fahrzeug bereitgestellt. Das Fahrzeug weist auf: einen oder mehrere Sensoren und ein Steuergerät gemäß dem dritten Aspekt. According to a fourth aspect, a vehicle is provided. The vehicle comprises: one or more sensors and a control unit according to the third aspect.

Die Sensoren des Ego-Fahrzeugs können beispielsweise Radarsensoren, LiDAR Sensoren, Ultraschallsensoren und/oder Kameras (wie bereits vorstehend beschrieben) sein. Das Ego- Fahrzeug kann einen Sensor einer Art, mehrere Sensoren einer Art und/oder mehrere Sensoren mehrerer Arten aufweisen. Vorteilhaft weist das Ego-Fahrzeug mehrere Sensoren mehrerer Arten auf. Das Ego-Fahrzeug weist insbesondere eine Kamera auf, die vorteilhaft in der Mitte der Front des Ego-Fahrzeugs, in Fahrtrichtung orientiert, angeordnet ist. Solch eine Frontkamera kann beispielsweise am oberen Ende der Windschutzscheibe im Bereich des Rückspiegels angeordnet sein. The sensors of the ego vehicle can be, for example, radar sensors, LiDAR sensors, ultrasonic sensors and/or cameras (as already described above). The ego vehicle can have one sensor of one type, several sensors of one type and/or several sensors of several types. The ego vehicle advantageously has several sensors of several types. The ego vehicle in particular has a camera, which is advantageously arranged in the middle of the front of the ego vehicle, oriented in the direction of travel. Such a front camera can be arranged, for example, at the upper end of the windshield in the area of the rear-view mirror.

Die Schritte a), b), c) usw. können auch in anderer Reihenfolge ablaufen. Das Vorhandensein der Schritte a) und c) verlangt nicht, dass auch ein zwischenliegender Schritt b) vorhanden ist, usw. "Ein" schließt keine Mehrzahl aus. Steps a), b), c), etc. can also occur in a different order. The presence of steps a) and c) does not require that an intermediate step b) also be present, etc. "One" does not exclude a plural.

Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen. Further possible implementations of the invention also include combinations of features or embodiments described above or below with respect to the exemplary embodiments that are not explicitly mentioned. The person skilled in the art will also add individual aspects as improvements or additions to the respective basic form of the invention.

Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert. Further advantageous embodiments and aspects of the invention are the subject of the subclaims and the embodiments of the invention described below. In the following, the invention is explained in more detail using preferred embodiments with reference to the accompanying figures.

Fig. 1 zeigt eine schematische Draufsicht eines Fahrzeugs mit einem Steuergerät, das dazu eingerichtet ist, ein Verfahren zum Erstellen einer virtuellen Fahrspur gemäß einer Ausführungsform durchzuführen; Fig. 1 shows a schematic plan view of a vehicle with a control unit that is configured to carry out a method for creating a virtual lane according to an embodiment;

Fig. 2 zeigt eine schematische Ansicht einer Situation, in der das Verfahren zum Erstellen einer virtuellen Fahrspur gemäß einer Ausführungsform durchgeführt wird; Fig. 2 shows a schematic view of a situation in which the method for creating a virtual lane is carried out according to an embodiment;

Fig. 3 zeigt ein Flussablaufdiagramm eines Verfahrens zum Erstellen einer virtuellen Fahrspur gemäß einer Ausführungsform; 3 shows a flow diagram of a method for creating a virtual lane according to an embodiment;

Fig. 4 zeigt eine weitere schematische Ansicht einer Situation, in der das Verfahren zum Erstellen einer virtuellen Fahrspur gemäß einer Ausführungsform durchgeführt wird; und Fig. 4 shows a further schematic view of a situation in which the method for creating a virtual lane is carried out according to an embodiment; and

Fig. 5 zeigt ein weiteres Flussablaufdiagramm eines Verfahrens zum Erstellen einer virtuellen Fahrspur gemäß einer Ausführungsform. Fig. 5 shows another flow diagram of a method for creating a virtual lane according to an embodiment.

In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist. In the figures, identical or functionally equivalent elements have been given the same reference symbols unless otherwise stated.

Fig. 1 zeigt eine schematische Draufsicht eines Fahrzeugs 100 mit einem Steuergerät 103 und einem Sensor 102 gemäß einer Ausführungsform. Das Fahrzeug 100 ist in dem Beispiel der Fig. 1 ein Kraftfahrzeug, insbesondere ein Personenkraftwagen. Der Sensor 102 ist beispielsweise als Teil eines Fahrerassistenzsystems ausgebildet. Ein Verfahren zum Erstellen einer virtuellen Fahrspur ist beispielsweise als Softwarekomponente eines Fahrerassistenzsystems ausgebildet. Das Fahrerassistenzsystem dient beispielsweise zur Unterstützung ei- nes Fahrers des Fahrzeugs 100. Ferner kann das Fahrerassistenzsystem zum semi-autonomen oder vollautonomen Betrieb des Fahrzeugs 100 ausgebildet sein. Das Fahrerassistenzsystem ist zum Beispiel dazu eingerichtet, Komponenten des Fahrzeugs, wie beispielsweise eine Motorsteuereinrichtung 104, eine Bremseinrichtung 106 und insbesondere eine Lenkeinrichtung 107 zu steuern, so dass eine Fahrerunterstützung, ein semi-autonomer und/oder ein vollautonomer Betrieb durchführbar ist. Das Fahrerassistenzsystem ist beispielsweise zum Betrieb bei höheren Geschwindigkeiten, wie sie beispielweise auf einer Landstraße oder auf einer Autobahn vorkommen, ausgebildet. Weiterhin ist das Fahrerassistenzsystem zum Betrieb bei geringeren Geschwindigkeiten, wie sie beispielsweise auf innerstädtischen Straßen vorkommen, ausgebildet. Fig. 1 shows a schematic top view of a vehicle 100 with a control unit 103 and a sensor 102 according to an embodiment. In the example of Fig. 1, the vehicle 100 is a motor vehicle, in particular a passenger car. The sensor 102 is designed, for example, as part of a driver assistance system. A method for creating a virtual lane is designed, for example, as a software component of a driver assistance system. The driver assistance system serves, for example, to support a of the driver of the vehicle 100. Furthermore, the driver assistance system can be designed for semi-autonomous or fully autonomous operation of the vehicle 100. The driver assistance system is set up, for example, to control components of the vehicle, such as an engine control device 104, a braking device 106 and in particular a steering device 107, so that driver support, semi-autonomous and/or fully autonomous operation can be carried out. The driver assistance system is designed, for example, to operate at higher speeds, such as those found on a country road or on a motorway. Furthermore, the driver assistance system is designed to operate at lower speeds, such as those found on inner-city streets, for example.

Der Sensor 102 ist hier eine Kamera, insbesondere eine Frontkamera, und ist, wie in Fig. 1 dargestellt, in der Mitte der Fahrzeugfront des Fahrzeugs 100 angeordnet. Der Sensor 102 ist, zum Übertragen von Sensordaten, drahtlos und/oder drahtgebunden mit dem Steuergerät 103 verbunden. Das Fahrzeug 100 umfasst vorzugsweise weitere Sensoren (in Fig. 1 nicht dargestellt), die zum Erfassen des Fahrzustands des Fahrzeugs 100 und zum Erfassen einer Umgebung des Fahrzeugs 100 eingerichtet sind. Beispiele für derartige Sensoren des Fahrzeugs 100 sind ein Radar (Engl.: radio detection and ranging) oder auch ein Lidar (Engi.: light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die weiteren Sensoren sind jeweils zum Bereitstellen von Sensordaten eingerichtet, beispielsweise an das Steuergerät 103 und/oder an das Fahrassistenzsystem. The sensor 102 here is a camera, in particular a front camera, and is arranged in the middle of the front of the vehicle 100, as shown in Fig. 1. The sensor 102 is connected wirelessly and/or by wire to the control unit 103 for transmitting sensor data. The vehicle 100 preferably comprises further sensors (not shown in Fig. 1) which are set up to detect the driving state of the vehicle 100 and to detect an environment of the vehicle 100. Examples of such sensors of the vehicle 100 are a radar (radio detection and ranging) or a lidar (light detection and ranging), ultrasonic sensors, location sensors, wheel angle sensors and/or wheel speed sensors. The further sensors are each set up to provide sensor data, for example to the control unit 103 and/or to the driver assistance system.

Das Steuergerät 103 weist eine Prozessor-Einheit und eine Speicher-Einheit auf (in Fig. 1 nicht dargestellt), die dazu eingerichtet sind, das im Folgenden beschriebene Verfahren zum Erstellen einer virtuellen Fahrspur während des Betriebs des Fahrzeugs 100 durchzuführen. Das Steuergerät 103 ist dazu eingerichtet, Sensordaten insbesondere des Sensors 102 zu empfangen. Datenverbindungen des Steuergeräts 103 zu Fahrzeugkomponenten sind mit dem Bezugszeichen 105 gekennzeichnet, wobei Datenverbindungen Leitungen, Datenleitungen, ein Fahrzeugbus und/oder eine drahtlose Datenübertragung darstellen. Das Steuergerät 103 ist in der beispielhaften Darstellung des Fahrzeugs 100 in Fig. 1 mit der Motorsteuereinrichtung 104 verbunden und dazu eingerichtet, Daten an die Motorsteuereinrichtung 104 drahtlos und/oder drahtgebunden zu übertragen. Die übertragenen Daten enthalten beispielsweise Steuersignale, welche die Motorsteuereinrichtung 104 dazu veranlassen das Fahrzeug 100 zu beschleunigen und/oder abzubremsen. The control unit 103 has a processor unit and a memory unit (not shown in Fig. 1) which are designed to carry out the method described below for creating a virtual lane during operation of the vehicle 100. The control unit 103 is designed to receive sensor data, in particular from the sensor 102. Data connections of the control unit 103 to vehicle components are identified by the reference numeral 105, with data connections representing lines, data lines, a vehicle bus and/or wireless data transmission. In the exemplary representation of the vehicle 100 in Fig. 1, the control unit 103 is connected to the engine control device 104 and is configured to transmit data to the engine control device 104 wirelessly and/or by wire. The transmitted data contain, for example, control signals which cause the engine control device 104 to accelerate and/or brake the vehicle 100.

Weiterhin ist das Steuergerät 103 in Fig. 1 mit der Bremseinrichtung 106 verbunden. Das Steuergerät 103 überträgt drahtlos und/oder drahtgebunden Daten an die Bremseinrichtung 106 des Fahrzeugs 100, wobei die Daten beispielsweise Steuersignale enthalten. Diese Steuersignale veranlassen die Bremseinrichtung 106, das Fahrzeug 100 abzubremsen. Furthermore, the control unit 103 in Fig. 1 is connected to the braking device 106. The control unit 103 transmits data wirelessly and/or by wire to the braking device 106 of the vehicle 100, the data containing, for example, control signals. These control signals cause the braking device 106 to brake the vehicle 100.

Das Steuergerät 103 in Fig. 1 ist insbesondere mit einer Lenkeinrichtung 107 des Fahrzeugs 100 verbunden. Das Steuergerät 103 überträgt drahtlos und/oder drahtgebunden Daten an die Lenkeinrichtung 106 des Fahrzeugs 100, wobei die Daten beispielsweise Steuersignale enthalten. Diese Steuersignale veranlassen die Lenkeinrichtung 107, einen Lenkwinkel des Fahrzeugs 100 zu ändern, beispielsweise in Abhängigkeit der erstellten virtuellen Fahrspur. The control unit 103 in Fig. 1 is connected in particular to a steering device 107 of the vehicle 100. The control unit 103 transmits data wirelessly and/or by wire to the steering device 106 of the vehicle 100, the data containing, for example, control signals. These control signals cause the steering device 107 to change a steering angle of the vehicle 100, for example depending on the virtual lane created.

Des Weiteren weist das Steuergerät 103 ein Computerprogrammprodukt auf, welches Programmcodemittel aufweist, welche auf einem computerlesbaren Medium gespeichert sind, um das im Folgenden beschriebene Verfahren zum Erstellen einer virtuellen Fahrspur durchführen zu können. Furthermore, the control unit 103 has a computer program product which has program code means which are stored on a computer-readable medium in order to be able to carry out the method for creating a virtual lane described below.

Fig. 2 zeigt eine Situation, in der das Verfahren zum Erstellen einer virtuellen Fahrspur durchgeführt wird. In Fig. 3 ist ein Flussablaufdiagramm dargestellt, bei dem die einzelnen Verfahrensschritte dargestellt sind. Fig. 2 shows a situation in which the method for creating a virtual lane is carried out. Fig. 3 shows a flow chart showing the individual method steps.

Fig. 2 ist eine Draufsicht auf eine Situation, wie sie oftmals in Baustellen auf Autobahnen, aber auch auf Landstraßen oder Innerorts, vorkommt. Auf der Fahrbahn befinden sich eine erste Fahrspurmarkierung 400 und eine zweite Fahrspurmarkierung 500. Die erste Fahrspurmarkierung 400 ist dabei die normale Fahrspurmarkierung (dauerhafte Fahrspurmarkierung), die zweite Fahrspurmarkierung 500 (temporäre Fahrspurmarkierung) wurde für die Fahrspurführung innerhalb der Baustelle angebracht. Die beiden Fahrspurmarkierungen unterscheiden sich beispielsweise durch unterschiedliche Farben, beispielsweise ist die erste Fahrspurmarkierung 400 weiß und die zweite Fahrspurmarkierung gelb. In Fig. 2 unterscheiden sich die beiden Fahrspurmarkierungen zusätzlich durch unterschiedliche Formen. Die erste Fahrspurmarkierung 400 ist eine gestrichelte Linie, während die zweite Fahrspurmarkierung 500 eine durchgezogene Linie ist. Das Ego-Fahrzeug 100, das dem Ego-Fahrzeug 100 aus Fig. Fig. 2 is a top view of a situation that often occurs in construction sites on motorways, but also on country roads or in towns. On the road there are a first lane marking 400 and a second lane marking 500. The first lane marking 400 is the normal lane marking (permanent lane marking), the second lane marking 500 (temporary lane marking) was applied for lane guidance within the construction site. The two lane markings differ, for example, in their colors, for example the first lane marking 400 is white and the second lane marking is yellow. In Fig. 2, the two lane markings also differ in their shapes. The first lane marking 400 is a dashed line, while the second lane marking 500 is a solid line. The ego vehicle 100, which corresponds to the ego vehicle 100 from Fig.

1 entspricht, erkennt die zwei unterschiedlichen Fahrspurmarkierungen mithilfe des Sensors 102. Der Sensor 102 ist dabei beispielsweise eine Kamera, und die Fahrspurmarkierungen werden mithilfe einer Bilderkennungsroutine oder einem Bilderkennungsprogramm in dem aufgenommenen Bild erkannt. 1, detects the two different lane markings using the sensor 102. The sensor 102 is, for example, a camera, and the lane markings are detected in the captured image using an image recognition routine or an image recognition program.

Für jede der zwei erkannten Fahrspurmarkierungen 400, 500 wird eine Trajektorie 401 , 501 ermittelt (siehe S1 in Fig. 3). Die Trajektorie der Fahrspurmarkierung repräsentiert den Verlauf der Fahrspur, der sich aus den Fahrspurmarkierungen ergibt. In Fig. 2 sind beispielhaft die Trajektorie 401 der ersten Fahrspurmarkierung 400 und die Trajektorie 501 der zweiten Fahrspurmarkierung 500 dargestellt. For each of the two detected lane markings 400, 500, a trajectory 401, 501 is determined (see S1 in Fig. 3). The trajectory of the lane marking represents the course of the lane that results from the lane markings. In Fig. 2, the trajectory 401 of the first lane marking 400 and the trajectory 501 of the second lane marking 500 are shown as examples.

Anschließend ermittelt das Ego-Fahrzeug 100 eine Trajektorie 201 eines ersten vorausfahrenden Fahrzeugs 200 (siehe Schritt S2 in Fig. 3). Diese Trajektorie 201 wird ebenfalls mithilfe von Sensordaten des Ego-Fahrzeugs 100 ermittelt. Beispielsweise werden die Orientierung, Radwinkel und dergleichen als Parameter zum Ermitteln der Trajektorie des vorausfahrenden Fahrzeugs verwendet. The ego vehicle 100 then determines a trajectory 201 of a first preceding vehicle 200 (see step S2 in Fig. 3). This trajectory 201 is also determined using sensor data of the ego vehicle 100. For example, the orientation, wheel angle and the like are used as parameters for determining the trajectory of the preceding vehicle.

Die so ermittelte Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200 wird anschließend in Schritt S3 (siehe Fig. 3) mit den beiden Trajektorien 401 , 501 der Fahrspurmarkierungen 400, 500 verglichen. Bei diesem Vergleich wird eine Ähnlichkeit beziehungsweise Übereinstimmung der Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200 mit der jeweiligen Trajektorie 401 , 501 der ersten und der zweiten Fahrspurmarkierung 400, 500 ermittelt. Bei dem in Fig. 2 dargestellten Beispiel ergibt sich zwischen der Trajektorie 201 des ersten vorausfahrenden Fahrzeugs und der Trajektorie 501 der zweiten Fahrspurmarkierung 500 eine größere Ähnlichkeit beziehungsweise Übereinstimmung als mit der Trajektorie 401 der ersten Fahrspurmarkierung 400. The trajectory 201 of the first preceding vehicle 200 thus determined is then compared in step S3 (see Fig. 3) with the two trajectories 401, 501 of the lane markings 400, 500. In this comparison, a similarity or The correspondence of the trajectory 201 of the first preceding vehicle 200 with the respective trajectory 401, 501 of the first and second lane markings 400, 500 is determined. In the example shown in Fig. 2, there is a greater similarity or correspondence between the trajectory 201 of the first preceding vehicle and the trajectory 501 of the second lane marking 500 than with the trajectory 401 of the first lane marking 400.

In Abhängigkeit des Vergleichs in Schritt S3 wird in Schritt S4 eine virtuelle Fahrspur erstellt. Gemäß der größeren Ähnlichkeit der Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200 und der Trajektorie 501 der zweiten Fahrspurmarkierung 500 wird eine virtuelle Fahrspur erstellt, die der zweiten Fahrspurmarkierung 500 entspricht. Depending on the comparison in step S3, a virtual lane is created in step S4. According to the greater similarity of the trajectory 201 of the first preceding vehicle 200 and the trajectory 501 of the second lane marking 500, a virtual lane is created that corresponds to the second lane marking 500.

Die erstellte virtuelle Fahrspur weist dabei zumindest eine minimale Breite b auf. Diese minimale Breite b wird verwendet, um zu überprüfen, ob es sich bei der erstellten virtuellen Fahrbahn um eine valide virtuelle Fahrspur handelt, die von dem Ego-Fahrzeug 100 befahren werden kann. The virtual lane created has at least a minimum width b. This minimum width b is used to check whether the virtual lane created is a valid virtual lane that can be driven on by the ego vehicle 100.

Weiterhin wird, wenn wie in Fig. 2 ein zweites vorausfahrendes Fahrzeug 300, beispielsweise auf einer Spur neben dem Ego-Fahrzeug, erkannt wird, ebenfalls die Trajektorie 301 des zweiten vorausfahrenden Fahrzeugs 300 ermittelt. Die Trajektorie 301 des zweiten vorausfahrenden Fahrzeugs 300 kann dabei auf die gleiche Art ermittelt werden, wie die Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200. Die so ermittelte Trajektorie 301 des zweiten vorausfahrenden Fahrzeugs 300 wird anschließend mit der Trajektorie der erstellten virtuellen Fahrspur verglichen. Dabei wird ebenfalls eine Übereinstimmung der beiden Trajektorien bestimmt. Dadurch wird die erstellte virtuelle Fahrspur nochmals auf Validität überprüft. Furthermore, if, as in Fig. 2, a second vehicle 300 driving ahead is detected, for example in a lane next to the ego vehicle, the trajectory 301 of the second vehicle 300 driving ahead is also determined. The trajectory 301 of the second vehicle 300 driving ahead can be determined in the same way as the trajectory 201 of the first vehicle 200 driving ahead. The trajectory 301 of the second vehicle 300 driving ahead determined in this way is then compared with the trajectory of the virtual lane created. In this process, a match between the two trajectories is also determined. This checks the validity of the virtual lane created again.

Anschließend kann die so erstellte virtuelle Fahrspur beispielsweise über eine Anzeige-Einheit an den Fahrer des Ego-Fahrzeugs 100 ausgegeben werden. Weiterhin kann die erstellte virtuelle Fahrspur beispielsweise an das Steuergerät 103 des Ego-Fahrzeugs 100 ausgegeben werden, wobei das Fahrerassistenzsystem beziehungsweise ein Spurhalteassistenzsystem (vorliegend auch "Spurhalteassistent"), dazu eingerichtet ist, das Ego-Fahrzeug 100 semi- und/oder vollautonom entlang der erstellten virtuellen Fahrspur zu steuern. Weiterhin kann das Steuergerät 103 des Ego-Fahrzeugs 100 dazu eingerichtet sein, den Fahrer beim Lenken zu unterstützen und die Lenkeinrichtung 107 des Ego-Fahrzeugs so anzusteuern, dass der Fahrer beim Halten der erstellten virtuellen Fahrspur unterstützt wird. Das Spurhalteassistenzsystem kann dabei als Teil des Fahrerassistenzsystem ausgebildet sein. The virtual lane created in this way can then be output to the driver of the ego vehicle 100, for example via a display unit. Furthermore, the created virtual lane can be output, for example, to the control unit 103 of the ego vehicle 100, wherein the driver assistance system or a lane keeping assistance system (here also "lane keeping assistant") is set up to control the ego vehicle 100 semi- and/or fully autonomously along the created virtual lane. Furthermore, the control unit 103 of the ego vehicle 100 can be set up to assist the driver when steering and to control the steering device 107 of the ego vehicle in such a way that the driver is supported in maintaining the created virtual lane. The lane keeping assistance system can be designed as part of the driver assistance system.

Fig. 4 zeigt eine ähnliche Situation wie Fig. 2, ebenfalls mit dem Ego-Fahrzeug 100 aus Fig. 1 . Zusätzlich oder alternativ in anderen Ausführungsformen zu der temporären zweiten Fahrspurmarkierung 500, wie sie auch in Fig. 2 vorhanden ist, ist eine Fahrspur noch mit farbigen, beispielsweise orangenen, Hütchen, also einer dritten Fahrspurmarkierung 600, abgetrennt. Die Verfahrensschritte zum Ermitteln einer virtuellen Fahrspur sind in Fig. 5 dargestellt. Fig. 4 shows a similar situation to Fig. 2, also with the ego vehicle 100 from Fig. 1. In addition or as an alternative in other embodiments to the temporary second lane marking 500, as is also present in Fig. 2, a lane is also separated with colored, for example orange, cones, i.e. a third lane marking 600. The method steps for determining a virtual lane are shown in Fig. 5.

Ein vorausfahrendes Fahrzeug 200 befindet sich auf der gleichen Spur wie das Ego-Fahrzeug 100. Das Ego-Fahrzeug ermittelt in Schritt S10 (siehe Fig. 5) die Trajektorie 201 des vorausfahrenden Fahrzeugs 200. Dabei kann die Trajektorie des vorausfahrenden Fahrzeugs 200 in Abhängigkeit von Sensordaten des Ego-Fahrzeugs 100 ermittelt werden. A preceding vehicle 200 is in the same lane as the ego vehicle 100. In step S10 (see Fig. 5), the ego vehicle determines the trajectory 201 of the preceding vehicle 200. The trajectory of the preceding vehicle 200 can be determined depending on sensor data of the ego vehicle 100.

In einem zweiten Schritt S1 1 erkennt das Ego-Fahrzeug 100 die drei verschiedenen Fahrspurmarkierungen 400, 500, 600. Das Ego-Fahrzeug 100 ist dazu eingerichtet, die verschiedenen Fahrspurmarkierungen zu erkennen, beispielsweise mithilfe einer Bilderkennungssoftware. Weiterhin ist das Ego-Fahrzeug 100 dann dazu eingerichtet die Fahrspurmarkierungen in Abhängigkeit ihrer Farbe und/oder Form zu priorisieren. Eine Priorität der Fahrspurmarkierungen kann beispielsweise in dem Fahrerassistenzsystem hinterlegt sein. Beispielsweise haben normale Fahrspurmarkierungen eine niedrige Priorität, Fahrspurmarkierungen, die in Baustellen verwendet werden, weisen eine mittlere Priorität auf und Fahrspurmarkierung, die nur vorübergehend aufgestellt werden, wie beispielsweise Hütchen oder Warnbargen, weisen eine hohe Priorität auf. Demgemäß ordnet das Ego-Fahrzeug 100 der dritten Fahrspurmarkierung 600 eine höhere Priorität zu, als der zweiten Fahrspurmarkierung 500. Der zweiten Fahrspurmarkierung 500 wird eine höhere Priorität als der ersten Fahrspurmarkierung 400 zugeordnet. In a second step S1 1, the ego vehicle 100 recognizes the three different lane markings 400, 500, 600. The ego vehicle 100 is set up to recognize the different lane markings, for example with the help of image recognition software. Furthermore, the ego vehicle 100 is then set up to prioritize the lane markings depending on their color and/or shape. A priority of the lane markings can be stored in the driver assistance system, for example. For example, normal lane markings have a low priority, lane markings that are used in construction sites have a medium priority, and lane markings that are only temporarily set up, such as cones or warning beacons, have a high priority. Accordingly, the ego vehicle 100 assigns a higher priority to the third lane marking 600 than to the second lane marking 500. The second lane marking 500 is assigned a higher priority than the first lane marking 400.

Die Priorisierung ist beispielsweise dahingehend vorteilhaft, dass eine virtuelle Fahrspur schneller erstellt werden kann, da die Trajektorie 201 des vorausfahrenden Fahrzeugs 200 nur mit den Trajektorien 501 , 601 der am höchsten priorisierten Fahrspurmarkierungen 500, 600 verglichen werden muss. The prioritization is advantageous, for example, in that a virtual lane can be created more quickly because the trajectory 201 of the preceding vehicle 200 only needs to be compared with the trajectories 501, 601 of the highest prioritized lane markings 500, 600.

Demgemäß werden in Schritt S12 (siehe Fig. 5) die Trajektorien 501 , 601 für die zweite Fahrspurmarkierung 500 und die dritte Fahrspurmarkierung 600 ermittelt. Die Trajektorien können dabei mithilfe von Sensordaten des Ego-Fahrzeugs 100 ermittelt werden. Durch die zugeordnete niedrige Priorität wird vorzugsweise keine Trajektorie der ersten Fahrspurmarkierung 400 erstellt. Accordingly, in step S12 (see Fig. 5), the trajectories 501, 601 for the second lane marking 500 and the third lane marking 600 are determined. The trajectories can be determined using sensor data from the ego vehicle 100. Due to the assigned low priority, preferably no trajectory of the first lane marking 400 is created.

In Schritt S13 (siehe Fig. 5) wird die ermittelte Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200 mit den beiden Trajektorien 501 , 601 der zweiten und dritten Fahrspurmarkierungen 500, 600 verglichen. Dazu wird die Trajektorie des vorausfahrenden Fahrzeugs 200 mit jeweils einer der Trajektorien 501 , 601 der zweiten und dritten Fahrspurmarkierung 500, 600 verglichen beziehungsweise eine Ähnlichkeit ermittelt.. Gemäß dem in Fig. 4 dargestellten Beispiel ergibt sich zwischen der Trajektorie 201 des ersten vorausfahrenden Fahrzeugs 200 und der Trajektorie 601 der dritten Fahrspurmarkierung 600 eine größere Ähnlichkeit als zwischen der Trajektorie 201 des vorausfahrenden Fahrzeugs 200 und der Trajektorie 501 der ersten Fahrspurmarkierung 500. In step S13 (see Fig. 5), the determined trajectory 201 of the first preceding vehicle 200 is compared with the two trajectories 501, 601 of the second and third lane markings 500, 600. To do this, the trajectory of the preceding vehicle 200 is compared with one of the trajectories 501, 601 of the second and third lane markings 500, 600, or a similarity is determined. According to the example shown in Fig. 4, there is a greater similarity between the trajectory 201 of the first preceding vehicle 200 and the trajectory 601 of the third lane marking 600 than between the trajectory 201 of the preceding vehicle 200 and the trajectory 501 of the first lane marking 500.

In Abhängigkeit dieses Vergleichs und der ermittelten Ähnlichkeit bzw. Übereinstimmung wird in Schritt S15 eine virtuelle Fahrspur erstellt. Gemäß der größeren Ähnlichkeit der Trajektorie 201 des ersten vorausfahrenden Fahrzeugs und der Trajektorie 601 der dritten Fahrspurmarkierung 600 wird eine virtuelle Fahrspur erstellt, die der dritten Fahrspurmarkierung 600 entspricht. Depending on this comparison and the determined similarity or agreement, a virtual lane is created in step S15. According to the greater similarity of the trajectory 201 of the first preceding vehicle and the trajectory 601 of the third Lane marking 600 creates a virtual lane that corresponds to the third lane marking 600.

Wie in Bezug auf die Fig. 2 und 3 erläutert, wird die so erstellte virtuelle Fahrspur wird bei- spielsweise über eine Anzeige-Einheit an den Fahrer des Ego-Fahrzeugs 100 ausgegeben.As explained with reference to Figs. 2 and 3, the virtual lane created in this way is output to the driver of the ego vehicle 100, for example via a display unit.

Weiterhin kann die erstellte virtuelle Fahrspur beispielsweise von einem Fahrerassistenzsystem zum Steuern des Ego-Fahrzeugs verwendet werden. Furthermore, the created virtual lane can be used, for example, by a driver assistance system to control the ego vehicle.

Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar. Although the present invention has been described using exemplary embodiments, it can be modified in many ways.

BEZUGSZEICHENLISTE REFERENCE SYMBOL LIST

100 Ego-Fahrzeug 100 ego vehicles

102 Sensor 102 Sensor

103 Steuergerät 103 control unit

104 Motorsteuereinrichtung 104 Engine control unit

105 Datenverbindung 105 data connection

106 Bremseinrichtung 106 braking device

107 Lenkeinrichtung 107 steering device

200 erstes vorausfahrendes Fahrzeug 200 first vehicle ahead

201 Trajektorie (des ersten vorausfahrenden Fahrzeugs)201 Trajectory (of the first vehicle ahead)

300 zweites vorausfahrendes Fahrzeug 300 second vehicle ahead

301 Trajektorie (des zweiten vorausfahrenden Fahrzeugs)301 Trajectory (of the second vehicle ahead)

400 erste Fahrspurmarkierung 400 first lane marking

401 Trajektorie (der ersten Fahrspurmarkierung) 401 trajectory (of the first lane marking)

500 zweite Fahrspurmarkierung 500 second lane marking

501 Trajektorie (der zweiten Fahrspurmarkierung) 501 trajectory (of the second lane marking)

600 dritte Fahrspurmarkierung 600 third lane marking

601 Trajektorie (der dritten Fahrspurmarkierung) b minimale Breite 601 Trajectory (of the third lane marking) b minimum width

S1 bis S4 Verfahrensschritte S1 to S4 process steps

S10 bis S14 Verfahrensschritte S10 to S14 process steps

Claims

PATENTANSPRÜCHE PATENT CLAIMS 1. Verfahren zum Erstellen einer virtuellen Fahrspur eines Ego-Fahrzeugs (100) mit den Schritten: a) Ermitteln (S1 ) von T rajektorien (401 , 501 , 601 ) von zumindest zwei unterschiedlichen Fahrspurmarkierungen (400, 500, 600) in der Umgebung des Ego-Fahrzeugs (100); b) Ermitteln (S2) einer T rajektorie (201 , 301 ) zumindest eines vorausfahrenden Fahrzeugs (200, 300); c) Vergleichen (S3) der ermittelten Trajektorie (201 , 301 ) des zumindest einen vorausfahrenden Fahrzeugs (200, 300) mit Trajektorien (401 , 501 , 601 ) der zumindest zwei unterschiedlichen Fahrspurmarkierungen (400, 500, 600); d) Erstellen (S4) der virtuellen Fahrspur in Abhängigkeit des Vergleichs in Schritt c). 1. Method for creating a virtual lane of an ego vehicle (100) with the steps: a) determining (S1) trajectories (401, 501, 601) of at least two different lane markings (400, 500, 600) in the surroundings of the ego vehicle (100); b) determining (S2) a trajectory (201, 301) of at least one preceding vehicle (200, 300); c) comparing (S3) the determined trajectory (201, 301) of the at least one preceding vehicle (200, 300) with trajectories (401, 501, 601) of the at least two different lane markings (400, 500, 600); d) Creating (S4) the virtual lane depending on the comparison in step c). 2. Verfahren nach Anspruch 1 , wobei die Trajektorie (201 , 301 ) des vorausfahrenden Fahrzeugs (200, 300) mithilfe eines oder mehrerer Sensoren des Ego-Fahrzeugs (100) ermittelt wird. 2. The method according to claim 1, wherein the trajectory (201, 301) of the preceding vehicle (200, 300) is determined using one or more sensors of the ego vehicle (100). 3. Verfahren nach Anspruch 1 , wobei die Trajektorie (201 , 301 ) des vorausfahrenden Fahrzeugs (200, 300) aus von dem Ego-Fahrzeug (100) empfangenen Daten ermittelt wird. 3. The method according to claim 1, wherein the trajectory (201, 301) of the preceding vehicle (200, 300) is determined from data received from the ego vehicle (100). 4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erstellte virtuelle Fahrspur virtuelle Fahrspurmarkierungen aufweist, die einer der zumindest zwei unterschiedlichen erkannten Fahrspurmarkierungen (400, 500, 600) entsprechen. 4. Method according to one of the preceding claims, wherein the created virtual lane has virtual lane markings that correspond to one of the at least two different recognized lane markings (400, 500, 600). 5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die virtuelle Fahrspur zumindest eine festgelegte minimale Breite (b) aufweist. 5. Method according to one of the preceding claims, wherein the virtual lane has at least a specified minimum width (b). 6. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt d) die virtuelle Fahrspur in Abhängigkeit der Übereinstimmung der T rajektorie (201 , 301 ) des vorausfahrenden Fahrzeugs (200, 300) mit den T rajektorien (401 , 501 , 601 ) der zumindest zwei unterschiedlichen Fahrspurmarkierungen (400, 500, 600) bestimmt wird. 6. Method according to one of the preceding claims, wherein in step d) the virtual lane is determined as a function of the correspondence of the trajectory (201, 301) of the preceding vehicle (200, 300) with the trajectories (401, 501, 601) of the at least two different lane markings (400, 500, 600). 7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die unterschiedlichen Fahrspurmarkierungen (400, 500, 600) sich in ihrer Farbe und/oder in ihrer Form unterscheiden. 7. Method according to one of the preceding claims, wherein the different lane markings (400, 500, 600) differ in their color and/or in their shape. 8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zumindest zwei unterschiedlichen Fahrspurmarkierungen (400, 500, 600) durch einen Sensor (102) des Ego- Fahrzeugs (100) erkannt werden. 8. The method according to any one of the preceding claims, wherein the at least two different lane markings (400, 500, 600) are detected by a sensor (102) of the ego vehicle (100). 9. Verfahren nach einem der vorhergehenden Ansprüche, wobei den Fahrspurmarkierungen (400, 500, 600) in Abhängigkeit ihrer Farbe und/oder ihrer Form eine Priorität zugeordnet ist, die bei dem Vergleich in Schritt d) berücksichtigt wird. 9. Method according to one of the preceding claims, wherein the lane markings (400, 500, 600) are assigned a priority depending on their color and/or their shape, which is taken into account in the comparison in step d). 10. Verfahren nach einem der vorhergehenden Ansprüche, wobei ein Fahrerassistenzsystem des Ego-Fahrzeugs (100) dazu eingerichtet ist, die in Schritt d) erstellte virtuelle Fahrspur zu empfangen und das Ego-Fahrzeug (100) gemäß der virtuellen Fahrspur zu steuern. 10. The method according to any one of the preceding claims, wherein a driver assistance system of the ego vehicle (100) is configured to receive the virtual lane created in step d) and to control the ego vehicle (100) according to the virtual lane. 11 . Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 - 10 auszuführen. 11. Computer program product comprising instructions which, when the program is executed by a computer, cause the computer to carry out the method according to one of claims 1 to 10. 12. Steuergerät (103) für ein Fahrzeug (100) zum Erstellen einer virtuellen Fahrspur, aufweisend: eine Prozessor-Einheit; und eine Speicher-Einheit, auf welcher Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 - 10 abgespeichert sind. 12. Control device (103) for a vehicle (100) for creating a virtual lane, comprising: a processor unit; and a memory unit on which means for carrying out the method according to one of claims 1 - 10 are stored. 13. Fahrzeug (100), aufweisend: ein oder mehrere Sensoren (102); und ein Steuergerät (103) nach Anspruch 12. 13. Vehicle (100), comprising: one or more sensors (102); and a control unit (103) according to claim 12.
PCT/EP2024/057536 2023-03-31 2024-03-21 Method for creating a virtual lane Pending WO2024200183A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202480022724.8A CN120937058A (en) 2023-03-31 2024-03-21 Method for creating virtual lanes
KR1020257036653A KR20250165657A (en) 2023-03-31 2024-03-21 How to create a virtual lane

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023108265.5 2023-03-31
DE102023108265.5A DE102023108265A1 (en) 2023-03-31 2023-03-31 METHOD FOR CREATING A VIRTUAL LANE

Publications (1)

Publication Number Publication Date
WO2024200183A1 true WO2024200183A1 (en) 2024-10-03

Family

ID=90482399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/057536 Pending WO2024200183A1 (en) 2023-03-31 2024-03-21 Method for creating a virtual lane

Country Status (4)

Country Link
KR (1) KR20250165657A (en)
CN (1) CN120937058A (en)
DE (1) DE102023108265A1 (en)
WO (1) WO2024200183A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9222789B2 (en) * 2013-07-25 2015-12-29 GM Global Technology Operations LLC Wayfinding method and device
DE102017201981A1 (en) * 2016-02-09 2017-08-10 Honda Motor Co., Ltd. Driving assistance device
US20180247138A1 (en) 2017-02-28 2018-08-30 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
DE102018115317A1 (en) * 2018-06-26 2020-01-02 Valeo Schalter Und Sensoren Gmbh Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information
DE102019217306A1 (en) * 2019-11-08 2021-05-12 Robert Bosch Gmbh Method for determining a driving trajectory of a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9222789B2 (en) * 2013-07-25 2015-12-29 GM Global Technology Operations LLC Wayfinding method and device
DE102017201981A1 (en) * 2016-02-09 2017-08-10 Honda Motor Co., Ltd. Driving assistance device
US20180247138A1 (en) 2017-02-28 2018-08-30 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
EP3376432A2 (en) * 2017-02-28 2018-09-19 Samsung Electronics Co., Ltd. Method and device to generate virtual lane
DE102018115317A1 (en) * 2018-06-26 2020-01-02 Valeo Schalter Und Sensoren Gmbh Method and driving support system for operating a vehicle or for assisting a driver of the vehicle using lane information
DE102019217306A1 (en) * 2019-11-08 2021-05-12 Robert Bosch Gmbh Method for determining a driving trajectory of a vehicle

Also Published As

Publication number Publication date
KR20250165657A (en) 2025-11-26
DE102023108265A1 (en) 2024-10-02
CN120937058A (en) 2025-11-11

Similar Documents

Publication Publication Date Title
DE102017126452B4 (en) Vehicle control system
DE102009017152B4 (en) Method and device for longitudinal and transverse guidance of a motor vehicle
DE102017223431B4 (en) Method for assisting a driver of a motor vehicle when overtaking; motor vehicle; as well as system
DE102017203654B4 (en) Method for operating a driver assistance system for a vehicle on a road and driver assistance system
EP3356203B1 (en) Method for determining a parking surface for parking a motor vehicle, driver assistance system, and motor vehicle
EP2904599B1 (en) Method and device for supporting the return of a vehicle after leaving a lane
DE102019217428B4 (en) Method for operating a driver assistance system, driver assistance system and vehicle
EP4176378A1 (en) Method for capturing the surroundings using at least two independent imaging surroundings capture sensors, apparatus for performing the method, vehicle and appropriately designed computer program
EP3566925B1 (en) (partially) autonomous motor vehicle and method for operating the same
DE112022001245T5 (en) LANE KEEPING ASSISTANT BASED ON DEVIATION RATE
DE102020131933A1 (en) METHOD OF OPERATING A PARKING ASSISTANCE SYSTEM, COMPUTER PROGRAM PRODUCT, PARKING ASSISTANCE SYSTEM AND VEHICLE
DE102017218191B3 (en) Parking assistance for parking on an oncoming lane
DE102021200373B3 (en) Method for operating a motor vehicle and motor vehicle
DE19601831C5 (en) Method for detecting relevant objects
DE102016224074A1 (en) Method and device for operating a vehicle
DE102017201517A1 (en) Method and device for plausibility of a vehicle trajectory for controlling a vehicle
WO2024008568A1 (en) Method and device for controlling the lateral control of a motor vehicle
WO2024200183A1 (en) Method for creating a virtual lane
DE102020101375A1 (en) Method for warning of cross traffic for a vehicle with detection of lanes, computing device and driver assistance system
DE102023210755A1 (en) Method and control device for fully automated or autonomous driving of a vehicle
DE102023130864A1 (en) Control device and method for controlling the operation of a motor vehicle
DE112022004331T5 (en) Vehicle control device and vehicle control method
WO2023237421A1 (en) Method and device for adjusting an operating state of a driver assistance system
DE102022127111A1 (en) Device and method for operating a driving function on an access road to a signaling unit
DE102023100903A1 (en) Method and device for assisting in collision avoidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24714451

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: KR1020257036653

Country of ref document: KR

Ref document number: 2024714451

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2024714451

Country of ref document: EP

Effective date: 20251031

ENP Entry into the national phase

Ref document number: 2024714451

Country of ref document: EP

Effective date: 20251031

ENP Entry into the national phase

Ref document number: 2024714451

Country of ref document: EP

Effective date: 20251031

ENP Entry into the national phase

Ref document number: 2024714451

Country of ref document: EP

Effective date: 20251031

ENP Entry into the national phase

Ref document number: 2024714451

Country of ref document: EP

Effective date: 20251031