[go: up one dir, main page]

WO2021170580A1 - Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle - Google Patents

Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle Download PDF

Info

Publication number
WO2021170580A1
WO2021170580A1 PCT/EP2021/054442 EP2021054442W WO2021170580A1 WO 2021170580 A1 WO2021170580 A1 WO 2021170580A1 EP 2021054442 W EP2021054442 W EP 2021054442W WO 2021170580 A1 WO2021170580 A1 WO 2021170580A1
Authority
WO
WIPO (PCT)
Prior art keywords
mission
simulation
algorithm
motor vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/054442
Other languages
German (de)
French (fr)
Inventor
Christoph THIEM
Ulrich Eberle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Priority to EP21707961.5A priority Critical patent/EP4111438A1/en
Priority to CN202180017212.9A priority patent/CN115176297A/en
Publication of WO2021170580A1 publication Critical patent/WO2021170580A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Definitions

  • a method for training at least one algorithm for a control unit of a motor vehicle, a computer program product and a motor vehicle are described here.
  • Methods for training at least one algorithm for a control device of a motor vehicle, computer program products and motor vehicles of the type mentioned at the beginning are known in the prior art.
  • the first partially automated vehicles (corresponds to SAE Level 2 in accordance with SAE J3016) have reached series production readiness in recent years.
  • Automated (corresponds to SAE level> 3 in accordance with SAE J3016) or autonomously (corresponds to SAE level 4/5 in accordance with SAE J3016) motor vehicles must be able to operate independently with maximum safety in unfamiliar traffic situations based on a variety of specifications, for example destination and compliance with current traffic rules can react. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, especially human road users, it is almost impossible to program corresponding control units of motor vehicles with conventional methods and on the basis of man-made rules.
  • a system and a method for training a machine-learning model on a simulation platform for operating an autonomous vehicle are known from US 2019/0318267 A1. While driving, driving statistics and environmental data for a plurality of driving scenarios are collected with a human driver so that the model continuously learns the driving style and the preferences of the driver.
  • the object is thus to develop methods for training at least one algorithm for a control unit of a motor vehicle, computer program products and motor vehicles of the type mentioned at the outset so that autonomously driving motor vehicles can better adapt to a traffic flow.
  • the object is achieved by a method for training at least one algorithm for a control unit of a motor vehicle according to claim 1, a computer program product according to the independent claim 14 and a motor vehicle according to the independent claim 15. Further refinements and developments are the subject of the dependent claims .
  • a method for training at least one algorithm for a control unit of a motor vehicle is described below, the control unit being provided for implementing an automated or autonomous driving function with intervention in units of the motor vehicle on the basis of input data using the at least one algorithm, with the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, the behavior of the motor vehicle being determined by a rule set, c) providing a mission for the motor vehicle, d) providing real-time traffic data the real existing application area as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f) performing a simulation of the mission in the simulation environment and determining a simulation driving time for completing the
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • driving data and routes from certain road users are selected as real-time traffic data, with missions being selected on the basis of locations on the routes of the road users.
  • Real-time traffic data can contain statistical data on the flow of traffic, but also travel data from specific road users.
  • Statistical data can be, for example, data that can be contained by a route calculation algorithm based on environmental parameters such as maximum permitted speeds, traffic lights and traffic volume.
  • Driving data from specific road users allow a comparison with individual driving performance. Different drivers have different driving styles, some drive more defensively, some less defensively.
  • these specific road users may drive individual routes from the starting point to the destination. These routes can be the basis for the selection of corresponding missions and starting and destination points as well as intermediate destinations can be determined on the basis of the individual routes.
  • the starting and destination points as well as intermediate destinations can be certain characteristic points along the corresponding routes, for example intersections.
  • the real-time traffic data contain infrastructure information.
  • Infrastructure information can be, for example, information on traffic light switching, road blocks, lane guidance and the like.
  • the inclusion of this information increases the degree of reality of the simulation and allows the driving time for the mission to be assessed. For example, a driving time for which a driver only had green traffic lights can be disqualified.
  • an optimization algorithm is used in order to minimize deviations between the simulation environment and the real-time traffic data.
  • a particularly realistic traffic scenario can be generated in the simulation environment, which simulates the real-time traffic data particularly well, which improves the comparability of the driving time and the simulation driving time.
  • the parameters are changed in a randomized manner.
  • An over-specialization of the algorithm can also be prevented by randomization.
  • a driving time of a road user for carrying out the mission from the real-time traffic data is used as the driving time, or a driving time of the road user is determined with the help of an agent in the simulation environment.
  • the performance of one algorithm can be compared with that of another algorithm.
  • the algorithm and / or the at least one rule set is trained by means of a reinforcing learning algorithm.
  • a reinforcement learning algorithm allows the algorithm to be improved through a reward function.
  • the reward function can be triggered by approximating the simulation driving time to the driving time.
  • the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.
  • the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.
  • the reference driving time from the real traffic environment is closer to an average driving time, which means that statistical deviations of individual driving times and influences of differently defensive or aggressive driving human drivers can be reduced.
  • the self-learning neural network modifies the rule set beyond predetermined rule set limits.
  • Corresponding rule set limits are, for example, permissible maximum speeds on a certain route or permissible periods of time when driving over traffic lights that change to red, permissibility of crossing solid lines and the like.
  • a standard deviation is taken into account when comparing the simulation driving time and driving time.
  • Mission can generally be defined as reaching a target point starting from a starting point.
  • several different routes may be driven between the starting point and the destination point or a specific route.
  • the comparability of travel times suffers with different routes. If the route is fixed, the comparability of the simulation driving time with the driving time can be increased.
  • a mission represents driving a route from at least one starting point to at least one destination point.
  • a first independent subject relates to a device for training at least one algorithm for a control unit of a motor vehicle, wherein the control unit is provided for implementing an automated or autonomous driving function with intervention in aggregates of the motor vehicle on the basis of input data using the at least one algorithm, wherein a self-learning neural network is provided for training the algorithm, the device being designed to carry out the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, wherein a behavior of the motor vehicle is indicated by a Reg the sentence is determined c) provision of a mission for the motor vehicle, d) provision of real-time traffic data of the real existing area of use as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f
  • step g) (i) is reached, another mission is selected and the method is repeated with the other mission.
  • driving data and routes from certain road users are selected as real-time traffic data, missions being selected on the basis of locations on the routes of the road users.
  • the real-time traffic data contain infrastructure information.
  • the device is designed to use an optimization algorithm when simulating the traffic situation in the simulation environment in order to minimize deviations between the simulation environment and the real-time traffic data.
  • the device is set up to vary the mission by changing parameters of the traffic situation in the simulation environment and the method with the modified one Carry out mission.
  • the device is set up to carry out the change in the parameters in a randomized manner.
  • a driving time of a road user for carrying out the mission from the real-time traffic data is provided as the expected value, or the device is set up to determine a driving time of the road user with the help of an agent in the simulation environment .
  • the device is set up to train the algorithm and / or the at least one rule set by means of a reinforcing learning algorithm.
  • the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.
  • the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.
  • the device is set up to modify the rule set beyond predetermined rule set limits by means of the self-learning neural network.
  • the device is designed to take into account a standard deviation when comparing the simulation driving time and driving time.
  • a mission represents driving a route from at least one starting point to at least one destination point.
  • Another independent subject matter relates to a computer program product with a computer-readable storage medium on which instructions are embedded which, when executed by at least one computing unit, have the effect that the at least computing unit is set up to carry out the method of the aforementioned type.
  • the method can be carried out on one or more processing units distributed so that certain method steps are carried out on one processing unit and other process steps are carried out on at least one other processing unit, with calculated data being able to be transmitted between the processing units if necessary.
  • Another independent subject relates to a motor vehicle with a computer program product of the type described above. Further features and details emerge from the following description in which - if necessary with reference to the drawing - at least one,sbei game is described in detail. Described and / or graphically represented features form the subject per se or in any meaningful combination, possibly also independently of the claims, and can in particular also be subject of one or more separate applications. Identical, similar and / or functionally identical parts are provided with the same reference numerals. They show schematically:
  • Fig. 1 is a plan view of a motor vehicle;
  • Figure 2 shows a computer program product module;
  • 3 shows a road map of a real existing application area with traffic flow information;
  • FIG. 4 shows the road map from FIG. 3 with a mission, as well as
  • FIG. 5 shows a flow diagram of a training method.
  • Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.
  • the motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8.
  • a computer program product is stored in the memory 8 and is described in more detail below in connection with FIGS.
  • the control unit 4 is connected, on the one hand, to a number of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be recorded. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16.
  • the environmental sensors 10 to 13 can, for example, radar, lidar and / or Include ultrasonic sensors.
  • sensors for detecting the state of the motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to the control unit 4. With the aid of this motor vehicle sensor system, the current state of motor vehicle 2 can be reliably detected.
  • the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, which are each connected to the control unit 4.
  • Data from sensors 10 to 20 are continuously temporarily stored in memory 8 and discarded after a predetermined period of time so that these environmental data can be available for further evaluation.
  • the algorithm was trained according to the method described below.
  • the computer program product module 30 has a self-learning neural network 32 that trains an algorithm 34.
  • the self-learning neural network 32 learns according to methods of reinforcement learning, ie the neural network 32 tries by varying the algorithm 34 to receive rewards for improved behavior according to one or more metrics or standards, i.e. for improvements to the algorithm 34.
  • known learning methods of supervised and unsupervised learning as well as combinations of these learning methods can be used.
  • the algorithm 34 can essentially consist of a complex filter with a matrix of values, usually called weights by those skilled in the art, that define a filter function that determines the behavior of the algorithm 34 as a function of input variables that are presently recorded by the environmental sensors 10 to 20 are determined and control signals for controlling the motor vehicle 2 are generated.
  • the computer program product module 30 can be used both in the motor vehicle 2 and outside the motor vehicle 2. It is thus possible to train the computer program product module 30 both in a real environment and in a simulation environment. In particular, according to the teaching described here, the training takes place in a simulation environment, since this is safer than training in a real environment.
  • the computer program product module 30 is set up to set up a metric that is to be improved.
  • the metric is a time until a given mission is reached (hereinafter referred to as simulation driving time), for example the driving time from a starting point to a destination, compared to expected values of actually existing driving times.
  • the algorithm 34 can either be optimized with regard to another mission and trained further, or the algorithm can be tested in a real environment.
  • Fig. 3 shows a simulation environment 36, which is a road map of a real existing Area of application 37.
  • the road map of the operational area 37 serves as a simulation environment 36 for training the algorithm 34.
  • the road map of the operational area 37 has traffic flow information relating to the traffic flow on different roads.
  • This traffic flow information is real-time information that can be made available via various services. Such real-time information can be determined, for example, from cell phone location data, vehicle navigation data, camera recordings from traffic monitoring cameras and the like.
  • slow traffic can be defined as traffic that flows at an average speed of less than 20 km / h
  • very slow traffic can be defined as traffic that flows at an average speed of less than 5 km / h.
  • FIG. 4 shows the simulation environment 36 of the road map of the operational area 37 as well as a mission for the algorithm 34.
  • the present mission is to drive the simulated motor vehicle 2 along a specific route from a starting point S to a destination point Z.
  • the computer program product module 30 uses the real-time traffic data to calculate an expected value of a vehicle for completing the mission, taking into account the prevailing congested traffic 38 and the prevailing heavily congested traffic 40.
  • This expected value is the reference value for a travel time TS that is required for completing the mission by simulated motor vehicle 2.
  • the computer program product module contains the algorithm to be trained and a self-learning neural network.
  • a simulation environment is then made available on the basis of real map data.
  • the simulation environment can also contain other road users and their missions.
  • a mission is determined in the simulation environment. As shown in connection with FIG. 4, the mission can be the driving of a specific route from a starting point to a destination point.
  • an expected value for a driving time can be simulated on the basis of the real traffic data for the. Area of application can be calculated.
  • the simulation is carried out and a simulation driving time is determined.
  • a simulation driving time is determined.
  • agents in the simulation environment who create a traffic situation comparable to that which exists in the real environment. This can also include infrastructure information such as traffic lights.
  • the simulation driving time is then compared with the expected value. If the simulation driving time is not sufficiently close to the expected value, the algorithm and / or the rule set is varied and the simulation is repeated. This step corresponds to the principle of reinforcement learning with a reward metric that the algorithm wants to achieve.
  • the algorithm can be trained by different missions, for example a mission with the same start and destination but different traffic situation or with a new mission that has a different start and / or a different destination.
  • the algorithm can only be frozen when all metrics have been reached.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method for training at least one algorithm for a control device of a motor vehicle using a self-learning neural network, having the steps of: providing a simulation environment with simulation parameters, said simulation environment containing map data of an actual existing area of operation and the motor vehicle, the behavior of said motor vehicle being determined by a set of rules; providing a mission for the motor vehicle; providing real-time traffic data of the actual existing area of operation and readjusting the traffic situation in the simulation environment; determining a drive duration for the mission using the real-time traffic data; carrying out a simulation of the mission in the simulation environment and determining a simulation drive duration for completing the mission; and comparing the simulation drive duration with the drive duration, wherein if the simulation drive duration lasts longer than the drive duration by more than a specified time interval, the at least one algorithm and/or the at least one set of rules is modified and the mission is repeated.

Description

VERFAHREN ZUM TRAINIEREN WENIGSTENS EINES ALGORITHMUS FÜR EIN STEUERGERÄT EINES KRAFTFAHRZEUGS, COMPUTERPROGRAMMPRODUKT SOWIE KRAFTFAHRZEUG METHOD OF TRAINING AT LEAST ONE ALGORITHM FOR A CONTROL UNIT OF A MOTOR VEHICLE, COMPUTER PROGRAM PRODUCT, AND MOTOR VEHICLE

Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, ein Computerprogrammprodukt sowie ein Kraftfahrzeug beschrieben. Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraft fahrzeugs, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art sind im Stand der Technik bekannt. Die ersten teilautomatisiert fahrenden Kraftfahr zeuge (entspricht SAE Level 2 gemäß SAE J3016) sind in den vergangenen Jahren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw., autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrziel und Einhaltung gängiger Verkehrsre geln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren können. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens an derer Verkehrsteilnehmer, insbesondere menschlicher Verkehrsteilnehmer, hoch komplex ist, gilt es als nahezu unmöglich, entsprechende Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grundlage von menschengemachten Regeln zu programmieren. A method for training at least one algorithm for a control unit of a motor vehicle, a computer program product and a motor vehicle are described here. Methods for training at least one algorithm for a control device of a motor vehicle, computer program products and motor vehicles of the type mentioned at the beginning are known in the prior art. The first partially automated vehicles (corresponds to SAE Level 2 in accordance with SAE J3016) have reached series production readiness in recent years. Automated (corresponds to SAE level> = 3 in accordance with SAE J3016) or autonomously (corresponds to SAE level 4/5 in accordance with SAE J3016) motor vehicles must be able to operate independently with maximum safety in unfamiliar traffic situations based on a variety of specifications, for example destination and compliance with current traffic rules can react. Since the reality of traffic is highly complex due to the unpredictability of the behavior of other road users, especially human road users, it is almost impossible to program corresponding control units of motor vehicles with conventional methods and on the basis of man-made rules.

Zur Bewältigung komplexer Probleme mittels Computern ist es darüber hinaus bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln bzw. sich durch selbstlernende neuronale Netze entwickeln zu lassen. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell mög lich, die Algorithmen während des Entwicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln und kontinuierlich zu verbessern. Alternativ kann ein Stand des Algorithmus nach der Beendigung einer Trainingsphase im Entwicklungsprozess und einer Validierung durch den Hersteller eingefroren werden. In order to cope with complex problems by means of computers, it is also known to develop algorithms with methods of machine learning or artificial intelligence or to allow them to be developed by self-learning neural networks. On the one hand, such algorithms can react more moderately to complex traffic situations than traditional algorithms. On the other hand, with the help of artificial intelligence, it is in principle possible to further develop and continuously improve the algorithms during the development process and in everyday life through constant learning. Alternatively, the state of the algorithm can be frozen after the end of a training phase in the development process and a validation by the manufacturer.

Des Weiteren gibt es Situationen, in denen der Verkehrsfluss verbessert und ggf. sogar das Unfallrisiko reduziert werden können, wenn das Ego-Fahrzeug sich selbst nicht zu vollständig regelkonform verhält, z.B. wenn es eine durchgezogene Linie überfährt, um ei nem Hindernis auszuweichen, solange dies gefahrlos möglich ist, z.B. wenn kein Gegen verkehr herrscht. Ein Abbremsen des autonom fahrenden Kraftfahrzeugs in einer solchen Situation könnte zur Folge haben, dass nachfolgend fahrende, unvorbereitete menschli che Fahrer durch die plötzliche Unterbrechung des Verkehrsflusses einen Auffahrunfall verursachen. Furthermore, there are situations in which the flow of traffic can be improved and possibly even the risk of an accident can be reduced if the ego vehicle does not close itself behaves fully in accordance with the rules, e.g. when it crosses a solid line to avoid an obstacle, as long as it is safe to do so, e.g. when there is no oncoming traffic. Braking the autonomously driving motor vehicle in such a situation could have the consequence that unprepared human drivers who subsequently drive could cause a rear-end collision due to the sudden interruption of the flow of traffic.

Aus der US 2019/0318267 A1 sind ein System und ein Verfahren zum Trainieren eines maschinenlernenden Modells auf einer Simulationsplattform zum Betreiben eines autono men Fahrzeugs bekannt. Während der Fahrt werden mit einem menschlichen Fahrer Fahrtstatistiken und Umgebungsdaten für eine Mehrzahl von Fahrtszenarien gesammelt, damit das Modell fortlaufend den Fahrstil und die Präferenzen des Fahrers erlernt. A system and a method for training a machine-learning model on a simulation platform for operating an autonomous vehicle are known from US 2019/0318267 A1. While driving, driving statistics and environmental data for a plurality of driving scenarios are collected with a human driver so that the model continuously learns the driving style and the preferences of the driver.

Somit stellt sich die Aufgabe, Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukte sowie Kraftfahrzeuge der eingangs genannten Art dahingehend weiterzubilden, dass autonom fahrende Kraft fahrzeuge sich besser an einen Verkehrsfluss anpassen können. The object is thus to develop methods for training at least one algorithm for a control unit of a motor vehicle, computer program products and motor vehicles of the type mentioned at the outset so that autonomously driving motor vehicles can better adapt to a traffic flow.

Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorith mus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1, ein Computerpro grammprodukt gemäß dem nebengeordneten Anspruch 14 sowie ein Kraftfahrzeug ge mäß dem nebengeordneten Anspruch 15. Weiterführende Ausgestaltungen und Weiterbil dungen sind Gegenstand der abhängigen Ansprüche. The object is achieved by a method for training at least one algorithm for a control unit of a motor vehicle according to claim 1, a computer program product according to the independent claim 14 and a motor vehicle according to the independent claim 15. Further refinements and developments are the subject of the dependent claims .

Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs beschrieben, wobei das Steuergerät zur Umsetzung ei ner automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate des Kraft fahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Si mulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer mit der Fahrdauer, wobei, A method for training at least one algorithm for a control unit of a motor vehicle is described below, the control unit being provided for implementing an automated or autonomous driving function with intervention in units of the motor vehicle on the basis of input data using the at least one algorithm, with the algorithm is trained by a self-learning neural network, comprising the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, the behavior of the motor vehicle being determined by a rule set, c) providing a mission for the motor vehicle, d) providing real-time traffic data the real existing application area as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f) performing a simulation of the mission in the simulation environment and determining a simulation driving time for completing the mission; g) comparing the simulation driving time with the driving time, whereby,

(i) wenn die Simulationsfahrdauer länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algo rithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder (i) if the simulation driving duration is longer than a predetermined time interval longer than the driving duration, modifying the at least one algorithm and / or the at least one rule set and repeating the mission, or

(ii) wenn die Simulationsfahrdauer nicht länger als einen vorgegebenen Zeit abstand länger dauert als die Fahrdauer, Klassifizieren der Mission als er folgreich. Dadurch, dass anhand der Echtzeit-Verkehrsdaten eine Fahrdauer für eine vorgegebene Mission bestimmt wird und die mit der Zeitdauer für das Absolvieren der Mission durch das von dem Algorithmus gesteuerte Kraftfahrzeug in der Simulationsumgebung vergli chen wird, ist es möglich, die Fahrdauer des simulierten Kraftfahrzeugs mit echten Fahr dauern zu vergleichen. Stellt sich dabei heraus, dass das simulierte Kraftfahrzeug wesent- lieh länger braucht als ein reales Kraftfahrzeug, lässt dies auf ein zu defensives Fahrver halten des autonom fahrenden Kraftfahrzeugs schließen. Der Algorithmus kann so somit anhand der Metrik darauf trainiert werden, weniger defensiv zu fahren, um sich einem Fahrverhalten von menschlichen Fahrern anzupassen. Erst, wenn das simulierte Kraft fahrzeug in einem vorgegebenen Bereich rund um eine Fahrdauer anhand der Echtzeit- Verkehrsdaten herankommt, kann der Algorithmus als nicht zu defensives fahrend ange sehen werden. (ii) if the simulation driving duration is no longer than a predetermined time interval longer than the driving duration, classifying the mission as successful. The fact that a driving time for a given mission is determined based on the real-time traffic data and is compared with the time for completing the mission by the motor vehicle controlled by the algorithm in the simulation environment makes it possible to use the driving time of the simulated motor vehicle real driving last to compare. If it turns out that the simulated motor vehicle needs considerably longer than a real motor vehicle, this suggests that the driving behavior of the autonomously driving motor vehicle is too defensive. The algorithm can thus be trained on the basis of the metric to drive less defensively in order to adapt to the driving behavior of human drivers. Only when the simulated motor vehicle comes within a specified range around a driving time based on the real-time traffic data can the algorithm be viewed as driving not too defensively.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn Schritt g) (i) erreicht ist, eine andere Mission ausgewählt und das Verfahren mit der anderen Mis- sion wiederholt wird. Durch das Trainieren des Algorithmus mit einerweiteren Mission kann erreicht werden, dass der Algorithmus sich nicht zu sehr auf ein eine Mission spezialisiert. In a first further refinement, it can be provided that, when step g) (i) is reached, another mission is selected and the method is repeated with the other mission. By training the algorithm with a further mission, it can be achieved that the algorithm does not specialize too much in one mission.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Echtzeit- Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern gewählt wer den, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer gewählt werden. In a further refinement, it can be provided that driving data and routes from certain road users are selected as real-time traffic data, with missions being selected on the basis of locations on the routes of the road users.

Echtzeit-Verkehrsdaten können statistische Daten zum Verkehrsfluss, aber auch Fahrda ten spezifischer Verkehrsteilnehmer enthalten. Statistische Daten können beispielsweise Daten sein, die von einem Routenberechnungsalgorithmus anhand von Umgebungspara metern wie zulässigen Höchstgeschwindigkeiten, Ampelanlagen und Verkehrsaufkommen enthalten können. Fahrdaten spezifischer Verkehrsteilnehmer erlauben den Vergleich mit individuellen Fahrleistungen. Verschiedene Fahrer haben unterschiedliche Fahrstile, man che fahren defensiver, manche weniger defensiv. Des Weiteren fahren diese spezifischen Verkehrsteilnehmer ggf. individuelle Routen vom Start- zum Zielpunkt. Diese Routen kön nen Grundlage für die Auswahl entsprechender Missionen sein und Start- und Zielpunkte sowie Zwischenziele können anhand der individuellen Routen festgelegt werden. Die Start- und Zielpunkte sowie Zwischenziele können bestimmte charakteristische Punkte entlang der entsprechenden Routen sein, zum Beispiel Kreuzungen. Real-time traffic data can contain statistical data on the flow of traffic, but also travel data from specific road users. Statistical data can be, for example, data that can be contained by a route calculation algorithm based on environmental parameters such as maximum permitted speeds, traffic lights and traffic volume. Driving data from specific road users allow a comparison with individual driving performance. Different drivers have different driving styles, some drive more defensively, some less defensively. Furthermore, these specific road users may drive individual routes from the starting point to the destination. These routes can be the basis for the selection of corresponding missions and starting and destination points as well as intermediate destinations can be determined on the basis of the individual routes. The starting and destination points as well as intermediate destinations can be certain characteristic points along the corresponding routes, for example intersections.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten. In a further refinement, it can be provided that the real-time traffic data contain infrastructure information.

Infrastrukturinformationen können beispielsweise Informationen zu Ampelschaltungen, Straßensperren, Spurführungen und dergleichen sein. Das Einbeziehen dieser Informatio nen steigert den Realitätsgrades der Simulation und erlaubt die Bewertung der Fahrdauer für die Mission. So kann beispielsweise eine Fahrdauer disqualifiziert werden, bei der ein Fahrer ausschließlich grüne Ampeln hatte. Infrastructure information can be, for example, information on traffic light switching, road blocks, lane guidance and the like. The inclusion of this information increases the degree of reality of the simulation and allows the driving time for the mission to be assessed. For example, a driving time for which a driver only had green traffic lights can be disqualified.

In einerweiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass beim Nach stellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit- Verkehrsdaten zu minimieren. Durch Verwendung des Optimierungsalgorithmus kann ein besonders realistisches Ver kehrsszenario in der Simulationsumgebung erzeugt werden, die die Echtzeit-Verkehrsda ten besonders gut nachstellt, was die Vergleichbarkeit der Fahrdauer und der Simulati onsfahrdauer verbessert. In a further refinement, it can be provided that when the traffic situation is adjusted in the simulation environment, an optimization algorithm is used in order to minimize deviations between the simulation environment and the real-time traffic data. By using the optimization algorithm, a particularly realistic traffic scenario can be generated in the simulation environment, which simulates the real-time traffic data particularly well, which improves the comparability of the driving time and the simulation driving time.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird. In a further refinement, provision can be made for the mission to be varied by changing parameters of the traffic situation in the simulation environment and for the method to be carried out with the modified mission.

Durch Variation der Parameter der Verkehrssituation ist es möglich, eine Überspezialisie rung des Algorithmus auf die spezifische Verkehrssituation und Mission zu vermeiden. By varying the parameters of the traffic situation, it is possible to avoid over-specializing the algorithm on the specific traffic situation and mission.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Ände rung der Parameter randomisiert durchgeführt wird. In a further refinement, it can be provided that the parameters are changed in a randomized manner.

Auch durch Randomisieren kann eine Überspezialisierung des Algorithmus verhindert werden. An over-specialization of the algorithm can also be prevented by randomization.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Fahrzeit eine Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echt zeit-Verkehrsdaten verwendet wird oder wobei eine Fahrzeit des Verkehrsteilnehmers mit hilfe eines Agenten in der Simulationsumgebung ermittelt wird. In a further refinement, it can be provided that a driving time of a road user for carrying out the mission from the real-time traffic data is used as the driving time, or a driving time of the road user is determined with the help of an agent in the simulation environment.

Durch Vergleich mit individuellen Fahrern können menschliche Fahrweisen unmittelbar untersucht werden. Human driving styles can be examined directly by comparing them with individual drivers.

Wenn die Fahrzeit mithilfe eines Agenten in der Simulationsumgebung ermittelt wird, kann die Leistungsfähigkeit eines Algorithmus mit der eines anderen Algorithmus verglichen werden. If the travel time is determined with the help of an agent in the simulation environment, the performance of one algorithm can be compared with that of another algorithm.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Algorith mus und/oder der wenigstens eine Regelsatz mittels eines verstärkenden Lernen-Algorith mus trainiert wird. Das Verwenden eines verstärkenden Lernen-Algorithmus erlaubt das Verbessern des Al gorithmus durch eine Belohnungsfunktion. Die Belohnungsfunktion kann ausgelöst wer den durch eine Annäherung der Simulationsfahrdauer an die Fahrdauer. In a further refinement, it can be provided that the algorithm and / or the at least one rule set is trained by means of a reinforcing learning algorithm. Using a reinforcement learning algorithm allows the algorithm to be improved through a reward function. The reward function can be triggered by approximating the simulation driving time to the driving time.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simu lation der Mission bestimmt ist. In a further refinement, it can be provided that the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.

Durch Definition des Erwartungswertes anhand mehrmaliger Iterationen der Simulation der Mission ist es möglich, Unterschiede zwischen der Simulation der Echtzeit-Verkehrs- daten und der Situation im real existierenden Einsatzgebiet auszugleichen. By defining the expected value on the basis of repeated iterations of the simulation of the mission, it is possible to compensate for differences between the simulation of the real-time traffic data and the situation in the real existing operational area.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilneh mern darstellt, die die Mission in dem Einsatzgebiet durchführen. In a further refinement, it can be provided that the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.

Wenn ein Erwartungswert für die Durchführung der Mission verwendet wird, liegt die Re ferenzfahrzeit aus der realen Verkehrsumgebung näher an einer durchschnittlichen Fahr zeit, wodurch statistische Abweichungen einzelner Fahrzeiten und Einflüsse unterschied lich defensiv bzw. aggressiv fahrender menschlicher Fahrer reduziert werden können. If an expected value is used to carry out the mission, the reference driving time from the real traffic environment is closer to an average driving time, which means that statistical deviations of individual driving times and influences of differently defensive or aggressive driving human drivers can be reduced.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass das selbst lernende neuronale Netz den Regelsatz über vorgegebene Regelsatzgrenzen hinweg mo difiziert. In a further refinement, it can be provided that the self-learning neural network modifies the rule set beyond predetermined rule set limits.

Entsprechende Regelsatzgrenzen sind beispielsweise zulässige Höchstgeschwindigkeiten auf einer bestimmten Strecke oder zulässige Zeitdauern beim Überfahren von auf Rot um springende Ampeln, Zulässigkeit von Überfahren durchgezogener Linien und dergleichen mehr. Corresponding rule set limits are, for example, permissible maximum speeds on a certain route or permissible periods of time when driving over traffic lights that change to red, permissibility of crossing solid lines and the like.

Durch Modifikation des Regelsatzes über vorgegebene Regelsatzgrenzen hinaus kann ein realistisches Fahrverhalten erreicht werden. So ist es beispielsweise möglich, statt ei ner Höchstgeschwindigkeit von 50 km/h eine zulässige Höchstgeschwindigkeit von 55 km/h oder 60 km/h einzustellen, sodass ein besseres Mitfließen im Verkehr möglich ist. Auch, wenn im Fall einer Blockade einer Spur durch ein regelwidrig parkendes Kraftfahr zeug durchgezogene Linien überfahren werden, solange dadurch keine Gefahr für den Gegenverkehr entsteht, kann der Verkehrsfluss verbessert werden und ein realistisches Fahrverhalten der autonomen Fahrfunktion erreicht werden. By modifying the rule set beyond the specified rule set limits, realistic driving behavior can be achieved. For example, instead of a maximum speed of 50 km / h, it is possible to set a permissible maximum speed of 55 km / h or 60 km / h, so that it is easier to flow along in traffic. Even if, in the event of a lane being blocked by an illegally parked motor vehicle, solid lines are crossed, as long as this does not pose a risk to oncoming traffic, the flow of traffic can be improved and realistic driving behavior of the autonomous driving function can be achieved.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass beim Ver gleich von Simulationsfahrdauer und Fahrzeit eine Standardabweichung berücksichtigt wird. In a further refinement, it can be provided that a standard deviation is taken into account when comparing the simulation driving time and driving time.

Mission können allgemein als Erreichen eines Zielpunktes ausgehend von einem Start punkt definiert sein. Hierbei ist es möglich, dass mehrere verschiedene Routen zwischen Startpunkt und Zielpunkt gefahren werden dürfen oder eine spezifische Route. Bei ver schiedenen Routen leidet die Vergleichbarkeit der Fahrzeiten. Wenn die Route fest vorge geben ist, kann die Vergleichbarkeit der Simulationsfahrdauer mit der Fahrdauer erhöht werden. Mission can generally be defined as reaching a target point starting from a starting point. Here it is possible that several different routes may be driven between the starting point and the destination point or a specific route. The comparability of travel times suffers with different routes. If the route is fixed, the comparability of the simulation driving time with the driving time can be increased.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt darstellt. In a further refinement, it can be provided that a mission represents driving a route from at least one starting point to at least one destination point.

Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer automatisierten bzw. autonomen Fahrfunktion unter Eingriff in Aggre gate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei selbstlernendes neuronales Netz zum Trainieren des Algorithmus vorgesehen ist, wobei die Vorrichtung zum Ausführen fol gender Schritte ausgebildet ist: a) Bereitstellen eines Computerprogrammproduktmoduls für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul den zu trai nierenden Algorithmus und das selbstlernende neuronale Netz enthält, b) Bereitstellen einer Simulationsumgebung mit Simulationsparametern, wobei die Si mulationsumgebung Kartendaten eines real existierenden Einsatzgebiets, das Kraftfahrzeug enthält, wobei ein Verhalten des Kraftfahrzeugs durch einen Regel satz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug, d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets so wie Nachstellen der Verkehrssituation in der Simulationsumgebung; e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer mit der Fahrdauer, wobei, A first independent subject relates to a device for training at least one algorithm for a control unit of a motor vehicle, wherein the control unit is provided for implementing an automated or autonomous driving function with intervention in aggregates of the motor vehicle on the basis of input data using the at least one algorithm, wherein a self-learning neural network is provided for training the algorithm, the device being designed to carry out the following steps: a) providing a computer program product module for the automated or autonomous driving function, the computer program product module containing the algorithm to be trained and the self-learning neural network, b) Providing a simulation environment with simulation parameters, the simulation environment containing map data of a real existing application area, the motor vehicle, wherein a behavior of the motor vehicle is indicated by a Reg the sentence is determined c) provision of a mission for the motor vehicle, d) provision of real-time traffic data of the real existing area of use as well as re-enactment of the traffic situation in the simulation environment; e) determining a travel time for the mission on the basis of the real-time traffic data; f) performing a simulation of the mission in the simulation environment and determining a simulation driving time for completing the mission; g) comparing the simulation driving time with the driving time, whereby,

(i) wenn die Simulationsfahrdauer länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algo rithmus und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, oder (i) if the simulation driving duration is longer than a predetermined time interval longer than the driving duration, modifying the at least one algorithm and / or the at least one rule set and repeating the mission, or

(ii) wenn die Simulationsfahrdauer nicht länger als einen vorgegebenen Zeit abstand länger dauert als die Fahrdauer, Klassifizieren der Mission als er folgreich. (ii) if the simulation driving duration is no longer than a predetermined time interval longer than the driving duration, classifying the mission as successful.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass, wenn Schritt g) (i) erreicht ist, eine andere Mission ausgewählt und das Verfahren mit der anderen Mis sion wiederholt wird. In a first further refinement, it can be provided that, when step g) (i) is reached, another mission is selected and the method is repeated with the other mission.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Echtzeit- Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern ausgewählt sind, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer ausge wählt sind. In a further refinement, it can be provided that driving data and routes from certain road users are selected as real-time traffic data, missions being selected on the basis of locations on the routes of the road users.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Echt zeit-Verkehrsdaten Infrastrukturinformationen beinhalten. In a further refinement, it can be provided that the real-time traffic data contain infrastructure information.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung zur Verwendung eines Optimierungsalgorithmus beim Nachstellen der Verkehrssitu ation in der Simulationsumgebung ausgebildet ist, um Abweichungen zwischen der Simu lationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren. In a further refinement, it can be provided that the device is designed to use an optimization algorithm when simulating the traffic situation in the simulation environment in order to minimize deviations between the simulation environment and the real-time traffic data.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Mission durch Änderung von Parametern der Verkehrssitua tion in der Simulationsumgebung zu variieren und das Verfahren mit der modifizierten Mission durchzuführen. In a further refinement, it can be provided that the device is set up to vary the mission by changing parameters of the traffic situation in the simulation environment and the method with the modified one Carry out mission.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, die Änderung der Parameter randomisiert durchzuführen. In a further refinement, it can be provided that the device is set up to carry out the change in the parameters in a randomized manner.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass als Erwar tungswert eine Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echtzeit-Verkehrsdaten vorgesehen ist oder wobei die Vorrichtung dazu eingerichtet ist, eine Fahrzeit des Verkehrsteilnehmers mithilfe eines Agenten in der Simulationsumge bung zu ermitteln. In a further refinement, it can be provided that a driving time of a road user for carrying out the mission from the real-time traffic data is provided as the expected value, or the device is set up to determine a driving time of the road user with the help of an agent in the simulation environment .

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, den Algorithmus und/oder den wenigstens einen Regelsatz mit tels eines verstärkenden Lernen-Algorithmus zu trainieren. In a further refinement, it can be provided that the device is set up to train the algorithm and / or the at least one rule set by means of a reinforcing learning algorithm.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simu lation der Mission bestimmt ist. In a further refinement, it can be provided that the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Fahr dauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilneh mern darstellt, die die Mission in dem Einsatzgebiet durchführen. In a further refinement, it can be provided that the driving time is an expected value that represents the driving times of several real road users who are carrying out the mission in the operational area.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu eingerichtet ist, mittels des selbstlernenden neuronalen Netzes den Regelsatz über vorgegebene Regelsatzgrenzen hinweg zu modifizieren. In a further refinement, it can be provided that the device is set up to modify the rule set beyond predetermined rule set limits by means of the self-learning neural network.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung dazu ausgebildet ist, beim Vergleich von Simulationsfahrdauer und Fahrzeit eine Standardabweichung zu berücksichtigen. In a further refinement, it can be provided that the device is designed to take into account a standard deviation when comparing the simulation driving time and driving time.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass eine Mis sion das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Zielpunkt darstellt. Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit ausgeführt werden, bewirken, dass die wenigstens Re cheneinheit dazu eingerichtet ist, das Verfahren der vorgenannten Art auszuführen. In a further refinement, it can be provided that a mission represents driving a route from at least one starting point to at least one destination point. Another independent subject matter relates to a computer program product with a computer-readable storage medium on which instructions are embedded which, when executed by at least one computing unit, have the effect that the at least computing unit is set up to carry out the method of the aforementioned type.

Das Verfahren kann auf einer oder auf mehreren Recheneinheiten verteilt ausgeführt wer den, sodass bestimmte Verfahrensschritte auf der einen Recheneinheit und andere Ver fahrensschritte auf wenigstens einerweiteren Recheneinheit ausgeführt werden, wobei berechnete Daten sofern notwendig zwischen den Recheneinheiten übermittelt werden können. The method can be carried out on one or more processing units distributed so that certain method steps are carried out on one processing unit and other process steps are carried out on at least one other processing unit, with calculated data being able to be transmitted between the processing units if necessary.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einem Computerpro grammprodukt der zuvor beschriebenen Art. Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen- stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch: Another independent subject relates to a motor vehicle with a computer program product of the type described above. Further features and details emerge from the following description in which - if necessary with reference to the drawing - at least one Ausführungsbei game is described in detail. Described and / or graphically represented features form the subject per se or in any meaningful combination, possibly also independently of the claims, and can in particular also be subject of one or more separate applications. Identical, similar and / or functionally identical parts are provided with the same reference numerals. They show schematically:

Fig. 1 eine Draufsicht auf ein Kraftfahrzeug; Fig. 2 ein Computerprogrammproduktmodul; Fig. 3 eine Straßenkarte eines real existierenden Einsatzgebiets mit Verkehrsfluss Informationen; Fig. 4 die Straßenkarte aus Fig. 3 mit einer Mission, sowie Fig. 1 is a plan view of a motor vehicle; Figure 2 shows a computer program product module; 3 shows a road map of a real existing application area with traffic flow information; FIG. 4 shows the road map from FIG. 3 with a mission, as well as

Fig. 5 ein Ablaufdiagramm eines Trainingsverfahrens. Fig. 1 zeigt ein Kraftfahrzeug 2, das zum automatisierten bzw. autonomen Fahren einge richtet ist. 5 shows a flow diagram of a training method. Fig. 1 shows a motor vehicle 2, which is set up for automated or autonomous driving.

Das Kraftfahrzeug 2 weist ein Steuergerät 4 mit einer Recheneinheit 6 und einem Spei cher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, das im Nachfol genden im Zusammenhang mit den Fig. 2 bis 4 noch eingehender beschrieben wird. The motor vehicle 2 has a control unit 4 with a computing unit 6 and a memory 8. A computer program product is stored in the memory 8 and is described in more detail below in connection with FIGS.

Das Steuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweiligen Verkehrssi tuation erlauben. Hierzu zählen Umgebungssensoren 10, 11 an der Front des Kraftfahr zeugs 2, Umgebungssensoren 12, 13 am Heck des Kraftfahrzeugs 2, eine Kamera 14 so wie ein GPS-Modul 16. Die Umgebungssensoren 10 bis 13 können z.B. Radar-, Lidar- und/oder Ultraschallsensoren umfassen. The control unit 4 is connected, on the one hand, to a number of environmental sensors that allow the current position of the motor vehicle 2 and the respective traffic situation to be recorded. These include environmental sensors 10, 11 at the front of the motor vehicle 2, environmental sensors 12, 13 at the rear of the motor vehicle 2, a camera 14 and a GPS module 16. The environmental sensors 10 to 13 can, for example, radar, lidar and / or Include ultrasonic sensors.

Des Weiteren sind Sensoren zur Erfassung des Zustands des Kraftfahrzeugs 2 vorgese hen, unter anderem Raddrehzahlsensoren 16, Beschleunigungssensoren 18 und Pe dalsensoren 20, die mit dem Steuergerät 4 verbunden sind. Mithilfe dieser Kraftfahr zeugsensorik kann der momentane Zustand des Kraftfahrzeuges 2 zuverlässig erfasst werden. Furthermore, sensors for detecting the state of the motor vehicle 2 are provided, including wheel speed sensors 16, acceleration sensors 18 and pedal sensors 20, which are connected to the control unit 4. With the aid of this motor vehicle sensor system, the current state of motor vehicle 2 can be reliably detected.

Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen würde, die jeweils mit dem Steuergerät 4 verbunden sind. During the operation of the motor vehicle 2, the computing unit 6 has loaded the computer program product stored in the memory 8 and executes it. On the basis of an algorithm and the input signals, the computing unit 6 decides on the control of the motor vehicle 2, which the computing unit 6 would achieve by intervening in the steering 22, engine control 24 and brakes 26, which are each connected to the control unit 4.

Daten der Sensoren 10 bis 20 werden fortlaufend im Speicher 8 zwischengespeichert und nach einer vorgegebenen Zeitdauer verworfen, damit diese Umgebungsdaten zur weite ren Auswertung zur Verfügung stehen können. Data from sensors 10 to 20 are continuously temporarily stored in memory 8 and discarded after a predetermined period of time so that these environmental data can be available for further evaluation.

Der Algorithmus wurde nach dem nachfolgend beschriebenen Verfahren trainiert. The algorithm was trained according to the method described below.

Fig. 2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmo dul 30. Das Computerprogrammproduktmodul 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Methoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Varia tion des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Metriken oder Maßstäbe, also für Verbesserungen des Algorithmus 34 zu erhalten. Alternativ können auch bekannte Lernverfahren des überwachten und unüber- wachten Lernens, sowie Kombinationen dieser Lernverfahren verwendet werden. 2 shows a computer program product 28 with a computer program product module 30. The computer program product module 30 has a self-learning neural network 32 that trains an algorithm 34. The self-learning neural network 32 learns according to methods of reinforcement learning, ie the neural network 32 tries by varying the algorithm 34 to receive rewards for improved behavior according to one or more metrics or standards, i.e. for improvements to the algorithm 34. Alternatively, known learning methods of supervised and unsupervised learning as well as combinations of these learning methods can be used.

Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Wer ten, in der Regel von Fachmännern Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umgebungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steuerung des Kraftfahrzeugs 2 generiert. The algorithm 34 can essentially consist of a complex filter with a matrix of values, usually called weights by those skilled in the art, that define a filter function that determines the behavior of the algorithm 34 as a function of input variables that are presently recorded by the environmental sensors 10 to 20 are determined and control signals for controlling the motor vehicle 2 are generated.

Das Computerprogrammproduktmodul 30 kann sowohl im Kraftfahrzeug 2 als auch au ßerhalb des Kraftfahrzeugs 2 zum Einsatz gebracht werden. Somit ist es möglich, das Computerprogrammproduktmodul 30 sowohl in einer realen Umgebung als auch in einer Simulationsumgebung zu trainieren. Insbesondere findet das Training gemäß der hier be schriebenen Lehre in einer Simulationsumgebung statt, da dies sicherer ist als ein Trai ning in einer realen Umgebung. The computer program product module 30 can be used both in the motor vehicle 2 and outside the motor vehicle 2. It is thus possible to train the computer program product module 30 both in a real environment and in a simulation environment. In particular, according to the teaching described here, the training takes place in a simulation environment, since this is safer than training in a real environment.

Das Computerprogrammproduktmodul 30 ist dazu eingerichtet, eine Metrik aufzustellen, die verbessert werden soll. Die Metrik ist im vorliegenden Fall eine Zeit bis zum Erreichen einer vorgegebenen Mission (nachfolgend Simulationsfahrzeit bezeichnet), beispielsweise die Fahrzeit von einem Startort zu einem Zielort, im Vergleich zu Erwartungswerten von real existierenden Fahrzeiten. The computer program product module 30 is set up to set up a metric that is to be improved. In the present case, the metric is a time until a given mission is reached (hereinafter referred to as simulation driving time), for example the driving time from a starting point to a destination, compared to expected values of actually existing driving times.

Wenn die Metrik eine gewisse Schwelle überschritten hat, z.B. eine Zeit kleiner als eine Grenzzeit, die sich anhand des Erwartungswertes bestimmt, kann die Metrik als erfüllt gel ten. Dann kann der Algorithmus 34 entweder hinsichtlich einer anderen Mission optimiert und weiter trainiert werden oder der Algorithmus kann in einer realen Umgebung getestet werden. If the metric has exceeded a certain threshold, for example a time less than a limit time, which is determined on the basis of the expected value, the metric can be considered fulfilled. Then the algorithm 34 can either be optimized with regard to another mission and trained further, or the algorithm can be tested in a real environment.

Fig. 3 zeigt eine Simulationsumgebung 36, die eine Straßenkarte eines real existierenden Einsatzgebiets 37 abbildet. Fig. 3 shows a simulation environment 36, which is a road map of a real existing Area of application 37.

Die Straßenkarte des Einsatzgebiets 37 dient als Simulationsumgebung 36 zum Trainie ren des Algorithmus 34. Die Straßenkarte des Einsatzgebiets 37 weist Verkehrsflussinfor mationen betreffend den Verkehrsfluss auf verschiedenen Straßen auf. Diese Verkehrs flussinformationen sind Echtzeitinformationen, die über verschiedene Dienste bereitge stellt werden können. Solche Echtzeitinformationen können beispielsweise aus Handyor- tungdaten, Fahrzeugnavigationsdaten, Kameraaufnahmen von Verkehrsüberwachungska meras und dergleichen ermittelt werden. The road map of the operational area 37 serves as a simulation environment 36 for training the algorithm 34. The road map of the operational area 37 has traffic flow information relating to the traffic flow on different roads. This traffic flow information is real-time information that can be made available via various services. Such real-time information can be determined, for example, from cell phone location data, vehicle navigation data, camera recordings from traffic monitoring cameras and the like.

In den Echtzeit-Verkehrsdaten werden einzelne Straßen auf der Straßenkarte des Ein satzgebiets 37 mit stockendem Verkehr 38 (gestrichelt dargestellt) oder stark stockendem Verkehr 40 (durchgezogen dargestellt) gekennzeichnet. Stockender Verkehr kann defi niert sein als Verkehr, der mit einer Durchschnittsgeschwindigkeit von unter 20 km/h fließt, stark stockender Verkehr solcher, der mit einer Durchschnittsgeschwindigkeit von unter 5 km/h fließt. In the real-time traffic data, individual streets are marked on the road map of the area 37 with slow traffic 38 (shown in dashed lines) or heavily slow traffic 40 (shown in solid lines). Slow traffic can be defined as traffic that flows at an average speed of less than 20 km / h, very slow traffic can be defined as traffic that flows at an average speed of less than 5 km / h.

Es ist bekannt, entsprechende Echtzeit-Verkehrsdaten zur Routenplanung zu verwenden, um einerseits den Verkehr zu entlasten und andererseits in bestmöglicher Zeit zum Ziel zu gelangen. It is known to use corresponding real-time traffic data for route planning, on the one hand to relieve the traffic and on the other hand to get to the destination in the best possible time.

Fig. 4 zeigt die Simulationsumgebung 36 der Straßenkarte des Einsatzgebiets 37 sowie eine Mission für den Algorithmus 34. 4 shows the simulation environment 36 of the road map of the operational area 37 as well as a mission for the algorithm 34.

Die vorliegenden Mission ist, das simulierte Kraftfahrzeug 2 entlang einer bestimmten Route von einem Startpunkt S zu einem Zielpunkt Z zu fahren. The present mission is to drive the simulated motor vehicle 2 along a specific route from a starting point S to a destination point Z.

Das Computerprogrammproduktmodul 30 berechnet anhand der Echtzeit-Verkehrsdaten unter Berücksichtigung des vorherrschenden stockenden Verkehrs 38 und des vorherr schenden stark stockenden Verkehrs 40 einen Erwartungswert einer Fahrzeug zum Ab solvieren der Mission. Dieser Erwartungswert ist der Referenzwert für eine Fahrzeit TS, die zum Absolvieren der Mission durch simulierte Kraftfahrzeug 2 erforderlich ist. The computer program product module 30 uses the real-time traffic data to calculate an expected value of a vehicle for completing the mission, taking into account the prevailing congested traffic 38 and the prevailing heavily congested traffic 40. This expected value is the reference value for a travel time TS that is required for completing the mission by simulated motor vehicle 2.

Fig. 5 zeigt ein Ablaufdiagramm des Verfahrens. Zunächst wird nach dem Start das Computerprogrammproduktmodul bereitgestellt. Das Computerprogrammproduktmodul beinhaltet den zu trainierenden Algorithmus und ein selbstlernendes neuronales Netz. 5 shows a flow chart of the method. First, after the start, the computer program product module is made available. The computer program product module contains the algorithm to be trained and a self-learning neural network.

Anschließend wird auf der Basis von realen Kartendaten eine Simulationsumgebung be reitgestellt. Die Simulationsumgebung kann neben Straßen und bestimmten Regeln auch andere Verkehrsteilnehmer nebst deren Missionen enthalten. A simulation environment is then made available on the basis of real map data. In addition to roads and certain rules, the simulation environment can also contain other road users and their missions.

In einem weiteren Schritt wird eine Mission in der Simulationsumgebung bestimmt. Die Mission kann, wie im Zusammenhang mit Fig. 4 gezeigt, das Abfahren einer bestimmten Route von einem Startpunkt zu einem Zielpunkt sein. In a further step, a mission is determined in the simulation environment. As shown in connection with FIG. 4, the mission can be the driving of a specific route from a starting point to a destination point.

In einem nächsten Schritt kann ein Erwartungswert für eine Fahrdauer anhand der realen Verkehrsdaten für das zu simulieren. Einsatzgebiet berechnet werden. In a next step, an expected value for a driving time can be simulated on the basis of the real traffic data for the. Area of application can be calculated.

In einem weiteren Schritt wird die Simulation durchgeführt, und einer Simulationsfahr dauer bestimmt. Zum Durchführen der Simulation kann es erforderlich sein, Agenten in der Simulationsumgebung zu platzieren, die eine vergleichbare Verkehrssituation schaf fen, wie sie in der realen Umgebung vorliegen. Hierzu können auch Infrastrukturinformati onen, beispielsweise Ampelschaltungen zählen. In a further step, the simulation is carried out and a simulation driving time is determined. In order to carry out the simulation, it may be necessary to place agents in the simulation environment who create a traffic situation comparable to that which exists in the real environment. This can also include infrastructure information such as traffic lights.

Sodann wird ein Vergleich der Simulationsfahrdauer mit dem Erwartungswert vorgenom men. Liegt die Simulationsfahrdauer hin nicht hinreichend nahe an dem Erwartungswert, wird der Algorithmus und/oder der Regelsatz variiert und die Simulation wird wiederholt. Dieser Schritt entspricht dem Prinzip des bestärkenden Lernens mit einer Belohnungs metrik, die der Algorithmus erreichen möchte. The simulation driving time is then compared with the expected value. If the simulation driving time is not sufficiently close to the expected value, the algorithm and / or the rule set is varied and the simulation is repeated. This step corresponds to the principle of reinforcement learning with a reward metric that the algorithm wants to achieve.

Hat der Algorithmus eine Simulationsahrdauer erzielt, die hinreichend nahe an dem Er wartungswert liegt, gilt die Mission als erfolgreich absolviert. If the algorithm has achieved a simulation duration that is sufficiently close to the expected value, the mission is deemed to have been completed successfully.

Der Algorithmus kann durch verschiedene Missionen trainiert werden, beispielsweise ei ner Mission mit gleichem Start- und Zielpunkt, aber anderer Verkehrslage oder mit einer neuen Mission, die einen anderen Start- und/oder einen anderen Zielpunkt aufweist. Erst wenn alle Metriken erreicht sind, kann der Algorithmus eingefroren werden. Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei- spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbar- ten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Ele mente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa einer weitergehenden Erläuterung in der Beschreibung, definiert wird. The algorithm can be trained by different missions, for example a mission with the same start and destination but different traffic situation or with a new mission that has a different start and / or a different destination. The algorithm can only be frozen when all metrics have been reached. Although the subject matter has been illustrated and explained in more detail by means of exemplary embodiments, the invention is not restricted by the examples disclosed and other variations can be derived therefrom by the person skilled in the art. It is therefore clear that there is a multitude of possible variations. It is also clear that the embodiments cited by way of example only represent examples that are not to be interpreted in any way as a limitation, for example, of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to actually implement the exemplary embodiments, with the person skilled in the art, knowing the disclosed inventive concept, making various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment can without departing from the scope of protection which is defined by the claims and their legal equivalents, such as a more detailed explanation in the description.

Bezugszeichenliste 2 Kraftfahrzeug LIST OF REFERENCE NUMERALS 2 motor vehicle

4 Steuergerät 4 control unit

6 Recheneinheit 6 arithmetic unit

8 Speicher 8 memories

10 Umgebungssensor 11 Umgebungssensor 10 environmental sensor 11 environmental sensor

12 Umgebungssensor 12 environmental sensor

13 Umgebungssensor 13 Environmental sensor

14 Kamera 14 camera

15 GPS-Modul 16 Raddrehzahlsensor 15 GPS module 16 wheel speed sensor

18 Beschleunigungssensor 18 accelerometer

20 Pedalsensor 20 pedal sensor

22 Lenkung 22 Steering

24 Motorsteuerung 26 Bremsen 24 Motor control 26 Brakes

28 Computerprogrammprodukt 28 Computer program product

30 Computerprogrammproduktmodul30 computer program product module

32 neuronales Netz 32 neural network

34 Algorithmus 36 Simulationsumgebung 34 Algorithm 36 Simulation Environment

37 Einsatzgebiet 37 Area of application

38 stockender Verkehr 38 slow traffic

40 stark stockender Verkehr ts Simulationsfahrzeit 40 very slow traffic ts simulation driving time

M Mission M mission

5 Startpunkt 5 starting point

Z Zielpunkt Z target point

Claims

Patentansprüche Claims 1. Verfahren zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer automati sierten bzw. autonomen Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls (30) für die automatisierte bzw. autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) ent hält, b) Bereitstellen einer Simulationsumgebung (36) mit Simulationsparametern, wobei die Simulationsumgebung (36) Kartendaten eines real existierenden Einsatzgebiets (37), das Kraftfahrzeug (2) enthält, wobei ein Verhalten des Kraftfahrzeugs (2) durch einen Regelsatz bestimmt ist, c) Bereitstellen einer Mission für das Kraftfahrzeug (2), d) Bereitstellen von Echtzeit-Verkehrsdaten des real existierenden Einsatzgebiets (37) sowie Nachstellen der Verkehrssituation in der Simulationsumgebung (36,); e) Bestimmen einer Fahrdauer für die Mission anhand der Echtzeit-Verkehrsdaten; f) Durchführen einer Simulation der Mission in der Simulationsumgebung und Be stimmen einer Simulationsfahrdauer für das Absolvieren der Mission; g) Vergleichen der Simulationsfahrdauer (ts) mit der Fahrdauer, wobei, 1. A method for training at least one algorithm (34) for a control unit (4) of a motor vehicle (2), the control unit (4) for implementing an automatized or autonomous driving function with intervention in units (22, 24, 26) of the Motor vehicle (2) is provided on the basis of input data using the at least one algorithm (34), the algorithm (34) being trained by a self-learning neural network (32), comprising the following steps: a) Providing a computer program product module (30) for the automated or autonomous driving function, the computer program product module (30) containing the algorithm (34) to be trained and the self-learning neural network (32), b) providing a simulation environment (36) with simulation parameters, the simulation environment (36) being map data of a real existing application area (37) containing the motor vehicle (2), the behavior of the motor vehicle (2) being determined by a rule set is determined, c) provision of a mission for the motor vehicle (2), d) provision of real-time traffic data of the actually existing area of operation (37) as well as re-enactment of the traffic situation in the simulation environment (36,); e) determining a travel time for the mission on the basis of the real-time traffic data; f) performing a simulation of the mission in the simulation environment and determining a simulation driving time for completing the mission; g) comparing the simulation driving time (ts) with the driving time, whereby, (i) wenn die Simulationsfahrdauer (ts) länger als einen vorgegebenen Zeitabstand länger dauert als die Fahrdauer, Modifizieren des wenigstens einen Algorithmus (34) und/oder des wenigstens einen Regelsatzes und Wiederholen der Mission, o- der (i) if the simulation driving time (ts) lasts longer than a predetermined time interval longer than the driving time, modifying the at least one algorithm (34) and / or the at least one rule set and repeating the mission, or (ii) wenn die Simulationsfahrdauer (ts) nicht länger als einen vorgegebenen Zeitab stand länger dauert als die Fahrdauer, Klassifizieren der Mission als erfolgreich. (ii) if the simulation driving time (ts) is no longer than a predetermined time interval longer than the driving time, classifying the mission as successful. 2. Verfahren nach Anspruch 1 , wobei, wenn Schritt g) (i) erreicht ist, eine andere Mis sion ausgewählt und das Verfahren mit der anderen Mission wiederholt wird. 2. The method according to claim 1, wherein, when step g) (i) is reached, another mission is selected and the method is repeated with the other mission. 3. Verfahren nach Anspruch 1 oder 2, wobei als Echtzeit-Verkehrsdaten Fahrdaten und Routen von bestimmten Verkehrsteilnehmern gewählt werden, wobei Missionen anhand von Orten auf den Routen der Verkehrsteilnehmer gewählt werden. 3. The method according to claim 1 or 2, wherein driving data and routes of certain road users are selected as real-time traffic data, wherein missions are selected on the basis of locations on the routes of the road users. 4. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Echtzeit-Ver kehrsdaten Infrastrukturinformationen beinhalten. 4. The method according to any one of the preceding claims, wherein the real-time traffic data contain infrastructure information. 5. Verfahren nach einem der vorangegangenen Ansprüche, wobei beim Nachstellen der Verkehrssituation in der Simulationsumgebung ein Optimierungsalgorithmus verwendet wird, um Abweichungen zwischen der Simulationsumgebung und den Echtzeit-Verkehrsdaten zu minimieren. 5. The method according to any one of the preceding claims, wherein when simulating the traffic situation in the simulation environment, an optimization algorithm is used in order to minimize deviations between the simulation environment and the real-time traffic data. 6. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Mission durch Änderung von Parametern der Verkehrssituation in der Simulationsumgebung vari iert wird und das Verfahren mit der modifizierten Mission durchgeführt wird. 6. The method according to any one of the preceding claims, wherein the mission is varied by changing parameters of the traffic situation in the simulation environment and the method is carried out with the modified mission. 7. Verfahren nach Anspruch 6, wobei die Änderung der Parameter randomisiert durch geführt wird. 7. The method according to claim 6, wherein the change in the parameters is carried out randomly. 8. Verfahren nach einem der vorangegangenen Ansprüche, wobei als Fahrzeit die Fahrzeit eines Verkehrsteilnehmers für die Durchführung der Mission aus den Echt zeit-Verkehrsdaten oder eine Fahrzeit des Verkehrsteilnehmers mithilfe eines Agen ten in der Simulationsumgebung ermittelt wird. 8. The method according to any one of the preceding claims, wherein the driving time of a road user for carrying out the mission is determined from the real-time traffic data or a driving time of the road user using an agent in the simulation environment. 9. Verfahren nach einem der vorangegangenen Ansprüche, wobei der Algorithmus (34) und/oder der wenigstens eine Regelsatz mittels eines verstärkenden Lernen- Algorithmus trainiert wird. 9. The method according to any one of the preceding claims, wherein the algorithm (34) and / or the at least one rule set is trained by means of a reinforcing learning algorithm. 10. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Fahrdauer ein Erwartungswert ist, der aus Fahrdauern von mehrmaligen Iterationen der Simulation der Mission bestimmt ist. 10. The method according to any one of the preceding claims, wherein the driving time is an expected value which is determined from driving times of multiple iterations of the simulation of the mission. 11. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Fahrdauer ein Erwartungswert ist, der aus Fahrdauern von mehreren realen Verkehrsteilnehmern darstellt, die die Mission in dem Einsatzgebiet (37) durchführen. 11. The method according to any one of the preceding claims, wherein the driving time is an expected value that represents the driving times of several real road users who carry out the mission in the operational area (37). 12. Verfahren nach einem der vorangegangenen Ansprüche, wobei das selbstlernende neuronale Netz den Regelsatz über vorgegebene Regelsatzgrenzen hinweg modifi ziert. 12. The method according to any one of the preceding claims, wherein the self-learning neural network modifi ed the rule set beyond predetermined rule set limits. 13. Verfahren nach einem der vorangegangenen Ansprüche, wobei eine Mission das Abfahren einer Route von wenigstens einem Startpunkt zu wenigstens einem Ziel punkt darstellt. 13. The method according to any one of the preceding claims, wherein a mission represents driving a route from at least one starting point to at least one destination point. 14. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von wenigstens einer Recheneinheit (6) ausgeführt werden, bewirken, dass die wenigstens eine Recheneinheit (6) dazu ein gerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszufüh ren. 14. Computer program product with a computer-readable storage medium (8) on which instructions are embedded which, when executed by at least one processing unit (6), have the effect that the at least one processing unit (6) is directed to the method according to one of the preceding claims auszufüh ren. 15. Kraftfahrzeug mit einem Computerprogrammprodukt nach Anspruch 14. 15. Motor vehicle with a computer program product according to claim 14.
PCT/EP2021/054442 2020-02-27 2021-02-23 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle Ceased WO2021170580A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21707961.5A EP4111438A1 (en) 2020-02-27 2021-02-23 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
CN202180017212.9A CN115176297A (en) 2020-02-27 2021-02-23 Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020202540.1 2020-02-27
DE102020202540.1A DE102020202540A1 (en) 2020-02-27 2020-02-27 Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle

Publications (1)

Publication Number Publication Date
WO2021170580A1 true WO2021170580A1 (en) 2021-09-02

Family

ID=74732920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/054442 Ceased WO2021170580A1 (en) 2020-02-27 2021-02-23 Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle

Country Status (4)

Country Link
EP (1) EP4111438A1 (en)
CN (1) CN115176297A (en)
DE (1) DE102020202540A1 (en)
WO (1) WO2021170580A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114944057A (en) * 2022-04-21 2022-08-26 中山大学 Road network traffic flow data restoration method and system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022203422A1 (en) 2022-04-06 2023-10-12 Psa Automobiles Sa Testing an automatic driving control function using semi-real traffic data
DE102023201784A1 (en) * 2023-02-27 2024-08-29 Stellantis Auto Sas Adaptive real-data-based simulation of a centrally coordinated traffic area

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3418996A1 (en) * 2017-06-19 2018-12-26 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
DE102017007136A1 (en) * 2017-07-27 2019-01-31 Opel Automobile Gmbh Method and device for training self-learning algorithms for an automated mobile vehicle
DE102017216202A1 (en) * 2017-09-13 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Method of predicting an optimal lane on a multi-lane road
DE102018217004A1 (en) * 2017-10-12 2019-04-18 Honda Motor Co., Ltd. Autonomous vehicle strategy generation
US20190113918A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
US20190318267A1 (en) 2018-04-12 2019-10-17 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012214979A1 (en) 2012-08-23 2014-02-27 Robert Bosch Gmbh Traction Assistant to optimize traffic flow (Traffic Flow Assistant)
DE102017003742A1 (en) 2017-04-19 2018-10-25 Daimler Ag Method for determining an optimal route
US10496099B2 (en) * 2017-07-18 2019-12-03 Uatc, Llc Systems and methods for speed limit context awareness
WO2019147939A1 (en) * 2018-01-26 2019-08-01 Nvidia Corporation Detection of hazardous driving using machine learning
DE102018209804A1 (en) * 2018-06-18 2019-12-19 Robert Bosch Gmbh Method and device for predicting a likely driving route for a vehicle
CN109733415B (en) * 2019-01-08 2020-08-14 同济大学 An anthropomorphic autonomous driving car-following model based on deep reinforcement learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3418996A1 (en) * 2017-06-19 2018-12-26 Hitachi, Ltd. Real-time vehicle state trajectory prediction for vehicle energy management and autonomous drive
DE102017007136A1 (en) * 2017-07-27 2019-01-31 Opel Automobile Gmbh Method and device for training self-learning algorithms for an automated mobile vehicle
DE102017216202A1 (en) * 2017-09-13 2019-03-14 Bayerische Motoren Werke Aktiengesellschaft Method of predicting an optimal lane on a multi-lane road
DE102018217004A1 (en) * 2017-10-12 2019-04-18 Honda Motor Co., Ltd. Autonomous vehicle strategy generation
US20190113918A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
US20190318267A1 (en) 2018-04-12 2019-10-17 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114944057A (en) * 2022-04-21 2022-08-26 中山大学 Road network traffic flow data restoration method and system

Also Published As

Publication number Publication date
CN115176297A (en) 2022-10-11
EP4111438A1 (en) 2023-01-04
DE102020202540A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
EP3970077B1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
EP4052178A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
DE102017200180A1 (en) Method and test unit for the motion prediction of road users in a passively operated vehicle function
EP3543985A1 (en) Simulation of different traffic situations for a test vehicle
EP3942379B1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product, motor vehicle and system
AT523834B1 (en) Method and system for testing a driver assistance system
EP3891664A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
DE102014216257A1 (en) Method for determining a driving strategy
EP4111438A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, computer program product, and motor vehicle
EP4226248A1 (en) Method and a system for testing a driver assistance system for a vehicle
DE102017205508A1 (en) Method for automatic movement control of a vehicle
EP4073778A1 (en) Method for creating a road user algorithm for computer simulation of road users, method for training at least one algorithm for a control unit of a motor vehicle, computer program product, and motor vehicle
EP2964503B1 (en) Estimation of the future speed and/or distance of a vehicle from a reference point and estimation of the future acceleration
WO2020108839A1 (en) Situation-dependent calculation of a desired vehicle speed
WO2022184363A1 (en) Computer-implemented method for training at least one algorithm for a control unit of a motor vehicle, computer program product, control unit, and motor vehicle
DE102019101613A1 (en) Simulate different traffic situations for a test vehicle
EP4412882A1 (en) Method for planning a trajectory of a driving maneuver of a motor vehicle, computer program product, computer-readable storage medium, and vehicle
WO2021165113A1 (en) Method for training at least one algorithm for a control device of a motor vehicle, method for optimising traffic flow in a region, computer program product, and motor vehicle
DE102022208519A1 (en) Computer-implemented method and computer program for the movement planning of an ego driving system in a traffic situation, computer-implemented method for the movement planning of an ego driving system in a real traffic situation, control device for an ego vehicle
WO2023245217A1 (en) Method for training an artificial neural network of a driver model
EP3256358B1 (en) Method and system for performing automated driving manoeuvers
DE102023208690B3 (en) Method for generating a longitudinal guidance model for a vehicle for determining at least one longitudinal guidance variable for the longitudinal guidance of the vehicle and longitudinal guidance profile determination device
DE102023211810A1 (en) Training method for training a neural network for motion planning of a vehicle
EP4451159A1 (en) Hybrid traffic simulation using agent models for testing teleoperated vehicles
DE102021003856A1 (en) Method for operating an automated vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21707961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021707961

Country of ref document: EP

Effective date: 20220927