[go: up one dir, main page]

EP3811351A1 - Adaptation of the trajectory of an ego vehicle to moved extraneous objects - Google Patents

Adaptation of the trajectory of an ego vehicle to moved extraneous objects

Info

Publication number
EP3811351A1
EP3811351A1 EP19727327.9A EP19727327A EP3811351A1 EP 3811351 A1 EP3811351 A1 EP 3811351A1 EP 19727327 A EP19727327 A EP 19727327A EP 3811351 A1 EP3811351 A1 EP 3811351A1
Authority
EP
European Patent Office
Prior art keywords
ego vehicle
foreign objects
movement
determined
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19727327.9A
Other languages
German (de)
French (fr)
Inventor
Seyed Jalal ETESAMI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3811351A1 publication Critical patent/EP3811351A1/en
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4049Relationship among other objects, e.g. converging dynamic objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Definitions

  • the present invention relates to trajectory planning for the at least partially automated method, in particular in mixed traffic with human-controlled foreign objects.
  • Vehicles that are at least partially automated in traffic will not suddenly replace human-controlled vehicles and will not be isolated from human-controlled traffic on separate routes. Rather, these vehicles will have to move safely in mixed traffic with human-controlled foreign objects, whereby these foreign objects also include pedestrians as weaker road users. In the case of human-controlled foreign objects, there is always an uncertainty as to which movement action these foreign objects will carry out next.
  • a control system for at least partially automated driving is therefore dependent on at least partially tapping the future behavior of foreign objects by observing the previous behavior.
  • WO 2017/197 170 A1 discloses a control unit for a moving autonomous unit, which can be a robot or a vehicle.
  • the control unit first determines a basic trajectory with which the primary goal of the autonomous unit, such as a destination, is tracked.
  • the basic trajectory is then modified by a security module such that a collision with people or other human-controlled units is avoided.
  • the ego vehicle is the vehicle whose trajectory is to be acted on in order to avoid a collision with the foreign objects.
  • the foreign objects can in particular be people or vehicles controlled by people, such as conventional motor vehicles or bicycles. However, foreign objects that cannot be controlled or can only be controlled to a limited extent are also considered, such as a vehicle that rolls away after being parked on a slope or a trailer that has torn itself away from its towing vehicle.
  • the foreign objects are initially identified.
  • a time series of physical observations of the environment can be used for this, such as a sequence of camera images or a sequence of
  • V2V vehicle-to-vehicle
  • V 21 vehicle-to-infra structure
  • identifying means at least recording which foreign objects in the environment of the ego vehicle can be moved independently of one another.
  • Movement is in progress. How this investigation is carried out in detail depends on the information available. For example, it can be extrapolated from the time course of the trajectory that certain short-range targets are more likely than others. The more additional information is used, the more accurate the prediction of the near target becomes. If, for example, it is recognized that a vehicle has set a turn signal as a foreign object, then a turning process is very likely planned. A vehicle as a foreign object can also, for example, announce its current short-range or long-range destination directly via V2V communication.
  • the basic rules according to which the movement of the foreign objects takes place can in particular include the rules of the road traffic regulations and also depend on the type of the foreign objects. For example
  • Vehicles use the lane and the right of two lanes.
  • Pedestrians are, for example, required to walk on sidewalks and, when crossing paths such as traffic lights or crosswalks, for crossing the
  • the basic rules can in particular include the rules of the road traffic regulations and need not be the same in all situations. For example, the permissible maximum speed is limited separately when the vehicle is pulling a trailer or driving with snow chains.
  • the determination of the basic rules can also include, for example, an analysis of the configuration of the ego vehicle.
  • a quality function R I-4 is set up both for the ego vehicle and for the foreign objects, which assigns a measure for an overall situation x formed from the current states of the ego vehicle and the foreign objects and a possible next movement action ai- 4 , how good the action ai- 4 is in the current overall situation x for the road user under consideration.
  • the quality function R I-4 can in particular, for example include a measure of the extent to which the movement action ai- 4 works in situation x to achieve the respective short-term goal and to comply with the rules.
  • the numerical indices ranging from 1 to 4 are not to be understood as restrictive with regard to the number of treatable foreign objects, but are merely illustrative in order to be able to explain the method using an example. In general, one can also speak of quality functions R, and next movement actions a.
  • states generally encompasses the quantities with which the contribution of the ego vehicle or the foreign objects to the traffic situation can be characterized.
  • the states can in particular be positions or time derivatives thereof, that is to say speeds and
  • a quality measure QI 4 is respectively positioned the x of the overall situation and the possible next move action ai 4 in addition to the value Ri 4 (x, ai 4) and the expected value E ( P (x ')) of a distribution of the probabilities P (x') of
  • the quality measure QI- 4 can be a weighted sum of the value Ri- 4 (x, ai- 4 ) of the quality function and the expected value E (P (x ')).
  • Those optimal movement strategies pi- 4 of the ego vehicle and the foreign objects that maximize the quality measures QI- 4 are determined .
  • the sought trajectories of the ego vehicle and the foreign objects are determined from the optimal movement strategies pi- 4 .
  • the concept of the movement strategy generally encompasses any function pi- 4 which assigns a numerical value ni- 4 (x, ai- 4 ) to an overall situation x and a next movement action ai- 4 .
  • the term is therefore generalized compared to the usual use of language, in which it is associated with deterministic rules.
  • a deterministic rule can, for example, specify that if a certain overall situation x is present, exactly one next Movement action ai- 4 is to be carried out by the ego vehicle or is carried out by the foreign objects.
  • the behavior of the foreign objects in particular does not always follow deterministic rules. If the foreign object is controlled by a human, for example, the control is intelligent, but does not necessarily lead to the movement action that is optimal for the pursuit of the respective near target. This applies even if a human driver basically chooses the correct driving maneuver. For example, turning left from a road on which no route is explicitly marked can scatter around the ideal driving line. The vehicle will also come to a stop at the stop line every time there are a large number of braking in front of a red traffic light, but the time course of the speed may vary. For example, the driver can step on the brake pedal harder and weaker at the beginning and later unconsciously readjust the brake pressure in order to come to a stop at the right place at the end. A deeper reason for this is that the
  • Driving task as a whole is too complex to be carried out fully consciously.
  • a learning driver In order to be able to manage multitasking at the required speed, a learning driver must first “automate” certain processes in the subconscious.
  • the deceleration of the ego vehicle can vary, for example, depending on the condition of the road and the temperature and water content of the brake fluid.
  • Movement strategies pi- 4 of all road users can also be probabilistic, the reaction of the ego vehicle to the overall situation x can thus be refined so that it is more likely to actually be traffic-friendly and in particular to avoid collisions.
  • the predictive driving that every human driver has to learn in the driving school is technically simulated so that a system for at least partially automated driving can cope with the driving task at least as well as a human driver.
  • quality measures Q 1-4 are chosen whose optima with respect to the movement strategies pi- 4 are given by the Bellman optimum. In a way, this is a combination of recursive definition and mutual coupling of the quality measures Q I-4 .
  • V * (x ') softmax Q * (x', a ').
  • E runs through the probabilistic state transitions and the strategies of the other road users whose index is different from i. It is given by
  • the optimal movement strategies pi- 4 are determined on the condition that they are independent of one another with the same history H 1 :
  • Equations (1) to (3) form a set of M coupled equations, where M is the number of road users considered.
  • the equations can be summarized as
  • Equation (4) has exactly one optimal solution Q *, which is available with the following algorithm:
  • the quality function Q of the i-th road user has the form in the fully optimized state at the time step te [t, t + T]
  • a feature function F I-4 is set up for the ego vehicle as well as for the foreign objects such that the application of F I-4 to a set of qi- 4 still free parameters is a quality function R I -4 supplies, said quality function R x I-4 an overall situation formed from the current states of the ego vehicle and the foreign objects and a possible next move action ai 4 assigns a measure of how well the action ai 4 in the current
  • the quality function R I-4 can in particular include, for example, a measure of the extent to which the movement action ai- 4 in situation x works towards the achievement of the respective short-term goal and compliance with the rules.
  • the feature function F I-4 can, for example, embody properties and destinations of the respective road user, such as the destination to which a pedestrian is moving, or his walking speed. At a In addition to the destination, the vehicle can, for example, include the requirement that the journey should be safe, smooth and comfortable in the feature function F I-4 .
  • the feature function F 1-4 can therefore in particular be composed, for example, of several parts which relate to different goals, wherein these goals can also be opposite.
  • the set qi- 4 of parameters can then embody, for example, the weights with which different goals and requirements are contained in the final quality function R I-4 .
  • the set qi- 4 of parameters can in particular be present, for example, as a vector of parameters and contain, for example, coefficients with which a linear combination of different targets contained in the feature function F I-4 enters the quality function R I-4 .
  • the movement strategies pi- 4 of the ego vehicle and the foreign objects are determined as those strategies which lead to a maximum causal entropy H (ai- 4
  • the trajectories sought are determined from the movement strategies pi- 4 .
  • the final result obtained has the same advantages as the result obtained according to the previously described method.
  • the advantage of this method in particular is that even less information about the respective road users is required for the determination of the parameter set qi- 4 than for the direct determination of the quality function R I-4 . Any additional information, regardless of the source, can be considered on the other side in the parameter set qi- 4 .
  • the free parameters qi 4 are pi- in the optimization in response to movement strategies 4 determined.
  • x) with respect to the movement strategies pi- 4 is advantageously determined under the boundary condition that both the ego vehicle and the foreign objects have the expected value of the respective feature function F I-4 over all possible overall situations x and all possible next movement actions ai- 4 are equal to the mean value of the feature functions F1-4 observed empirically in the previous trajectories. This mean can be empirical, especially across all
  • Motion strategies pi- 4 with the same history H l are independent of one another and that they are each statistically distributed around a strategy that maximizes the respective quality function RI- 4 can be used using
  • Wi T (H T , ai (x)) plays the role of the quality measure Q , and the
  • Quality functions R are composed of the characteristic functions F as a linear combination.
  • an “inverse reinforcement learning” can therefore be carried out from the perspective of the ego vehicle, ie, if the quality function Ri of the ego vehicle is known, only by observing the others
  • Algorithm 3 MMCE-IRL for the ego vehicle
  • the basic rules of motion may depend on the type of object.
  • the classification can be made on the basis of the physical observations and / or on the basis of the information received via the wireless interface.
  • the determination of the trajectory of the ego vehicle which is adapted to the presence of moving foreign objects, is not an end in itself, but aims to improve the suitability of at least partially automated vehicles, especially for mixed traffic with human-controlled foreign objects.
  • the invention therefore relates also to a method for controlling an ego vehicle in a
  • the trajectory of the ego vehicle which is adapted to the behavior of the foreign objects, is determined using one of the methods described above.
  • the adapted trajectory is transmitted to a movement planner of the ego vehicle.
  • a control program for a drive system, a steering system and / or a brake system of the ego vehicle is determined by the motion planner, the control program being designed to bring the actual behavior of the vehicle within the system limits as well as possible into agreement with the determined trajectory.
  • the drive system, steering system and / or braking system is controlled in accordance with the control program.
  • the method can be implemented in any existing control device of the ego vehicle, since, thanks to the internal networking via CAN bus, access to those recorded with a sensor system or obtained via the wireless interface is typically possible from anywhere in the vehicle
  • the motion planner can also be controlled from anywhere in the vehicle via the CAN bus.
  • the method can be implemented, for example, in the form of software that can be sold as an update or upgrade for such a control device and, in this respect, represents a separate product. Therefore, the invention also relates to a computer program with machine-readable
  • Control device to be executed, cause the computer and / or the control device to carry out a method provided by the invention.
  • the invention also relates to a machine-readable
  • FIG. 2 embodiment of the method 200
  • FIG. 3 embodiment of the method 300
  • Figure 4 Exemplary traffic scene with ego vehicle 1 and three
  • FIG. 1 shows an exemplary embodiment of the method 100.
  • step 110 a time series 11a-11c of physical observations of the surroundings 11 of the ego vehicle 1 (not shown in FIG. 1) is processed together with information 12a that was received via the wireless interface 12.
  • This information 12a comes from the foreign objects 2-4 in the vehicle environment 11 itself, and / or from an infrastructure 5.
  • step 110 the foreign objects 2-4 are identified, i.e. it is found that there are three foreign objects 2-4 that move in different ways.
  • Foreign objects 2-4 are classified in step 115 according to types 2d-4d.
  • step 120 the short-range targets 2b-4b aimed at by the foreign objects 2-4 are predicted, and the basic rules 2c-4c are determined according to which the movement of the foreign objects 2-4 takes place. Analogously to this, it is determined in step 130 to which short-range target 1b the movement of the ego vehicle 1 leads and according to which basic rules 1c this movement takes place.
  • step 140 the respective quality function R I-4 is set up for the ego vehicle 1 and for the foreign objects 2-4 on the basis of the available information, with the respective type 2d-4d according to the optional substep 141 of the foreign object 2-4 can be used if this was determined in the optional step 115.
  • step 150 the quality functions R I-4 are expanded to quality measures Q I-4 , which also include the expected value E (P (x ')) of a distribution of the
  • Quality steps Q I-4 are selected in accordance with substep 151, the optima of which for the movement strategies pi- 4 are given by the Bellman optimum.
  • sub-step 152 a Boltzmann-Gibbs distribution is selected as the distribution of the probabilities P (x ') of changes in state x'.
  • step 160 those movement strategies pi- 4 of the ego vehicle and of the foreign objects 2-4 are determined which maximize the quality measures Q I-4 .
  • step 170 the sought trajectories 2a-4a become
  • FIG. 2 shows an exemplary embodiment of method 200. Steps 210, 215, 220 and 230 are identical to steps 110, 115, 120 and 130 of the
  • step 240 of the method 200 in contrast to step 140 of the method 100, a complete quality function R I-4 is not determined, but instead
  • Feature functions F I-4 which are parameterized with a set of qi- 4 still free parameters and only form the complete quality function R I-4 in connection with these parameters qi- 4 . If the types 2d-4d of the foreign objects 2-4 were determined in step 215, these can be used in the optional sub-step 241 to select the respective feature function F 2-4 .
  • step 250 the movement strategies pi- 4 of the ego vehicle and the foreign objects are determined as those strategies that maximize the maximum causal entropy.
  • the parameters qi- 4 of the feature functions F I-4 are also determined.
  • sub-step 251 a Boundary condition specified that a recursive determination of the
  • Movement strategies pi- 4 enables.
  • step 260 analogously to step 170 of the method 100, the sought trajectories 2a-4a of the foreign objects 2-4 and the target trajectory la of the ego vehicle 1 adapted to them are determined from the movement strategies pi- 4 .
  • FIG. 3 shows an exemplary embodiment of the method 300.
  • the target trajectory 1 a for the ego vehicle 1 which is adapted to the behavior of the foreign objects 2-4 in the environment 11 of the ego vehicle 1, is determined using the method 100 or 200.
  • This adapted trajectory la is transmitted to the movement planner 13 of the ego vehicle 1 in step 320.
  • a control program 13a for a drive system 24, a steering system 15 and / or a brake system 16 of the ego vehicle 1 is determined by the movement planner 13.
  • trajectory generally refers to a path in combined space and time coordinates. This means that a trajectory is not just a change in the
  • Direction of movement can be changed, but also by changing the speed, such as braking, waiting and starting again later.
  • step 340 the drive system 14, the steering system 15, or the
  • FIG. 4 shows a complex traffic scene in which the described methods 100, 200, 300 can be used advantageously.
  • the described methods 100, 200, 300 can be used advantageously.
  • the lane of a road 50 drives the ego vehicle 1 straight in the direction of the near destination lb.
  • the first foreign object 2 is a further vehicle, the blinker 2e of which indicates that its driver intends to turn into the side street 51 leading to the near target 2b of the vehicle 2.
  • the second foreign object 3 is another vehicle which, from the perspective of the ego vehicle 1, is traveling straight ahead on the opposite lane of the road 50 in the direction of its near destination 3b.
  • the third foreign object 4 is a pedestrian who is a short-range target 4b from his point of view
  • the pedestrian 4 must use the crossing 52 over the road 50, which at the same time causes the driver of the vehicle 3 to
  • Vehicle 2 that will do the best for him would accelerate ego vehicle 1. However, if the driver of vehicle 2 misjudges the situation in that he first has to let vehicle 3 pass in oncoming traffic (which would also be correct without pedestrian 4 on crossing 52), the ego vehicle drives onto the vehicle from behind 2 on.
  • oncoming traffic which would also be correct without pedestrian 4 on crossing 52
  • the speed for the onward journey can be limited to such an extent that in the event that the vehicle 2 actually stops, a collision can still be prevented with full braking.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

A method (100, 200) for predicting the trajectories (2a-4a) of extraneous objects (2-4) in the surroundings (11) of an ego vehicle (1) and for determining a separate future trajectory (la), adapted thereto, for the ego vehicle (1), comprising the steps: • the extraneous objects (2-4) are identified (110); • the close-range target (2b-4b) to which the movement of each of the extraneous objects (2-4) leads and the basic rules (2c-4c) according to which this movement occurs are determined (120); • the close-range target (1b) to which the movement of the ego vehicle (1) leads and the basic rules (lc) according to which this movement occurs are determined (130); • a quality function RI-4 is respectively set up (140) for the ego vehicle (1 and for the extraneous object (2-4); • a quality measure Q1-4 is respectively set up (150) for the ego vehicle (1) and for the extraneous objects (2-4); •the optimum movement strategies π1 -4 of the ego vehicle and of the extraneous objects (2-4) which maximise the quality level Q1-4 are determined(160); • the searched-for trajectories (la-4a) are determined (170) from the optimum movement strategies πι-4. A method (100) for controlling the ego vehicle 1. An associated computer program.

Description

Beschreibung  description

Titel: Title:

Anpassung der Trajektorie eines Ego- Fahrzeugs an bewegte Fremdobjekte  Adaptation of the trajectory of an ego vehicle to moving foreign objects

Die vorliegende Erfindung betrifft die Trajektorienplanung für das zumindest teilweise automatisierte Verfahren insbesondere im Mischverkehr mit menschlich gesteuerten Fremdobjekten. The present invention relates to trajectory planning for the at least partially automated method, in particular in mixed traffic with human-controlled foreign objects.

Stand der Technik State of the art

Fahrzeuge, die sich zumindest teilweise automatisiert im Straßenverkehr bewegen, werden nicht schlagartig die von Menschen gesteuerten Fahrzeuge verdrängen und auch nicht auf separaten Trassen vom menschlich gesteuerten Verkehr isoliert sein. Vielmehr werden sich diese Fahrzeuge im Mischverkehr mit menschlich gesteuerten Fremdobjekten sicher bewegen müssen, wobei diese Fremdobjekte auch etwa Fußgänger als schwächere Verkehrsteilnehmer umfassen. Bei menschlich gesteuerten Fremdobjekten besteht immer eine Unsicherheit dahingehend, welche Bewegungsaktion diese Fremdobjekte als nächstes durchführen. Ein Steuerungssystem für das zumindest teilweise automatisierte Fahren ist also darauf angewiesen, sich das künftige Verhalten von Fremdobjekten zumindest teilweise aus der Beobachtung des bisherigen Verhaltens zu erschließen. Vehicles that are at least partially automated in traffic will not suddenly replace human-controlled vehicles and will not be isolated from human-controlled traffic on separate routes. Rather, these vehicles will have to move safely in mixed traffic with human-controlled foreign objects, whereby these foreign objects also include pedestrians as weaker road users. In the case of human-controlled foreign objects, there is always an uncertainty as to which movement action these foreign objects will carry out next. A control system for at least partially automated driving is therefore dependent on at least partially tapping the future behavior of foreign objects by observing the previous behavior.

Die WO 2017/197 170 Al offenbart eine Steuereinheit für eine bewegte autonome Einheit, die ein Roboter oder auch ein Fahrzeug sein kann. Die Steuereinheit bestimmt zunächst eine Grundtrajektorie, mit der das primäre Ziel der autonomen Einheit, wie etwa ein Fahrtziel, verfolgt wird. Anschließend wird die Grundtrajektorie durch ein Sicherheitsmodul dahingehend abgewandelt, dass eine Kollision mit Menschen oder anderen menschlich gesteuerten Einheiten vermieden wird. Hierzu werden die jeweiligen menschlich gesteuerten WO 2017/197 170 A1 discloses a control unit for a moving autonomous unit, which can be a robot or a vehicle. The control unit first determines a basic trajectory with which the primary goal of the autonomous unit, such as a destination, is tracked. The basic trajectory is then modified by a security module such that a collision with people or other human-controlled units is avoided. For this purpose, the respective human-controlled

Bewegungen vorhergesagt. Movements predicted.

Offenbarung der Erfindung Disclosure of the invention

Im Rahmen der Erfindung wurde ein Verfahren zur Vorhersage der Trajektorien von Fremdobjekten im Umfeld eines Ego- Fahrzeugs, sowie zur Bestimmung einer daran angepassten eigenen künftigen Trajektorie für das Ego- Fahrzeug, entwickelt. Within the scope of the invention, a method for predicting the trajectories of foreign objects in the environment of an ego vehicle and for determining a future trajectory for the ego vehicle adapted to them was developed.

Das Ego- Fahrzeug ist dasjenige Fahrzeug, auf dessen Trajektorie eingewirkt werden soll, um eine Kollision mit den Fremdobjekten zu vermeiden. Die Fremdobjekte können insbesondere Menschen oder von Menschen gesteuerte Fahrzeuge sein, wie etwa herkömmliche Kraftfahrzeuge oder Fahrräder. Es kommen aber auch nicht oder nur eingeschränkt steuerbare Fremdobjekte in Betracht, wie etwa ein Fahrzeug, das nach dem Abstellen am Hang wegrollt, oder ein Anhänger, der sich von seinem Zugfahrzeug losgerissen hat. The ego vehicle is the vehicle whose trajectory is to be acted on in order to avoid a collision with the foreign objects. The foreign objects can in particular be people or vehicles controlled by people, such as conventional motor vehicles or bicycles. However, foreign objects that cannot be controlled or can only be controlled to a limited extent are also considered, such as a vehicle that rolls away after being parked on a slope or a trailer that has torn itself away from its towing vehicle.

Die Fremdobjekte werden zunächst identifiziert. Hierzu kann eine Zeitreihe physikalischer Beobachtungen des Umfelds herangezogen werden, wie beispielsweise eine Abfolge von Kamerabildern oder eine Abfolge von The foreign objects are initially identified. A time series of physical observations of the environment can be used for this, such as a sequence of camera images or a sequence of

Ereignissen, die ein ereignisbasierter Sensor ausgibt. Es können alternativ oder auch in Kombination Informationen herangezogen werden, die über eine Drahtlosschnittstelle des Fahrzeugs empfangen wurden. Diese Informationen können von den Fremdobjekten selbst übermittelt werden, beispielsweise über eine Vehicle-to-Vehicle (V2V)-Schnittstelle. Die Informationen können aber auch von einer Infrastruktur übermittelt werden, beispielsweise über eine Vehicle-to- I nf rastru ctu re ( V 21) - S ch n ittstel I e . Events that an event-based sensor outputs. As an alternative or in combination, information can be used that was received via a wireless interface of the vehicle. This information can be transmitted by the external objects themselves, for example via a vehicle-to-vehicle (V2V) interface. The information can, however, also be transmitted by an infrastructure, for example via a vehicle-to-infra structure (V 21) interface.

Identifizieren bedeutet in diesem Zusammenhang, zumindest zu erfassen, welche Fremdobjekte im Umfeld des Ego-Fahrzeugs unabhängig voneinander bewegbar sind. In diesem Zusammenhang auch zu erfassen, worum es sich bei den Fremdobjekten im Einzelnen handelt, ist vorteilhaft, aber nicht zwingend erforderlich. Es wird ermitelt, auf welches Nahziel die Bewegung eines jeden der In this context, identifying means at least recording which foreign objects in the environment of the ego vehicle can be moved independently of one another. In this context, it is also advantageous to record what the foreign objects are in detail, but it is not absolutely necessary. It is determined to which near goal the movement of each of the

Fremdobjekte hinführt und nach welchen grundlegenden Regeln diese Leads foreign objects and according to which basic rules these

Bewegung abläuft. Wie diese Ermitlung im Einzelnen durchgeführt wird, richtet sich danach, welche Informationen verfügbar sind. So kann beispielsweise allein aus dem Zeitverlauf der Trajektorie extrapoliert werden, dass bestimmte Nahziele wahrscheinlicher sind als andere. Je mehr zusätzliche Information verwendet wird, desto genauer wird die Vorhersage des Nahziels. Wird beispielsweise erkannt, dass ein Fahrzeug als Fremdobjekt einen Blinker gesetzt hat, dann ist mit hoher Wahrscheinlichkeit ein Abbiegevorgang geplant. Ein Fahrzeug als Fremdobjekt kann aber auch beispielsweise sein aktuelles Nah- oder gar Fernziel direkt per V2V- Kommunikation kundtun. Movement is in progress. How this investigation is carried out in detail depends on the information available. For example, it can be extrapolated from the time course of the trajectory that certain short-range targets are more likely than others. The more additional information is used, the more accurate the prediction of the near target becomes. If, for example, it is recognized that a vehicle has set a turn signal as a foreign object, then a turning process is very likely planned. A vehicle as a foreign object can also, for example, announce its current short-range or long-range destination directly via V2V communication.

Die grundlegenden Regeln, nach denen die Bewegung der Fremdobjekte abläuft, können insbesondere die Regeln der Straßenverkehrsordnung umfassen und auch vom Typ der Fremdobjekte abhängen. So müssen beispielsweise The basic rules according to which the movement of the foreign objects takes place can in particular include the rules of the road traffic regulations and also depend on the type of the foreign objects. For example

Fahrzeuge die Fahrbahn benutzen und von zwei Fahrbahnen die rechte. Vehicles use the lane and the right of two lanes.

Fußgänger sind hingegen beispielsweise gehalten, auf Gehwegen zu gehen und, wenn Überwege wie Ampeln oder Zebrastreifen für das Überqueren der Pedestrians, on the other hand, are, for example, required to walk on sidewalks and, when crossing paths such as traffic lights or crosswalks, for crossing the

Fahrbahn vorhanden sind, diese auch zu benutzen. Lane are available to use them.

Es wird weiterhin ermitelt, auf welches Nahziel die Bewegung des Ego- Fahrzeugs hinführt und nach welchen grundlegenden Regeln diese Bewegung abläuft. Die grundlegenden Regeln können hier insbesondere wieder die Regeln der Straßenverkehrsordnung umfassen und müssen nicht in allen Situationen gleich sein. So ist beispielsweise die zulässige Höchstgeschwindigkeit gesondert begrenzt, wenn das Fahrzeug einen Anhänger zieht oder mit Schneeketen fährt. Die Ermitlung der grundlegenden Regeln kann also beispielsweise auch eine Analyse der Konfiguration des Ego- Fahrzeugs umfassen. Furthermore, it is determined to which near target the movement of the ego vehicle leads and according to which basic rules this movement takes place. The basic rules here can in particular include the rules of the road traffic regulations and need not be the same in all situations. For example, the permissible maximum speed is limited separately when the vehicle is pulling a trailer or driving with snow chains. The determination of the basic rules can also include, for example, an analysis of the configuration of the ego vehicle.

Sowohl für das Ego- Fahrzeug als auch für die Fremdobjekte wird jeweils eine Gütefunktion RI-4 aufgestellt, die einer aus den aktuellen Zuständen des Ego- Fahrzeugs und der Fremdobjekte gebildeten Gesamtsituation x und einer möglichen nächsten Bewegungsaktion ai-4 ein Maß dafür zuordnet, wie gut die Aktion ai-4 in der aktuellen Gesamtsituation x für den jeweils betrachteten Verkehrsteilnehmer ist. Die Gütefunktion RI-4 kann insbesondere beispielsweise ein Maß dafür beinhalten, inwieweit die Bewegungsaktion ai-4 in der Situation x auf die Erreichung des jeweiligen Nahziels und auf die Einhaltung der Regeln hinarbeitet. Dabei sind die von 1 bis 4 reichenden numerischen Indizes nicht einschränkend in Bezug auf die Anzahl der behandelbaren Fremdobjekte zu verstehen, sondern lediglich illustrativ, um das Verfahren anhand eines Beispiels erläutern zu können. Allgemein kann auch von Gütefunktionen R, und nächsten Bewegungsaktionen a, gesprochen werden. A quality function R I-4 is set up both for the ego vehicle and for the foreign objects, which assigns a measure for an overall situation x formed from the current states of the ego vehicle and the foreign objects and a possible next movement action ai- 4 , how good the action ai- 4 is in the current overall situation x for the road user under consideration. The quality function R I-4 can in particular, for example include a measure of the extent to which the movement action ai- 4 works in situation x to achieve the respective short-term goal and to comply with the rules. The numerical indices ranging from 1 to 4 are not to be understood as restrictive with regard to the number of treatable foreign objects, but are merely illustrative in order to be able to explain the method using an example. In general, one can also speak of quality functions R, and next movement actions a.

Der Begriff„Zustände“ umfasst allgemein diejenigen Größen, mit denen der Beitrag des Ego- Fahrzeugs, bzw. der Fremdobjekte, zur Verkehrssituation charakterisiert werden kann. Die Zustände können insbesondere Positionen oder auch Zeitableitungen hiervon, also etwa Geschwindigkeiten und The term “states” generally encompasses the quantities with which the contribution of the ego vehicle or the foreign objects to the traffic situation can be characterized. The states can in particular be positions or time derivatives thereof, that is to say speeds and

Beschleunigungen, umfassen. Accelerations.

Sowohl für das Ego- Fahrzeug als auch für die Fremdobjekte wird jeweils ein Gütemaß QI-4 aufgestellt, das der Gesamtsituation x und der möglichen nächsten Bewegungsaktion ai-4 zusätzlich zum Wert Ri-4(x,ai-4) auch den Erwartungswert E(P(x')) einer Verteilung der Wahrscheinlichkeiten P(x') von Both the ego vehicle and for the foreign objects a quality measure QI 4 is respectively positioned the x of the overall situation and the possible next move action ai 4 in addition to the value Ri 4 (x, ai 4) and the expected value E ( P (x ')) of a distribution of the probabilities P (x') of

Zustandsänderungen x' zuordnet, mit denen die übrigen Verkehrsteilnehmer auf die nächste Bewegungsaktion ai-4 reagieren. Beispielsweise kann das Gütemaß QI-4 eine gewichtete Summe aus dem Wert Ri-4(x,ai-4) der Gütefunktion und dem Erwartungswert E(P(x')) sein. Assigns state changes x 'with which the other road users react to the next movement action ai- 4 . For example, the quality measure QI- 4 can be a weighted sum of the value Ri- 4 (x, ai- 4 ) of the quality function and the expected value E (P (x ')).

Es werden diejenigen optimalen Bewegungsstrategien pi-4 des Ego- Fahrzeugs und der Fremdobjekte ermittelt, die die Gütemaße QI-4 maximieren. Aus den optimalen Bewegungsstrategien pi-4 werden die gesuchten Trajektorien des Ego- Fahrzeugs und der Fremdobjekte ermittelt. Those optimal movement strategies pi- 4 of the ego vehicle and the foreign objects that maximize the quality measures QI- 4 are determined . The sought trajectories of the ego vehicle and the foreign objects are determined from the optimal movement strategies pi- 4 .

Dabei umfasst der Begriff der Bewegungsstrategie allgemein jede Funktion pi-4, die einer Gesamtsituation x und einer nächsten Bewegungsaktion ai-4 einen Zahlenwert ni-4(x,ai-4) zuordnet. Der Begriff ist also gegenüber dem üblichen Sprachgebrauch, in dem er mit deterministischen Regeln assoziiert wird, verallgemeinert. Eine deterministische Regel kann beispielsweise angeben, dass bei Vorliegen einer bestimmten Gesamtsituation x genau eine nächste Bewegungsaktion ai-4 vom Ego- Fahrzeug durchgeführt werden soll bzw. von den Fremdobjekten vollführt wird. The concept of the movement strategy generally encompasses any function pi- 4 which assigns a numerical value ni- 4 (x, ai- 4 ) to an overall situation x and a next movement action ai- 4 . The term is therefore generalized compared to the usual use of language, in which it is associated with deterministic rules. A deterministic rule can, for example, specify that if a certain overall situation x is present, exactly one next Movement action ai- 4 is to be carried out by the ego vehicle or is carried out by the foreign objects.

Es wurde erkannt, dass insbesondere das Verhalten der Fremdobjekte nicht immer deterministischen Regeln folgt. Wird das Fremdobjekt beispielsweise von einem Menschen gesteuert, so ist die Steuerung zwar intelligent, aber führt nicht zwangsläufig auf genau diejenige Bewegungsaktion, die zur Verfolgung des jeweiligen Nahziels optimal ist. Dies gilt selbst dann, wenn ein menschlicher Fahrer sich grundsätzlich für das richtige Fahrmanöver entscheidet. So kann beispielsweise das Linksabbiegen von einer Straße, auf der hierfür kein Fahrweg explizit markiert ist, um die ideale Fahrlinie herum streuen. Auch wird das Fahrzeug bei einer Vielzahl von Bremsungen vor einer roten Ampel zwar jedes Mal in etwa an der Haltelinie zum Stehen kommen, aber der Zeitverlauf der Geschwindigkeit kann unterschiedlich sein. Der Fahrer kann beispielsweise anfangs mal stärker und mal schwächer auf das Bremspedal treten und den Bremsdruck später unbewusst nachregeln, um am Ende am richtigen Ort zum Stehen zu kommen. Eine tiefere Ursache hierfür liegt darin, dass die It was recognized that the behavior of the foreign objects in particular does not always follow deterministic rules. If the foreign object is controlled by a human, for example, the control is intelligent, but does not necessarily lead to the movement action that is optimal for the pursuit of the respective near target. This applies even if a human driver basically chooses the correct driving maneuver. For example, turning left from a road on which no route is explicitly marked can scatter around the ideal driving line. The vehicle will also come to a stop at the stop line every time there are a large number of braking in front of a red traffic light, but the time course of the speed may vary. For example, the driver can step on the brake pedal harder and weaker at the beginning and later unconsciously readjust the brake pressure in order to come to a stop at the right place at the end. A deeper reason for this is that the

Fahraufgabe insgesamt zu komplex ist, um vollständig bewusst durchgeführt zu werden. Um das Multitasking überhaupt mit der geforderten Geschwindigkeit bewältigen zu können, muss ein lernender Fahrer bestimmte Vorgänge zunächst ins Unterbewusstsein„automatisieren“. Driving task as a whole is too complex to be carried out fully consciously. In order to be able to manage multitasking at the required speed, a learning driver must first “automate” certain processes in the subconscious.

Selbst das korrekte Verhalten eines Fußgängers ist nicht vollständig Even the correct behavior of a pedestrian is not complete

deterministisch. Wenn der Fußgänger beispielsweise die Fahrbahn überquert, wird er dies nicht immer genau im rechten Winkel zur Fahrtrichtung tun, sondern mit einer zufälligen Abweichung hiervon. deterministic. For example, if the pedestrian crosses the road, he will not always do so at right angles to the direction of travel, but with a random deviation from it.

Erst recht folgt das Verhalten der Fremdobjekte nicht mehr deterministischen Regeln, wenn sich ein steuernder Mensch falsch entscheidet. So ist etwa das Setzen des rechten Blinkers keine Garantie dafür, dass der Fahrer tatsächlich aus einer Vorfahrtstraße nach rechts in die nächste Straße einbiegen und gegenüber einem anderen Fahrzeug, das aus dieser Straße kommt, auf seine Vorfahrt verzichten wird. Vielmehr kann auch der Fall eintreten, dass der Fahrer geradeaus weiterfährt, nachdem er feststellt, dass er sich geirrt hat und erst eine Straße später rechts abbiegen muss. Auch kann ein menschlicher Fahrer etwa nicht auf ein Objekt reagieren, dass sich im toten Winkel seiner Spiegel versteckt. Auch setzen sich immer wieder Fußgänger bewusst über die Pflicht zur Benutzung gesicherter Überwege, bzw. über die Wartepflicht bei roter Ampel, hinweg. The behavior of foreign objects no longer follows deterministic rules if a controlling person makes the wrong decision. For example, setting the right turn signal is no guarantee that the driver will actually turn right from one priority street to the next street and will forego the right of way compared to another vehicle coming from this street. Rather, it can also happen that the driver continues straight ahead after he realizes that he was wrong and only has to turn right one street later. A human driver can also do not react to an object that is hidden in the blind spot of its mirror. Pedestrians also deliberately ignore the obligation to use secure crossings or the waiting time at red traffic lights.

Weiterhin ist selbst das Verhalten des Ego- Fahrzeugs in gewisser Weise probabilistisch. Wird etwa zum Anhalten ein bestimmter Bremsdruck auf die Bremszylinder der Bremsanlage gegeben, so kann die dadurch bewirkte Furthermore, even the behavior of the ego vehicle is somewhat probabilistic. If, for example, a certain brake pressure is applied to the brake cylinder of the brake system for stopping, this can result

Verzögerung des Ego- Fahrzeugs beispielsweise abhängig vom Zustand der Fahrbahn sowie von Temperatur und Wassergehalt der Bremsflüssigkeit variieren. The deceleration of the ego vehicle can vary, for example, depending on the condition of the road and the temperature and water content of the brake fluid.

Indem nun die Zustandsänderungen der übrigen Verkehrsteilnehmer zu einer Wahrscheinlichkeitsverteilung P(x') verallgemeinert sind und indem die By generalizing the changes in state of the other road users to a probability distribution P (x ') and by

Bewegungsstrategien pi-4 aller Verkehrsteilnehmer ebenfalls probabilistisch sein können, kann die Reaktion des Ego- Fahrzeugs auf die Gesamtsituation x somit so verfeinert werden, dass sie mit einer höheren Wahrscheinlichkeit tatsächlich verkehrsgerecht ist und insbesondere Kollisionen vermeidet. In gewisser Weise wird also das vorausschauende Fahren, das ein jeder menschlicher Fahrer in der Fahrschule lernen muss, technisch nachgebildet, damit ein System für das zumindest teilweise automatisierte Fahren die Fahraufgabe mindestens so gut bewältigen kann wie ein menschlicher Fahrer. Movement strategies pi- 4 of all road users can also be probabilistic, the reaction of the ego vehicle to the overall situation x can thus be refined so that it is more likely to actually be traffic-friendly and in particular to avoid collisions. In a way, the predictive driving that every human driver has to learn in the driving school is technically simulated so that a system for at least partially automated driving can cope with the driving task at least as well as a human driver.

In einer besonders vorteilhaften Ausgestaltung werden Gütemaße Q1-4 gewählt, deren Optima bezüglich der Bewegungsstrategien pi-4 durch das Bellman- Optimum gegeben sind. Dies ist in gewisser Weise eine Kombination aus rekursiver Definition und wechselseitiger Kopplung der Gütemaße QI-4. In a particularly advantageous embodiment, quality measures Q 1-4 are chosen whose optima with respect to the movement strategies pi- 4 are given by the Bellman optimum. In a way, this is a combination of recursive definition and mutual coupling of the quality measures Q I-4 .

Beispielsweise können bei unendlichem Zeithorizont die Gütemaße Q, im fertig optimierten Endzustand Q* die FormFor example, with an infinite time horizon, the quality measures Q, in the final optimized state Q * the shape

haben, worin die p*(-ΐ) die optimalen Bewegungsstrategien der anderen where the p * (- ΐ) are the optimal movement strategies of the others

Verkehrsteilnehmer sind, deren Index ein anderer ist als i und Are road users whose index is other than i and

V*(x') = softmax Q*(x',a'). Der Erwartungswert E läuft über die probabilistischen Zustandsübergänge und die Strategien der anderen Verkehrsteilnehmer, deren Index ein anderer ist als i. Er ist gegeben durch V * (x ') = softmax Q * (x', a '). The expected value E runs through the probabilistic state transitions and the strategies of the other road users whose index is different from i. It is given by

In einer weiteren besonders vorteilhaften Ausgestaltung werden die optimalen Bewegungsstrategien pi-4 unter der Voraussetzung ermittelt, dass sie bei gleicher Vorgeschichte Hl unabhängig voneinander sind: In a further particularly advantageous embodiment, the optimal movement strategies pi- 4 are determined on the condition that they are independent of one another with the same history H 1 :

Wenn nun weiterhin eine Boltzmann-Gibbs-Verteilung als Verteilung der If a Boltzmann-Gibbs distribution continues as the distribution of the

Wahrscheinlichkeiten P(x') von Zustandsänderungen x' gewählt wird, dann wählen die Verkehrsteilnehmer ihre Bewegungsstrategie jeweils nach dem Prinzip der maximalen Entropie: Probabilities P (x ') of state changes x' is selected, then the road users choose their movement strategy according to the principle of maximum entropy:

p (a1 (t ) | H‘ ) <x exp (ß* ( x(i ), a ( t ))} (3). p (a 1 (t) | H ') <x exp (ß * (x (i), a (t))} (3).

Die Gleichungen (1) bis (3) bilden einen Satz von M gekoppelten Gleichungen, wobei M die Anzahl der betrachteten Verkehrsteilnehmer ist. Die Gleichungen können zusammengefasst werden als Equations (1) to (3) form a set of M coupled equations, where M is the number of road users considered. The equations can be summarized as

Q = T,(Q:„Q, \i [M] <4).  Q = T, (Q: "Q, \ i [M] <4).

Hierin ist T, die rechte Seite von Gleichung (1). Gleichung (4) hat genau eine optimale Lösung Q *, die erhältlich ist mit dem folgenden Algorithmus: Herein is T, the right side of equation (1). Equation (4) has exactly one optimal solution Q *, which is available with the following algorithm:

Algorithmus 1 - MMCE-I Algorithm 1 - MMCE-I

Eingabe Ht, {Rj} Enter Ht, {Rj}

1: Initialisiere: Q,0 und Q-,0 1: Initialize: Q, 0 and Q-, 0

2: s=0 2: s = 0

3: while Konvergenz do  3: while convergence do

4: for j e -i do 4: for j e -i do

5: Qj s+1 Ti(Q-is+1,Qis) 6: end for 5: Q j s + 1 Ti (Qi s + 1 , Qi s ) 6: end for

9: end while  9: end while

Ausgabe Qs Edition Q s

Wenn der Zeithorizont endlich ist, ist das Problem leicht unterschiedlich. Die Gütefunktion Q des i-ten Verkehrsteilnehmers hat im fertig optimierten Zustand zum Zeitschritt t e [t,t+T] die Form When the time horizon is finite, the problem is slightly different. The quality function Q of the i-th road user has the form in the fully optimized state at the time step te [t, t + T]

mit der Randbedingung, dass with the constraint that

der Wert der Gütefunktion R, im finalen optimierten Zustand am Ende des Zeithorizonts ist. Analog zum Fall des endlichen Zeithorizonts hängt der Erwartungswert wieder von den Strategien der übrigen Verkehrsteilnehmer ab, die wiederum vorteilhaft Boltzmann-verteilt sind: is the value of the quality function R, in the final optimized state at the end of the time horizon. Analogous to the case of the finite time horizon, the expected value again depends on the strategies of the other road users, which in turn are advantageously Boltzmann-distributed:

Daher kann Gleichung (5) geschrieben werden als:  Therefore equation (5) can be written as:

W = u{r ,nG'\ ί ^ [M\ (« worin U, die rechte Seite von Gleichung (5) ist. Eine optimale Lösung ist beispielsweise mit dem folgenden Algorithmus erhältlich:  W = u {r, nG '\ ί ^ [M \ («where U is the right side of equation (5). For example, an optimal solution can be obtained with the following algorithm:

Algorithmus 2 - MMCE-F Algorithm 2 - MMCE-F

Eingabe {Rj, Rj F}, T Enter {Rj, R j F }, T

1: for j=l, ..., M do 1: for j = l, ..., M do

2: Vj t+T <— Rj,F 2: V j t + T <- R j, F

3: end for  3: end for

4: Initialisiere: Q0<-[QI0, ... ,QM°] 4: Initialize: Q 0 <- [QI 0 , ..., QM °]

5: for k=T-1, ..., 0 do  5: for k = T-1, ..., 0 do

6: s=0 6: s = 0

7: while Konvergenz do 8: for i=l, M do 7: while convergence do 8: for i = 1, M do

9: Qis+1 <— Ui(Q-is,Vit+K+1) 9: Qi s + 1 <- Ui (Qi s , Vi t + K + 1 )

10: end for  10: end for

11: s <- s+l  11: s <- s + l

12: end while  12: end while

13: QVQS 13: QVQ S

14: for j=l, M do  14: for j = 1, M do

15: Vjt+k <- softmaxaj Uj(Q-j°,Vj t+K+1) 15: Vjt + k <- softmax aj U j (Q- j °, V j t + K + 1 )

16: end for  16: end for

17: end for  17: end for

Ausgabe {V1, Vt+T} Edition {V 1 , V t + T }

Im Rahmen der Erfindung wurde ein weiteres Verfahren zur Vorhersage der Trajektorien von Fremdobjekten im Umfeld eines Ego- Fahrzeugs, sowie zur Bestimmung einer daran angepassten eigenen künftigen Trajektorie für das Ego- Fahrzeug, entwickelt. Dieses Verfahren beginnt zunächst wie das zuvor beschriebene Verfahren, d.h. die Fremdobjekte werden identifiziert, und es werden die Nahziele und die grundlegenden Regeln der Bewegung sowohl für das Ego- Fahrzeug als auch für die Fremdobjekte ermittelt. Within the scope of the invention, a further method for predicting the trajectories of foreign objects in the environment of an ego vehicle, and for determining a future trajectory for the ego vehicle adapted to it, was developed. This process initially begins like the previously described process, i.e. the foreign objects are identified and the short-range targets and the basic rules of movement are determined for both the ego vehicle and for the foreign objects.

Im Unterschied zu dem zuvor beschriebenen Verfahren wird sowohl für das Ego- Fahrzeug als auch für die Fremdobjekte jeweils eine Merkmalsfunktion FI-4 aufgestellt dergestalt, dass die Anwendung von FI-4 auf einen Satz qi-4 noch freier Parameter eine Gütefunktion RI-4 liefert, wobei diese Gütefunktion RI-4 einer aus den aktuellen Zuständen des Ego- Fahrzeugs und der Fremdobjekte gebildeten Gesamtsituation x und einer möglichen nächsten Bewegungsaktion ai-4 ein Maß dafür zuordnet, wie gut die Aktion ai-4 in der aktuellen In contrast to the method described above, a feature function F I-4 is set up for the ego vehicle as well as for the foreign objects such that the application of F I-4 to a set of qi- 4 still free parameters is a quality function R I -4 supplies, said quality function R x I-4 an overall situation formed from the current states of the ego vehicle and the foreign objects and a possible next move action ai 4 assigns a measure of how well the action ai 4 in the current

Gesamtsituation x für den jeweils betrachteten Verkehrsteilnehmer ist. Die Gütefunktion RI-4 kann insbesondere beispielsweise ein Maß dafür beinhalten, inwieweit die Bewegungsaktion ai-4 in der Situation x auf die Erreichung des jeweiligen Nahziels und auf die Einhaltung der Regeln hinarbeitet. Overall situation x for the road user under consideration. The quality function R I-4 can in particular include, for example, a measure of the extent to which the movement action ai- 4 in situation x works towards the achievement of the respective short-term goal and compliance with the rules.

Die Merkmalsfunktion FI-4 kann beispielsweise Eigenschaften und Ziele des jeweiligen Verkehrsteilnehmers verkörpern, wie etwa der Zielort, auf den sich ein Fußgänger hinbewegt, oder auch dessen Gehgeschwindigkeit. Bei einem Fahrzeug kann neben dem Zielort beispielsweise die Anforderung, dass die Fahrt sicher, flüssig und komfortabel verlaufen soll, in die Merkmalsfunktion FI-4 eingehen. Die Merkmalsfunktion F1-4 kann also insbesondere beispielsweise aus mehreren Anteilen zusammengesetzt sein, die sich auf unterschiedliche Ziele beziehen, wobei diese Ziele auch gegenläufig sein können. Der Satz qi-4 von Parametern kann dann beispielsweise die Gewichte verkörpern, mit denen unterschiedliche Ziele und Anforderungen in der letztendlichen Gütefunktion RI-4 enthalten sind. Der Satz qi-4 von Parametern kann insbesondere beispielsweise als Vektor von Parametern vorliegen und beispielsweise Koeffizienten enthalten, mit denen eine Linearkombination aus unterschiedlichen in der Merkmalsfunktion FI-4 enthaltenen Zielen in die Gütefunktion RI-4 eingeht. The feature function F I-4 can, for example, embody properties and destinations of the respective road user, such as the destination to which a pedestrian is moving, or his walking speed. At a In addition to the destination, the vehicle can, for example, include the requirement that the journey should be safe, smooth and comfortable in the feature function F I-4 . The feature function F 1-4 can therefore in particular be composed, for example, of several parts which relate to different goals, wherein these goals can also be opposite. The set qi- 4 of parameters can then embody, for example, the weights with which different goals and requirements are contained in the final quality function R I-4 . The set qi- 4 of parameters can in particular be present, for example, as a vector of parameters and contain, for example, coefficients with which a linear combination of different targets contained in the feature function F I-4 enters the quality function R I-4 .

Die Bewegungsstrategien pi-4 des Ego- Fahrzeugs und der Fremdobjekte werden als diejenigen Strategien ermittelt, die zu einer maximalen kausalen Entropie H(ai-4||x) der Bewegungsaktionen ai-4 des Ego-Fahrzeugs und der Fremdobjekte in der Gesamtsituation x führen. Aus den Bewegungsstrategien pi-4 werden die gesuchten Trajektorien ermittelt. The movement strategies pi- 4 of the ego vehicle and the foreign objects are determined as those strategies which lead to a maximum causal entropy H (ai- 4 || x) of the movement actions ai- 4 of the ego vehicle and the foreign objects in the overall situation x , The trajectories sought are determined from the movement strategies pi- 4 .

Das letztendlich erhaltene Ergebnis weist die gleichen Vorteile auf wie das gemäß dem zuvor beschriebenen Verfahren erhaltene Ergebnis. Der Vorteil speziell dieses Verfahrens ist, dass für die Bestimmung des Parametersatzes qi-4 noch weniger Information über die jeweiligen Verkehrsteilnehmer benötigt wird als für die direkte Bestimmung der Gütefunktion RI-4. Jede Zusatzinformation, gleich aus welcher Quelle, kann aber auf der anderen Seite im Parametersatz qi-4 berücksichtigt werden. Die freien Parameter qi-4 werden bei der Optimierung in Abhängigkeit der Bewegungsstrategien pi-4 bestimmt. The final result obtained has the same advantages as the result obtained according to the previously described method. The advantage of this method in particular is that even less information about the respective road users is required for the determination of the parameter set qi- 4 than for the direct determination of the quality function R I-4 . Any additional information, regardless of the source, can be considered on the other side in the parameter set qi- 4 . The free parameters qi 4 are pi- in the optimization in response to movement strategies 4 determined.

Die kausale Entropie H(ai-4||x) kann geschrieben werden als The causal entropy H (ai -4 || x) can be written as

Vorteilhaft wird das Maximum der kausalen Entropie H(ai-4||x) in Bezug auf die Bewegungsstrategien pi-4 unter der Randbedingung ermittelt, dass sowohl für das Ego- Fahrzeug als auch für die Fremdobjekte der Erwartungswert der jeweiligen Merkmalsfunktion FI-4 über alle möglichen Gesamtsituationen x und alle möglichen nächsten Bewegungsaktionen ai-4 gleich dem Mittelwert der empirisch in den bisherigen Trajektorien beobachteten Merkmalsfunktionen F1-4 ist. Dieser Mittelwert kann insbesondere über alle bislang empirisch The maximum of the causal entropy H (ai -4 || x) with respect to the movement strategies pi- 4 is advantageously determined under the boundary condition that both the ego vehicle and the foreign objects have the expected value of the respective feature function F I-4 over all possible overall situations x and all possible next movement actions ai- 4 are equal to the mean value of the feature functions F1-4 observed empirically in the previous trajectories. This mean can be empirical, especially across all

beobachteten Situationen x und Bewegungen ai-4 gebildet werden: observed situations x and movements ai- 4 are formed:

In Verbindung mit den weiteren Randbedingungen, dass die optimalen  In conjunction with the other boundary conditions that the optimal

Bewegungsstrategien pi-4 bei gleicher Vorgeschichte Hl unabhängig voneinander sind und dass sie jeweils statistisch um eine Strategie verteilt sind, die die jeweilige Gütefunktion RI-4 maximiert, kann unter Verwendung von Motion strategies pi- 4 with the same history H l are independent of one another and that they are each statistically distributed around a strategy that maximizes the respective quality function RI- 4 can be used using

eine rekursive Lösung für Gleichung (7) angegeben werden: a recursive solution to equation (7) can be given:

Hierin ist Here is

Die Randbedingung ist Z,(T +1)=1 für alle Verkehrsteilnehmer.  The boundary condition is Z, (T +1) = 1 for all road users.

Die rekursive Lösung ist ähnlich zu dem fertig optimierten Gütemaß Q gemäß Gleichung (5). WiT(HT,ai(x)) spielt die Rolle des Gütemaßes Q,, und die The recursive solution is similar to the fully optimized quality measure Q according to equation (5). Wi T (H T , ai (x)) plays the role of the quality measure Q ,, and the

Gütefunktionen R, sind als Linearkombination aus den Merkmalsfunktionen F, zusammengesetzt. Letztendlich kann also aus der Perspektive des Ego- Fahrzeugs ein„inverse reinforcement learning“ betrieben werden, d.h., bei Kenntnis der Gütefunktion Ri des Ego- Fahrzeugs können allein aus der Beobachtung der übrigen Quality functions R are composed of the characteristic functions F as a linear combination. Ultimately, an “inverse reinforcement learning” can therefore be carried out from the perspective of the ego vehicle, ie, if the quality function Ri of the ego vehicle is known, only by observing the others

Verkehrsteilnehmer deren Gütefunktionen R2-4 erschlossen werden. Dies kann beispielsweise mit dem folgenden Algorithmus geschehen: Road users whose quality functions R 2-4 are developed. This can be done using the following algorithm, for example:

Algorithmus 3: MMCE-IRL für das Ego-Fahrzeug Algorithm 3: MMCE-IRL for the ego vehicle

9: end for  9: end for

In einer weiteren besonders vorteilhaften Ausgestaltung werden die In a further particularly advantageous embodiment, the

Fremdobjekte jeweils hinsichtlich ihres Typs klassifiziert, und die jeweilige Gütefunktion R2-4, bzw. die jeweilige Merkmalsfunktion F2-4, wird anhand dieses Typs ausgewählt. Auf diese Weise kann die Ermittlung der letztendlichen Trajektorien der Fremdobjekte, und somit auch der daran angepassten Foreign objects are each classified in terms of their type, and the respective quality function R2-4 or the respective feature function F2-4 is selected on the basis of this type. In this way, the determination of the final trajectories of the foreign objects, and thus also the ones adapted to them

Trajektorie des Ego- Fahrzeugs, schneller konvergieren und zu einem genaueren Ergebnis gelangen. Wie zuvor erläutert, können insbesondere die grundlegenden Regeln der Bewegung vom Typ des Objekts abhängen. Die Klassifikation kann anhand der physikalischen Beobachtungen, und/oder anhand der über die Drahtlosschnittstelle empfangenen Informationen, vorgenommen werden. Trajectory of the ego vehicle, converge faster and arrive at a more precise result. In particular, as previously explained, the basic rules of motion may depend on the type of object. The classification can be made on the basis of the physical observations and / or on the basis of the information received via the wireless interface.

Wie zuvor erläutert, ist die Ermittlung der an das Vorhandensein bewegter Fremdobjekte angepassten Trajektorie des Ego- Fahrzeugs kein Selbstzweck, sondern hat zum Ziel, die Tauglichkeit zumindest teilweise automatisiert fahrender Fahrzeuge speziell für den gemischten Verkehr mit von Menschen gesteuerten Fremdobjekten zu verbessern. Daher bezieht sich die Erfindung auch auf ein Verfahren zur Steuerung eines Ego-Fahrzeugs in einer As previously explained, the determination of the trajectory of the ego vehicle, which is adapted to the presence of moving foreign objects, is not an end in itself, but aims to improve the suitability of at least partially automated vehicles, especially for mixed traffic with human-controlled foreign objects. The invention therefore relates also to a method for controlling an ego vehicle in a

Verkehrssituation mit bewegten Fremdobjekten im Umfeld des Ego- Fahrzeugs. Traffic situation with moving foreign objects in the environment of the ego vehicle.

Bei diesem Verfahren wird die an das Verhalten der Fremdobjekte angepasste Trajektorie des Ego- Fahrzeugs mit einem der zuvor beschriebenen Verfahren ermittelt. Die angepasste Trajektorie wird an einen Bewegungsplaner des Ego- Fahrzeugs übermittelt. Durch den Bewegungsplaner wird ein Ansteuerprogramm für ein Antriebssystem, ein Lenksystem und/oder ein Bremssystem des Ego- Fahrzeugs ermittelt, wobei das Ansteuerprogramm dazu ausgebildet ist, das tatsächliche Verhalten des Fahrzeugs im Rahmen der Systemgrenzen bestmöglich in Übereinstimmung mit der ermittelten Trajektorie zu bringen. In this method, the trajectory of the ego vehicle, which is adapted to the behavior of the foreign objects, is determined using one of the methods described above. The adapted trajectory is transmitted to a movement planner of the ego vehicle. A control program for a drive system, a steering system and / or a brake system of the ego vehicle is determined by the motion planner, the control program being designed to bring the actual behavior of the vehicle within the system limits as well as possible into agreement with the determined trajectory.

Das Antriebssystem, Lenksystem und/oder Bremssystem wird entsprechend dem Ansteuerprogramm angesteuert. The drive system, steering system and / or braking system is controlled in accordance with the control program.

Das Verfahren kann in einem beliebigen bereits vorhandenen Steuergerät des Ego-Fahrzeugs implementiert werden, da dank der internen Vernetzung mittels CAN-Bus typischerweise von jedem Ort im Fahrzeug aus Zugang zu den mit einer Sensorik erfassten oder über die Drahtlosschnittstelle bezogenen The method can be implemented in any existing control device of the ego vehicle, since, thanks to the internal networking via CAN bus, access to those recorded with a sensor system or obtained via the wireless interface is typically possible from anywhere in the vehicle

Informationen über Fremdobjekte im Fahrzeugumfeld besteht. Ebenso kann der Bewegungsplaner über den CAN-Bus von jedem Ort im Fahrzeug aus angesteuert werden. Das Verfahren kann beispielsweise in Form einer Software implementiert sein, die als Update oder Upgrade für ein solches Steuergerät verkaufbar ist und insofern ein eigenes Produkt darstellt. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren There is information about foreign objects in the vehicle environment. The motion planner can also be controlled from anywhere in the vehicle via the CAN bus. The method can be implemented, for example, in the form of software that can be sold as an update or upgrade for such a control device and, in this respect, represents a separate product. Therefore, the invention also relates to a computer program with machine-readable

Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Instructions that when on a computer, and / or on a

Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, dazu veranlassen, ein von der Erfindung bereitgestelltes Verfahren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Control device to be executed, cause the computer and / or the control device to carry out a method provided by the invention. The invention also relates to a machine-readable

Datenträger oder ein Downloadprodukt mit dem Computerprogramm. Data medium or a download product with the computer program.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt. Ausführungsbeispiele Es zeigt: Further measures improving the invention are shown below together with the description of the preferred exemplary embodiments of the invention with reference to figures. Exemplary embodiments It shows:

Figur 1 Ausführungsbeispiel des Verfahrens 100; Figure 1 embodiment of the method 100;

Figur 2 Ausführungsbeispiel des Verfahrens 200; FIG. 2 embodiment of the method 200;

Figur 3 Ausführungsbeispiel des Verfahrens 300; FIG. 3 embodiment of the method 300;

Figur 4 Beispielhafte Verkehrsszene mit Ego- Fahrzeug 1 und drei Figure 4 Exemplary traffic scene with ego vehicle 1 and three

menschengesteuerten Fremdobjekten 2-4. human-controlled foreign objects 2-4.

Figur 1 zeigt ein Ausführungsbeispiel des Verfahrens 100. In Schritt 110 wird eine Zeitreihe lla-llc physikalischer Beobachtungen des Umfelds 11 des in Figur 1 nicht eingezeichneten Ego- Fahrzeugs 1 zusammen mit Informationen 12a, die über die Drahtlosschnittstelle 12 empfangen wurden, verarbeitet. Diese Informationen 12a stammen von den Fremdobjekten 2-4 im Fahrzeugumfeld 11 selbst, und/oder von einer Infrastruktur 5. In Schritt 110 werden die Fremdobjekte 2-4 identifiziert, d.h. es wird festgestellt, dass drei Fremdobjekte 2-4 vorhanden sind, die sich in unterschiedlicher Weise bewegen. FIG. 1 shows an exemplary embodiment of the method 100. In step 110, a time series 11a-11c of physical observations of the surroundings 11 of the ego vehicle 1 (not shown in FIG. 1) is processed together with information 12a that was received via the wireless interface 12. This information 12a comes from the foreign objects 2-4 in the vehicle environment 11 itself, and / or from an infrastructure 5. In step 110, the foreign objects 2-4 are identified, i.e. it is found that there are three foreign objects 2-4 that move in different ways.

Die Fremdobjekte 2-4 werden im optionalen Schritt 115 nach Typen 2d-4d klassifiziert. In Schritt 120 werden die von den Fremdobjekten 2-4 jeweils angestrebten Nahziele 2b-4b prognostiziert, und es werden die grundlegenden Regeln 2c-4c ermittelt, nach denen die Bewegung der Fremdobjekte 2-4 abläuft. Analog hierzu wird in Schritt 130 ermittelt, auf welches Nahziel lb die Bewegung des Ego- Fahrzeugs 1 hinführt und nach welchen grundlegenden Regeln lc diese Bewegung abläuft. Foreign objects 2-4 are classified in step 115 according to types 2d-4d. In step 120, the short-range targets 2b-4b aimed at by the foreign objects 2-4 are predicted, and the basic rules 2c-4c are determined according to which the movement of the foreign objects 2-4 takes place. Analogously to this, it is determined in step 130 to which short-range target 1b the movement of the ego vehicle 1 leads and according to which basic rules 1c this movement takes place.

In Schritt 140 wird für das Ego- Fahrzeug 1 sowie für die Fremdobjekte 2-4 auf der Basis der vorhandenen Informationen die jeweilige Gütefunktion RI-4 aufgestellt, wobei gemäß dem optionalen Teilschritt 141 der jeweilige Typ 2d-4d des Fremdobjekts 2-4 herangezogen werden kann, wenn dieser im optionalen Schritt 115 bestimmt wurde. In step 140, the respective quality function R I-4 is set up for the ego vehicle 1 and for the foreign objects 2-4 on the basis of the available information, with the respective type 2d-4d according to the optional substep 141 of the foreign object 2-4 can be used if this was determined in the optional step 115.

In Schritt 150 werden die Gütefunktionen RI-4 zu Gütemaßen QI-4 erweitert, die zusätzlich auch den Erwartungswert E(P(x')) einer Verteilung der In step 150, the quality functions R I-4 are expanded to quality measures Q I-4 , which also include the expected value E (P (x ')) of a distribution of the

Wahrscheinlichkeiten P(x') von Zustandsänderungen x' enthält und insofern auch die Gütemaße QI-4 untereinander koppelt. Dabei werden gemäß Teilschritt 151 Gütemaße QI-4 gewählt, deren Optima bezüglich der Bewegungsstrategien pi-4 durch das Bellman-Optimum gegeben sind. Gemäß Teilschritt 152 wird eine Boltzmann-Gibbs-Verteilung als Verteilung der Wahrscheinlichkeiten P(x') von Zustandsänderungen x' gewählt. Contains probabilities P (x ') of state changes x' and insofar also the quality measures Q I-4 are coupled to one another. Quality steps Q I-4 are selected in accordance with substep 151, the optima of which for the movement strategies pi- 4 are given by the Bellman optimum. According to sub-step 152, a Boltzmann-Gibbs distribution is selected as the distribution of the probabilities P (x ') of changes in state x'.

In Schritt 160 werden diejenigen Bewegungsstrategien pi-4 des Ego-Fahrzeugs und der Fremdobjekte 2-4 ermittelt, die die Gütemaße QI-4 maximieren. Hieraus werden schließlich in Schritt 170 die gesuchten Trajektorien 2a-4a der In step 160, those movement strategies pi- 4 of the ego vehicle and of the foreign objects 2-4 are determined which maximize the quality measures Q I-4 . Finally, in step 170, the sought trajectories 2a-4a become

Fremdobjekte 2-4 sowie die hieran angepasste Soll-Trajektorie la des Ego- Fahrzeugs 1 ermittelt. Foreign objects 2-4 and the target trajectory la of the ego vehicle 1 adapted to them are determined.

Figur 2 zeigt ein Ausführungsbeispiel des Verfahrens 200. Die Schritte 210, 215, 220 und 230 sind identisch mit den Schritten 110, 115, 120 und 130 des FIG. 2 shows an exemplary embodiment of method 200. Steps 210, 215, 220 and 230 are identical to steps 110, 115, 120 and 130 of the

Verfahrens 100. Procedure 100.

In Schritt 240 des Verfahrens 200 wird im Unterschied zu Schritt 140 des Verfahrens 100 keine vollständige Gütefunktion RI-4 bestimmt, sondern In step 240 of the method 200, in contrast to step 140 of the method 100, a complete quality function R I-4 is not determined, but instead

Merkmalsfunktionen FI-4, die mit einem Satz qi-4 noch freier Parameter parametrisiert sind und erst in Verbindung mit diesen Parametern qi-4 die vollständige Gütefunktion RI-4 bilden. Sofern in Schritt 215 die Typen 2d-4d der Fremdobjekte 2-4 bestimmt wurden, können diese im optionalen Teilschritt 241 zur Auswahl der jeweiligen Merkmalsfunktion F2-4 herangezogen werden. Feature functions F I-4 , which are parameterized with a set of qi- 4 still free parameters and only form the complete quality function R I-4 in connection with these parameters qi- 4 . If the types 2d-4d of the foreign objects 2-4 were determined in step 215, these can be used in the optional sub-step 241 to select the respective feature function F 2-4 .

In Schritt 250 werden die Bewegungsstrategien pi-4 des Ego- Fahrzeugs und der Fremdobjekte werden als diejenigen Strategien ermittelt, die die maximale kausale Entropie maximieren. Zugleich werden auch die Parameter qi-4 der Merkmalsfunktionen FI-4 bestimmt. Dabei wird gemäß Teilschritt 251 eine Randbedingung vorgegeben, die eine rekursive Bestimmung der In step 250, the movement strategies pi- 4 of the ego vehicle and the foreign objects are determined as those strategies that maximize the maximum causal entropy. At the same time, the parameters qi- 4 of the feature functions F I-4 are also determined. According to sub-step 251, a Boundary condition specified that a recursive determination of the

Bewegungsstrategien pi-4 ermöglicht. Movement strategies pi- 4 enables.

In Schritt 260 werden, analog zu Schritt 170 des Verfahrens 100, aus den Bewegungsstrategien pi-4 die gesuchten Trajektorien 2a-4a der Fremdobjekte 2- 4 sowie die hieran angepasste Soll-Trajektorie la des Ego- Fahrzeugs 1 ermittelt. In step 260, analogously to step 170 of the method 100, the sought trajectories 2a-4a of the foreign objects 2-4 and the target trajectory la of the ego vehicle 1 adapted to them are determined from the movement strategies pi- 4 .

Figur 3 zeigt ein Ausführungsbeispiel des Verfahrens 300. In Schritt 310 wird mit dem Verfahren 100 oder 200 die an das Verhalten der Fremdobjekte 2-4 im Umfeld 11 des Ego- Fahrzeugs 1 angepasste Soll-Trajektorie la für das Ego- Fahrzeug 1 ermittelt. Diese angepasste Trajektorie la wird in Schritt 320 an den Bewegungsplaner 13 des Ego-Fahrzeugs 1 übermittelt. In Schritt 330 wird durch den Bewegungsplaner 13 ein Ansteuerprogramm 13a für ein Antriebssystem 24, ein Lenksystem 15 und/oder ein Bremssystem 16 des Ego- Fahrzeugs 1 ermittelt. FIG. 3 shows an exemplary embodiment of the method 300. In step 310, the target trajectory 1 a for the ego vehicle 1, which is adapted to the behavior of the foreign objects 2-4 in the environment 11 of the ego vehicle 1, is determined using the method 100 or 200. This adapted trajectory la is transmitted to the movement planner 13 of the ego vehicle 1 in step 320. In step 330, a control program 13a for a drive system 24, a steering system 15 and / or a brake system 16 of the ego vehicle 1 is determined by the movement planner 13.

In diesem Zusammenhang ist wichtig, dass sich der Begriff der Trajektorie allgemein auf eine Bahn in kombinierten Raum- und Zeitkoordinaten bezieht. Das bedeutet, dass eine Trajektorie nicht nur durch eine Änderung der In this context, it is important that the term trajectory generally refers to a path in combined space and time coordinates. This means that a trajectory is not just a change in the

Bewegungsrichtung geändert werden kann, sondern auch durch eine Änderung der Geschwindigkeit, wie etwa ein Abbremsen, Warten und späteres erneutes Anfahren. Direction of movement can be changed, but also by changing the speed, such as braking, waiting and starting again later.

In Schritt 340 wird das Antriebssystem 14, das Lenksystem 15, bzw. das In step 340, the drive system 14, the steering system 15, or the

Bremssystem 16, entsprechend dem Ansteuerprogramm 13a angesteuert. Brake system 16, driven according to the control program 13a.

Figur 4 zeigt eine komplexe Verkehrsszene, in der die beschriebenen Verfahren 100, 200, 300 vorteilhaft eingesetzt werden können. Auf dem rechten FIG. 4 shows a complex traffic scene in which the described methods 100, 200, 300 can be used advantageously. On the right

Fahrstreifen einer Straße 50 fährt das Ego- Fahrzeug 1 geradeaus in Richtung des Nahziels lb. The lane of a road 50 drives the ego vehicle 1 straight in the direction of the near destination lb.

Das erste Fremdobjekt 2 ist ein weiteres Fahrzeug, dessen Blinker 2e anzeigt, dass sein Fahrer in die zum Nahziel 2b des Fahrzeugs 2 führende Seitenstraße 51 abzubiegen beabsichtigt. Das zweite Fremdobjekt 3 ist ein weiteres Fahrzeug, das aus Sicht des Ego- Fahrzeugs 1 auf der Gegenfahrbahn der Straße 50 geradeaus unterwegs ist in Richtung seines Nahziels 3b. Das dritte Fremdobjekt 4 ist ein Fußgänger, der ein Nahziel 4b auf der aus seiner Sicht The first foreign object 2 is a further vehicle, the blinker 2e of which indicates that its driver intends to turn into the side street 51 leading to the near target 2b of the vehicle 2. The second foreign object 3 is another vehicle which, from the perspective of the ego vehicle 1, is traveling straight ahead on the opposite lane of the road 50 in the direction of its near destination 3b. The third foreign object 4 is a pedestrian who is a short-range target 4b from his point of view

gegenüberliegenden Seite der Straße 50 ansteuert. on the opposite side of road 50.

In der in Figur 4 dargestellten Situation muss der Fußgänger 4 den Überweg 52 über die Straße 50 benutzen, was zugleich den Fahrer des Fahrzeugs 3 zumIn the situation shown in FIG. 4, the pedestrian 4 must use the crossing 52 over the road 50, which at the same time causes the driver of the vehicle 3 to

Warten verpflichtet. Daher kann im Prinzip der Fahrer des Fahrzeugs 2 direkt beschleunigen und wie beabsichtigt links abbiegen, was für seine schnelle Erreichung des Nahziels 2b optimal wäre. Dementsprechend hätte das Ego- Fahrzeug 1 in seiner Fahrspur freie Fahrt zumindest bis zum Überweg 52. Ein Steuerungsverfahren unter der vereinfachenden Annahme, dass der Fahrer desWaiting obliges. In principle, therefore, the driver of vehicle 2 can accelerate directly and, as intended, turn left, which would be optimal for his rapid achievement of short-range target 2b. Accordingly, the ego vehicle 1 would have free travel in its lane at least up to the crossing 52. A control method under the simplifying assumption that the driver of the

Fahrzeugs 2 das für ihn Optimale tun wird, würde also das Ego- Fahrzeug 1 beschleunigen. Wenn nun aber der Fahrer des Fahrzeugs 2 die Situation dahingehend falsch einschätzt, dass er zuerst das Fahrzeug 3 im Gegenverkehr vorbeilassen muss (was ohne den Fußgänger 4 auf dem Überweg 52 ja auch richtig wäre), fährt das Ego-Fahrzeug von hinten auf das Fahrzeug 2 auf. DieVehicle 2 that will do the best for him would accelerate ego vehicle 1. However, if the driver of vehicle 2 misjudges the situation in that he first has to let vehicle 3 pass in oncoming traffic (which would also be correct without pedestrian 4 on crossing 52), the ego vehicle drives onto the vehicle from behind 2 on. The

Verfahren gemäß der Erfindung ermöglichen es, derartige Unsicherheiten zu berücksichtigen. So kann beispielsweise die Geschwindigkeit für die Weiterfahrt so weit beschränkt werden, dass für den Fall, dass das Fahrzeug 2 tatsächlich stehenbleibt, ein Zusammenstoß noch mit einer Vollbremsung verhindert werden kann. Methods according to the invention enable such uncertainties to be taken into account. For example, the speed for the onward journey can be limited to such an extent that in the event that the vehicle 2 actually stops, a collision can still be prevented with full braking.

Claims

Ansprüche Expectations 1. Verfahren (100) zur Vorhersage der Trajektorien (2a-4a) von 1. Method (100) for predicting the trajectories (2a-4a) of Fremdobjekten (2-4) im Umfeld (11) eines Ego- Fahrzeugs (1), sowie zur Bestimmung einer daran angepassten eigenen künftigen Trajektorie (la) für das Ego-Fahrzeug (1), mit den Schritten: Foreign objects (2-4) in the environment (11) of a ego vehicle (1), as well as to determine an adapted future trajectory (la) for the ego vehicle (1), with the steps: • aus einer Zeitreihe (lla-llc) physikalischer Beobachtungen des Umfelds (11), und/oder aus über eine Drahtlosschnittstelle (12) des Fahrzeugs (1) von den Fremdobjekten (2-4) selbst und/oder von einer Infrastruktur (5) empfangenen Informationen (12a), werden die Fremdobjekte (2-4) identifiziert (110);  • from a time series (lla-llc) of physical observations of the environment (11), and / or from the foreign objects (2-4) themselves and / or from an infrastructure (5) via a wireless interface (12) of the vehicle (1) received information (12a), the foreign objects (2-4) are identified (110); • es wird ermittelt (120), auf welches Nahziel (2b-4b) die Bewegung eines jeden der Fremdobjekte (2-4) hinführt und nach welchen grundlegenden Regeln (2c-4c) diese Bewegung abläuft;  • It is determined (120) which short-range target (2b-4b) the movement of each of the foreign objects (2-4) leads to and which basic rules (2c-4c) this movement takes place; • es wird ermittelt (130), auf welches Nahziel (lb) die Bewegung des Ego- Fahrzeugs (1) hinführt und nach welchen grundlegenden Regeln (lc) diese Bewegung abläuft;  • it is determined (130) to which short-range target (lb) the movement of the ego vehicle (1) leads and according to which basic rules (lc) this movement takes place; • für das Ego- Fahrzeug (1) sowie für die Fremdobjekte (2-4) wird jeweils eine Gütefunktion RI-4 aufgestellt (140), die einer aus den aktuellen Zuständen des Ego- Fahrzeugs (1) und der Fremdobjekte (2-4) gebildeten Gesamtsituation x und einer möglichen nächsten Bewegungsaktion ai-4 ein Maß dafür zuordnet, wie gut die Aktion ai-4 in der aktuellen • For the ego vehicle (1) and for the foreign objects (2-4), a quality function R I-4 is set up (140), which is one of the current states of the ego vehicle (1) and the foreign objects (2- x 4) formed situation and a possible next move action ai 4 assigns a measure of how well the action ai 4 in the current Gesamtsituation x für den jeweils betrachteten Verkehrsteilnehmer (1-4) ist;  Overall situation x for the road user under consideration (1-4); • für das Ego-Fahrzeug (1) sowie für die Fremdobjekte (2-4) wird jeweils ein Gütemaß QI-4 aufgestellt (150), das der Gesamtsituation x und der möglichen nächsten Bewegungsaktion ai-4 zusätzlich zum Wert • A quality measure Q I-4 is set up (150) for the ego vehicle (1) as well as for the foreign objects (2-4), which in addition to the value of the overall situation x and the possible next movement action ai- 4 Ri-4(x,ai-4) auch den Erwartungswert E(P(x')) einer Verteilung der Wahrscheinlichkeiten P(x') von Zustandsänderungen x' zuordnet, mit denen die übrigen Verkehrsteilnehmer (2-4; 1, 3, 4; 1-3) auf die nächste Bewegungsaktion ai-4 reagieren; Ri- 4 (x, ai- 4 ) also assigns the expected value E (P (x ')) to a distribution of the probabilities P (x') of state changes x ' which the other road users (2-4; 1, 3, 4; 1-3) react to the next movement action ai- 4 ; • es werden diejenigen optimalen Bewegungsstrategien pi-4 des Ego- Fahrzeugs und der Fremdobjekte (2-4) ermittelt (160), die die Gütemaße QI-4 maximieren; • those optimal movement strategies pi- 4 of the ego vehicle and the foreign objects (2-4) are determined (160) that maximize the quality measures Q I-4 ; • aus den optimalen Bewegungsstrategien pi-4 werden die gesuchten • The optimal movement strategies pi- 4 are used Trajektorien (la-4a) ermittelt (170).  Trajectories (la-4a) determined (170). 2. Verfahren (100) nach Anspruch 1, wobei Gütemaße QI-4 gewählt werden (151), deren Optima bezüglich der Bewegungsstrategien pi-4 durch das Bellman-Optimum gegeben sind. 2. The method (100) according to claim 1, wherein quality measures Q I-4 are selected (151) whose optima with respect to the movement strategies pi- 4 are given by the Bellman optimum. 3. Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei eine 3. The method (100) according to any one of claims 1 to 2, wherein one Boltzmann-Gibbs-Verteilung als Verteilung der Wahrscheinlichkeiten P(x') von Zustandsänderungen x' gewählt wird (152). Boltzmann-Gibbs distribution is chosen as the distribution of the probabilities P (x ') of state changes x' (152). 4. Verfahren (200) zur Vorhersage der Trajektorien (2a-4a) von 4. Method (200) for predicting the trajectories (2a-4a) of Fremdobjekten (2-4) im Umfeld (11) eines Ego-Fahrzeugs (1), sowie zur Bestimmung einer daran angepassten eigenen künftigen Trajektorie (la) für das Ego- Fahrzeug (1), mit den Schritten: Foreign objects (2-4) in the environment (11) of an ego vehicle (1), as well as for determining an adapted future trajectory (la) for the ego vehicle (1), with the steps: • aus einer Zeitreihe (lla-llc) physikalischer Beobachtungen des Umfelds (11), und/oder aus über eine Drahtlosschnittstelle (12) des Fahrzeugs (1) von den Fremdobjekten (2-4) selbst und/oder von einer Infrastruktur (5) empfangenen Informationen (12a), werden die Fremdobjekte (2-4) identifiziert (210);  • from a time series (lla-llc) of physical observations of the environment (11), and / or from the foreign objects (2-4) themselves and / or from an infrastructure (5) via a wireless interface (12) of the vehicle (1) received information (12a), the foreign objects (2-4) are identified (210); • es wird ermittelt (220), auf welches Nahziel (2b-4b) die Bewegung eines jeden der Fremdobjekte (2-4) hinführt und nach welchen grundlegenden Regeln (2c-4c) diese Bewegung abläuft;  • It is determined (220) which short-range target (2b-4b) the movement of each of the foreign objects (2-4) leads to and which basic rules (2c-4c) this movement takes place; • es wird ermittelt (230), auf welches Nahziel (lb) die Bewegung des Ego- Fahrzeugs (1) hinführt und nach welchen grundlegenden Regeln (lc) diese Bewegung abläuft;  • it is determined (230) to which short-range target (lb) the movement of the ego vehicle (1) leads and according to which basic rules (lc) this movement takes place; • für das Ego- Fahrzeug (1) sowie für die Fremdobjekte (2-4) wird jeweils eine Merkmalsfunktion FI-4 aufgestellt (240) dergestalt, dass die • For the ego vehicle (1) and for the foreign objects (2-4), a feature function F I-4 is set up (240) in such a way that the Anwendung von FI-4 auf einen Satz qi-4 noch freier Parameter eine Gütefunktion RI-4 liefert, wobei diese Gütefunktion RI-4 einer aus den aktuellen Zuständen des Ego- Fahrzeugs (1) und der Fremdobjekte (2-4) gebildeten Gesamtsituation x und einer möglichen nächsten Applying F I-4 to a set of qi- 4 still free parameters yields a quality function R I-4 , this quality function R I-4 being one of the current states of the ego vehicle (1) and the foreign objects (2-4) formed overall situation x and a possible next one Bewegungsaktion ai-4 ein Maß dafür zuordnet, wie gut die Aktion ai-4 in der aktuellen Gesamtsituation x für den jeweils betrachteten Move action ai 4 assigns a measure of how well the action ai 4 in the current overall situation for the x under consideration Verkehrsteilnehmer (1-4) ist;  Is a road user (1-4); • die Bewegungsstrategien pi-4 des Ego- Fahrzeugs (1) und der • the movement strategies pi- 4 of the ego vehicle (1) and the Fremdobjekte (2-4) werden als diejenigen Strategien ermittelt (250), die zu einer maximalen kausalen Entropie H(ai-4||x) der Bewegungsaktionen ai-4 des Ego- Fahrzeugs (1) und der Fremdobjekte (2-4) in der Foreign objects (2-4) are determined as those strategies (250) that lead to a maximum causal entropy H (ai- 4 || x) of the movement actions ai- 4 of the ego vehicle (1) and the foreign objects (2-4) in the Gesamtsituation x führen;  Overall situation x lead; • aus den Bewegungsstrategien pi-4 werden die gesuchten Trajektorien (la-4a) ermittelt (260). • The trajectories sought (la-4a) are determined from the movement strategies pi- 4 (260). 5. Verfahren (200) nach Anspruch 4, wobei das Maximum der kausalen Entropie H(ai-4||x) in Bezug auf die Bewegungsstrategien pi-4 unter der 5. The method (200) according to claim 4, wherein the maximum of the causal entropy H (ai- 4 || x) with respect to the movement strategies pi- 4 below the Randbedingung ermittelt wird (251), dass sowohl für das Ego-Fahrzeug (1) als auch für die Fremdobjekte (2-4) der Erwartungswert der jeweiligen Boundary condition is determined (251) that both for the ego vehicle (1) and for the foreign objects (2-4) the expected value of the respective Merkmalsfunktion FI-4 über alle möglichen Gesamtsituationen x und alle möglichen nächsten Bewegungsaktionen ai-4 gleich dem Mittelwert der empirisch in den bisherigen Trajektorien beobachteten Merkmalsfunktionen FI-4 ist. Feature function F I-4 over all possible overall situations x and all possible next movement actions ai- 4 is equal to the mean value of the feature functions F I-4 observed empirically in the previous trajectories. 6. Verfahren (100, 200) nach einem der Ansprüche 1 bis 5, wobei die optimalen Bewegungsstrategien pi-4 unter der Randbedingung ermittelt werden (160, 250), dass sie bei gleicher Vorgeschichte H1 unabhängig voneinander sind. 6. The method (100, 200) according to any one of claims 1 to 5, wherein the optimal movement strategies pi- 4 are determined under the boundary condition (160, 250) that they are independent of one another with the same history H 1 . 7. Verfahren (100, 200) nach einem der Ansprüche 1 bis 6, wobei die optimalen Bewegungsstrategien pi-4 unter der Randbedingung ermittelt werden (160, 250), dass sie jeweils statistisch um eine Strategie verteilt sind, die die jeweilige Gütefunktion RI-4 maximiert. 7. The method (100, 200) according to any one of claims 1 to 6, wherein the optimal movement strategies pi- 4 are determined under the boundary condition (160, 250) that they are each statistically distributed around a strategy that the respective quality function R I -4 maximized. 8. Verfahren (100, 200) nach einem der Ansprüche 1 bis 7, wobei die Fremdobjekte (2-4) jeweils hinsichtlich ihres Typs (2d-4d) klassifiziert werden (115, 215) und wobei die jeweilige Gütefunktion R2-4, bzw. die jeweilige 8. The method (100, 200) according to one of claims 1 to 7, wherein the foreign objects (2-4) are each classified in terms of their type (2d-4d) (115, 215) and wherein the respective quality function R 2-4 , or the respective Merkmalsfunktion F2-4, anhand dieses Typs (2d-4d) ausgewählt wird (141, 241). Feature function F 2-4 , based on this type (2d-4d) is selected (141, 241). 9. Verfahren (300) zur Steuerung eines Ego- Fahrzeugs (1) in einer Verkehrssituation mit bewegten Fremdobjekten (2-4) im Umfeld des Ego- Fahrzeugs (1) mit den Schritten: 9. Method (300) for controlling an ego vehicle (1) in a traffic situation with moving foreign objects (2-4) in the vicinity of the ego vehicle (1) with the steps: • die an das Verhalten der Fremdobjekte (2-4) angepasste Trajektorie (la) des Ego- Fahrzeugs (1) wird mit einem Verfahren (100, 200) nach einem der Ansprüche 1 bis 8 ermittelt (310);  • the trajectory (la) of the ego vehicle (1) adapted to the behavior of the foreign objects (2-4) is determined (310) using a method (100, 200) according to one of claims 1 to 8; • die angepasste Trajektorie (la) wird an einen Bewegungsplaner (13) des Ego- Fahrzeugs (1) übermittelt (320);  • the adapted trajectory (la) is transmitted (320) to a movement planner (13) of the ego vehicle (1); • durch den Bewegungsplaner (13) wird ein Ansteuerprogramm (13a) für ein Antriebssystem (14), ein Lenksystem (15) und/oder ein Bremssystem (16) des Ego- Fahrzeugs (1) ermittelt (330), wobei das Ansteuerprogramm (13a) dazu ausgebildet ist, das tatsächliche Verhalten des Fahrzeugs (1) im Rahmen der Systemgrenzen bestmöglich in Übereinstimmung mit der Trajektorie (la) zu bringen;  • The motion planner (13) determines (330) a control program (13a) for a drive system (14), a steering system (15) and / or a brake system (16) of the ego vehicle (1), the control program (13a ) is designed to bring the actual behavior of the vehicle (1) as close as possible to the trajectory (la) within the system limits; • das Antriebssystem (14), Lenksystem (15) und/oder Bremssystem (16) wird entsprechend dem Ansteuerprogramm (13a) angesteuert (340).  • The drive system (14), steering system (15) and / or brake system (16) is controlled (340) in accordance with the control program (13a). 10. Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, dazu veranlassen, ein10. A computer program containing machine-readable instructions which, when executed on a computer and / or on a control device, cause the computer and / or the control device to do so Verfahren (100, 200, 300) nach einem der Ansprüche 1 bis 9 auszuführen. Execute method (100, 200, 300) according to one of claims 1 to 9.
EP19727327.9A 2018-06-25 2019-05-22 Adaptation of the trajectory of an ego vehicle to moved extraneous objects Pending EP3811351A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018210280.5A DE102018210280A1 (en) 2018-06-25 2018-06-25 Adaptation of the trajectory of an ego vehicle to moving foreign objects
PCT/EP2019/063232 WO2020001867A1 (en) 2018-06-25 2019-05-22 Adaptation of the trajectory of an ego vehicle to moved extraneous objects

Publications (1)

Publication Number Publication Date
EP3811351A1 true EP3811351A1 (en) 2021-04-28

Family

ID=66676497

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19727327.9A Pending EP3811351A1 (en) 2018-06-25 2019-05-22 Adaptation of the trajectory of an ego vehicle to moved extraneous objects

Country Status (5)

Country Link
US (1) US11858506B2 (en)
EP (1) EP3811351A1 (en)
CN (1) CN112292719B (en)
DE (1) DE102018210280A1 (en)
WO (1) WO2020001867A1 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413082B1 (en) * 2017-06-09 2020-01-01 Veoneer Sweden AB A vehicle system for detection of oncoming vehicles
EP3866074B1 (en) 2020-02-14 2022-11-30 Robert Bosch GmbH Method and device for controlling a robot
US11544935B2 (en) * 2020-02-26 2023-01-03 Honda Motor Co., Ltd. System for risk object identification via causal inference and method thereof
US11458987B2 (en) 2020-02-26 2022-10-04 Honda Motor Co., Ltd. Driver-centric risk assessment: risk object identification via causal inference with intent-aware driving models
DE102020207897A1 (en) 2020-06-25 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Situation-adapted control for driver assistance systems and systems for at least partially automated driving of vehicles
DE102020208080A1 (en) 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Detection of objects in images under equivariance or invariance with respect to the object size
US11958498B2 (en) 2020-08-24 2024-04-16 Toyota Research Institute, Inc. Data-driven warm start selection for optimization-based trajectory planning
DE102020215302A1 (en) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Dynamics-dependent behavior planning for at least partially automated vehicles
DE102020215324A1 (en) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Selection of driving maneuvers for at least partially automated vehicles
US20210309264A1 (en) * 2020-12-26 2021-10-07 Intel Corporation Human-robot collaboration
CN113219962B (en) * 2021-02-26 2023-02-28 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) Control method and system for hybrid queue following safety and storage medium
DE102021206014A1 (en) 2021-06-14 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Movement prediction for road users
US12291237B2 (en) * 2022-10-05 2025-05-06 GM Global Technology Operations LLC Trajectory planning system for ensuring maneuvers to avoid moving obstacles exist for an autonomous vehicle
DE102022214267A1 (en) * 2022-12-22 2024-06-27 Robert Bosch Gesellschaft mit beschränkter Haftung Computer-implemented method and system for behavior planning of an at least partially automated EGO vehicle
JP2024130166A (en) * 2023-03-14 2024-09-30 キヤノン株式会社 Imaging Devices and Equipment

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPS123702A0 (en) 2002-03-22 2002-04-18 Nahla, Ibrahim S. Mr The train navigtion and control system (TNCS) for multiple tracks
DE102008005310A1 (en) * 2008-01-21 2009-07-23 Bayerische Motoren Werke Aktiengesellschaft Method for influencing the movement of a vehicle in case of premature detection of an unavoidable collision with an obstacle
DE102008005305B4 (en) * 2008-01-21 2025-04-30 Bayerische Motoren Werke Aktiengesellschaft Method for influencing the movement of a vehicle
JP4561863B2 (en) 2008-04-07 2010-10-13 トヨタ自動車株式会社 Mobile body path estimation device
DE102008062916A1 (en) 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Method for determining a collision probability of a vehicle with a living being
US8244408B2 (en) 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system
US8259994B1 (en) * 2010-09-14 2012-09-04 Google Inc. Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
GB201116961D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
EP2615598B1 (en) * 2012-01-11 2017-12-06 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
DE102013225057A1 (en) * 2013-12-05 2015-06-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. METHOD FOR CONTROLLING A VEHICLE, DEVICE FOR PRODUCING CONTROL SIGNALS FOR A VEHICLE AND VEHICLE
DE102014201382A1 (en) 2014-01-27 2015-07-30 Robert Bosch Gmbh Method for operating a driver assistance system and driver assistance system
EP2950294B1 (en) * 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
DE102015221626A1 (en) * 2015-11-04 2017-05-04 Bayerische Motoren Werke Aktiengesellschaft Method for determining a vehicle trajectory along a reference curve
EP3400419B1 (en) * 2016-01-05 2025-08-27 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
CN108701251B (en) * 2016-02-09 2022-08-12 谷歌有限责任公司 Reinforcement Learning Using Dominance Estimation
WO2017197170A1 (en) 2016-05-12 2017-11-16 The Regents Of The University Of California Safely controlling an autonomous entity in presence of intelligent agents
US11364899B2 (en) * 2017-06-02 2022-06-21 Toyota Motor Europe Driving assistance method and system
US10935982B2 (en) * 2017-10-04 2021-03-02 Huawei Technologies Co., Ltd. Method of selection of an action for an object using a neural network
MX2020004378A (en) * 2017-11-30 2020-08-20 Nissan North America Inc Autonomous vehicle operational management scenarios.

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEI TAI ET AL: "A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 21 December 2016 (2016-12-21), XP081358496 *
See also references of WO2020001867A1 *
SERGEY LEVINE: "Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 May 2018 (2018-05-02), XP080885039 *

Also Published As

Publication number Publication date
DE102018210280A1 (en) 2020-01-02
CN112292719A (en) 2021-01-29
CN112292719B (en) 2023-01-31
WO2020001867A1 (en) 2020-01-02
US20210171061A1 (en) 2021-06-10
US11858506B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
EP3811351A1 (en) Adaptation of the trajectory of an ego vehicle to moved extraneous objects
EP2771227B1 (en) Method for guiding a vehicle, and driver assistance system
EP2873066B1 (en) Method and device for operating a vehicle
DE102019104974A1 (en) Method and system for determining a driving maneuver
EP2907120B1 (en) Estimating a street type using sensor-based surroundings data
DE102020131949A1 (en) SYSTEM AND PROCEDURE FOR LEARNING DRIVER PREFERENCE AND ADAPTING LANE CENTERING CONTROL TO DRIVER BEHAVIOR
EP3627386A1 (en) Method and device for providing an image of the vicinity of a mobile device and motor vehicle comprising such a device
DE102017115988A1 (en) Modify a trajectory depending on an object classification
DE102019118366A1 (en) Method and control device for a system for controlling a motor vehicle
EP3160813A2 (en) Method for producing a model of the surroundings of a vehicle
DE102015224338A1 (en) Method and device in a motor vehicle for automated driving
EP3818466B1 (en) Quick identification of dangerous or endangered objects in the surroundings of a vehicle
DE102014003343A1 (en) Method for determining a lane change requirement of a system vehicle
DE102015208790A1 (en) Determining a trajectory for a vehicle
EP1096457B2 (en) Method and device for electronic recognition of traffic road signs
DE102017208728B4 (en) Procedure for determining a driving instruction
DE102018111070B4 (en) Method for operating a motor vehicle to improve the working conditions of evaluation units in the motor vehicle, control system for carrying out such a method and motor vehicle with such a control system
DE102017118651A1 (en) Method and system for collision avoidance of a vehicle
DE102019216836A1 (en) Method for training at least one algorithm for a control unit of a motor vehicle, computer program product and motor vehicle
DE102019132091A1 (en) Method for operating a motor vehicle and motor vehicle
DE102012008660A1 (en) Method for assisting driver while driving vehicle, involves informing and/or warning driver about driving condition in escalation steps, such that automatic intervention takes place by longitudinal and/or lateral control of vehicle
DE102017200580A1 (en) Method for optimizing a maneuver planning for autonomous vehicles
DE102016210760A1 (en) Method for interaction between a vehicle and road users
DE102019209619A1 (en) METHOD FOR AUTONOMOUS VEHICLE OPERATION, CONTROL DEVICE FOR A VEHICLE AND VEHICLE
DE102019101040A1 (en) Method for training a trajectory for a vehicle, and electronic vehicle guidance system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210125

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240313