EP3160813B1 - Verfahren zur erstellung eines umfeldmodells eines fahrzeugs - Google Patents
Verfahren zur erstellung eines umfeldmodells eines fahrzeugs Download PDFInfo
- Publication number
- EP3160813B1 EP3160813B1 EP15730987.3A EP15730987A EP3160813B1 EP 3160813 B1 EP3160813 B1 EP 3160813B1 EP 15730987 A EP15730987 A EP 15730987A EP 3160813 B1 EP3160813 B1 EP 3160813B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- lane
- vehicle
- lane segment
- environment model
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/143—Speed control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/10—Number of lanes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/12—Lateral speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
Definitions
- the present invention relates to a method for creating an environment model of a vehicle, an environment model unit, a driver assistance system and a vehicle.
- driver assistance systems Increasingly, drivers wish to be relieved when driving vehicles by driver assistance systems. A distinction is made between the following degrees of automation, which are associated with different requirements for the driver assistance systems.
- Driver Only denotes a degree of automation in which the driver permanently, ie throughout the journey, takes over the longitudinal control, ie the acceleration or deceleration, and the lateral control, ie the steering. If the vehicle has a driver assistance system, this does not intervene in the longitudinal or lateral guidance of the vehicle.
- light assistance systems with which headlights can be controlled depending on the situation, weather and/or brightness
- distance warning systems which warn of invisible obstacles, especially when parking
- Rain assistance systems which activate the windshield wipers depending on whether the windshield is wet or dirty
- an attention assistance system which, for example, recommends taking a break depending on the movement of the driver's pupils
- a lane change assistant which warns the driver before changing lanes without first activating the direction change indicators (turn signals).
- a traffic sign assistant that draws the driver's attention to traffic signs, in particular speed limits
- a blind spot assistant that draws the driver's attention to road users in the blind spot of the vehicle
- a reversing camera system that provides the driver with information about the area behind the vehicle and which example in the EP 1 400 409 A2 is described.
- Other assistance systems can be found in the WO 2007/104625 A1 described.
- Assisted refers to a degree of automation in which the driver permanently takes over either the lateral or the longitudinal guidance of the vehicle.
- the other driving task is taken over by a driver assistance system within certain limits.
- the driver must constantly monitor the driver assistance system and must be ready at all times to fully take over control of the vehicle.
- Examples of such driver assistance systems are known under the designation "Adaptive Cruise Control” and "Parking Assistant”.
- Adaptive Cruise Control can, within limits, take over the longitudinal guidance of the vehicle and regulate the vehicle's speed, taking into account the distance to the road user ahead.
- a corresponding radar system is, for example, from the WO 2008/040341 A1 known.
- Park Assist assists in parking in parking spaces by taking over the steering, but the forward and backward movement of the vehicle is still the responsibility of the driver.
- a corresponding parking assistant is, for example, in the EP 2 043 044 B1 described.
- Partially automated denotes a degree of automation in which a driver assistance system takes over both the lateral and the longitudinal guidance of the vehicle for a certain period of time and/or in specific situations.
- the driver must constantly monitor the driver assistance system and be able to take complete control of the vehicle at any time.
- An example of a driver assistance system that enables partially automated vehicle guidance is known as the highway assistant.
- the motorway assistant can take over the longitudinal and lateral guidance of the vehicle in the specific situation of a motorway journey up to a certain speed.
- the driver must check at all times whether the highway assistant is working reliably and be ready to take over control of the vehicle immediately, e.g. due to a takeover request from the driver assistance system.
- a driver assistance system takes over both the lateral and the longitudinal guidance of the vehicle for a certain period of time and/or in specific situations.
- the driver no longer has to constantly monitor the driver assistance system. If the driver assistance system independently recognizes a system limit and, accordingly, safe vehicle guidance is no longer guaranteed by the driver assistance system, the driver assistance system requests the driver to take control of the vehicle.
- a motorway chauffeur is a conceivable example of a driver assistance system for highly automated vehicle guidance.
- a highway chauffeur could take over the automatic longitudinal and lateral guidance of the vehicle on highways up to a certain speed limit, with the driver not having to monitor the highway chauffeur at all times.
- the Autobahn chauffeur recognized a system limit, for example an uncontrolled toll station or an unforeseen construction site, he would ask the driver to take over driving the vehicle within a certain period of time.
- the driver assistance system takes over the lateral and longitudinal guidance of the vehicle, but this completely in a defined application.
- the driver does not have to monitor the driver assistance system.
- the driver assistance system prompts the driver with a sufficient time reserve to take over the driving task. If the driver does not follow this request, the vehicle is put into a risk-minimum system state. All system limits are recognized by the driver assistance system and the driver assistance system is able to assume a risk-minimum system state in all situations.
- An example of a driver assistance system that enables "fully automated” driving could be a highway pilot. Up to an upper speed limit on motorways, this could take over both the longitudinal and the lateral guidance of the vehicle.
- the driver would not have to monitor the highway pilot and could devote himself to other activities, such as preparing for a meeting, and thus make the best possible use of the travel time. As soon as the highway has to be left, the highway pilot would ask the driver to take over. If the driver does not respond to this prompt, the highway pilot would slow down the vehicle and preferentially steer it into a parking lot or hard shoulder where it would be slowed to a stop and stopped.
- a method for the fully automated method is, for example, in US8457827B1 been suggested.
- a modern vehicle can have both an emergency brake assistant, which initiates emergency braking in good time if a deer jumps onto the road, and adaptive cruise control, with which the speed of the vehicle is automatically adjusted to the speed of the vehicle in front, so that the distance to the latter remains essentially constant.
- an emergency brake assistant which initiates emergency braking in good time if a deer jumps onto the road
- adaptive cruise control with which the speed of the vehicle is automatically adjusted to the speed of the vehicle in front, so that the distance to the latter remains essentially constant.
- Both systems access, for example, sensor data from a radar system or a laser system, as is the case, for example, in WO 2012/139796 A1 is described, and carry out calculations independently of one another in order to carry out object recognition based on the sensor data.
- the implementation of new driver assistance functions is therefore associated with a high level of programming effort.
- all driver assistance functions must be adapted to this new sensor system.
- the term "roadway” is understood to mean the part of a road that vehicles may drive on.
- the carriageway forms the continuous paved part of the road.
- a roadway typically includes a number of "lanes” which are also referred to as lanes. Provision can be made for vehicles to drive in the same direction in the multiple lanes.
- An example of this are the structurally separate lanes of a motorway, which typically have two or three lanes.
- a carriageway can also include two lanes on which vehicles are moving in opposite directions. On a country road, for example, the two lanes can be separated from each other by a white dashed line.
- the roadway can also include the hard shoulder and/or hard shoulder.
- the DE 10 2007 044 761 A1 describes a method for determining a travel path that extends along a movement path of a vehicle and within which the vehicle will move with a high degree of probability, the travel path being delimited on both sides of the movement path by a travel path edge, with at least one of the travel path edges and additionally at least one lane information item, in particular a lane marking representing the lane and the relevant edge of the driving path can be determined, on the basis of which an adapted driving path, in particular an adapted driving path edge, is determined.
- a driver assistance system for motor vehicles with sensors for detecting the traffic environment, a prediction device for predicting a driving path that the vehicle is expected to drive on, and an assistance function that uses the predicted driving path, has been proposed, with the prediction device being designed to calculate several driving path hypotheses at the same time track and make it available to the assistance function.
- the simultaneous pursuit of several driving path hypotheses is associated with a high computational effort.
- the present invention was based on the object of specifying a method for creating an environment model that reduces the effort involved in creating new driver assistance systems and enables simpler integration of new sensor systems.
- the method according to the invention for creating an environment model of a vehicle is characterized in that an alley is determined based on objects and/or free space boundaries and/or lane boundaries, the alley indicating the freely navigable area around the vehicle, that the alley comprises at least one alley segment that the lane segment comprises at least one lane segment boundary, in particular a front lane segment boundary, a rear lane segment boundary, a left lane segment boundary and a right lane segment boundary, that the lane segment boundary is determined from the vehicle-related distance, and that the lane is made available to a driver assistance system.
- driver assistance systems can be provided with an abstract representation of the surroundings of the vehicle.
- the space represented by the lane can be used to maneuver the vehicle.
- All driver assistance systems that access the environment model provided by the method benefit from improvements in determining the lane.
- new sensor systems can be integrated without a change in the driver assistance systems being necessary.
- the abstraction of the information made available by sensor systems also reduces the programming effort required to enable many driver assistance systems to access a large number of sensor systems.
- sensor data from at least one sensor system is received, objects, free space boundaries and roadway boundaries are determined based on the sensor data, and the alley is determined based on the determined objects, free space boundaries and roadway boundaries.
- the information on the objects, free space boundaries and roadway boundaries required as part of the process can be obtained using the sensor data from different sensor systems.
- radar systems, laser systems, ultrasonic systems or camera systems can be used as sensor systems. Radar systems can also detect objects when it is raining or in fog.
- a laser system is for example in the WO 2012/139796 A1 Laser systems described can be characterized by a particularly long range of the detection area. The detection accuracy of ultrasonic sensors, such as those in WO 2013/072167 A1 are described can be particularly high at close range. Camera systems can have a higher resolution than other sensor systems. Infrared camera systems can make it possible to distinguish living objects from inanimate objects. Camera systems can be combined into stereo camera systems in order to obtain distance information.
- sensor data can also be understood to mean data which is provided by a sensor system in the sense of a background system.
- This can be, for example, map material in which the course of roadways and/or lanes is entered.
- sensor data from sensor systems of the vehicle whose environment is to be modeled can be used.
- sensor data from other vehicles can also be used.
- sensor data from infrastructural sensor systems e.g. traffic lights, traffic surveillance cameras, fog sensors or roadway contact loops.
- the data can be transmitted wirelessly from vehicle to vehicle or initially to a background system.
- an exemplary embodiment of the method for creating an environment model provides that the objects, free space boundaries and roadway boundaries are received, and that the alley is determined based on the received objects, free space boundaries and roadway boundaries.
- the method can provide that objects, free space boundaries and lane boundaries are not only determined on the basis of sensor data from a sensor system, but are already made available by a preprocessing system.
- the preprocessing system can be arranged in the vehicle whose environment is to be modeled, and can process sensor data from sensor systems in this vehicle or sensor data from a sensor system in another vehicle or from a background system. It is also conceivable that the Objects, free space boundaries and lane boundaries are provided directly by other vehicles or a background system.
- the lane segment is determined based on lane boundaries.
- An adaptive cruise control can be designed to keep a vehicle within the lane by means of steering movements and to keep the distance to an object driving ahead essentially constant up to a preselected maximum speed. In this case, information about objects outside the lane is not required and the Adaptive Cruise Control does not have to access lane segments outside the lane boundary.
- a lane-based lane i.e. a lane in which the lane segments are determined based on lane boundaries, therefore proves to be favorable in many situations with regard to the computing and memory resources to be made available.
- distances between the lane segment boundaries can be specified not only in relation to vehicles, but alternatively or additionally also in relation to lanes.
- the distances to the lateral lane segment boundaries can be specified in relation to a center line of the lane.
- At least a first lane segment is assigned to a lane in which the vehicle is driving, at least a second lane segment is assigned to a lane in which the vehicle is not driving and lanes, the first lane segment and the second lane segment having an lane segment boundary that is at least partially common.
- lane segments that are assigned to a lane that is not currently being traveled by the vehicle can enable a driver assistance system to give recommendations for avoiding traffic or to automatically switch to another lane.
- the second lane segment can be assigned to a lane that is typically traveled by other vehicles in the opposite direction. Determining an alley segment assigned to this can allow a driver assistance system to determine whether a lane change is possible and whether a slower road user, for example an agricultural vehicle, located in front of the vehicle in the current lane can be overtaken.
- the speed of the change in the vehicle-related distance is determined.
- Indicating the rate of change of the vehicle-related distance can enable a driver assistance system to adapt the acceleration of the vehicle more proactively by accelerating (positive acceleration) or braking (negative acceleration).
- acceleration of the vehicle can initially be dispensed with and its speed can initially be kept constant in order to enable the passengers of the vehicle to travel as comfortably as possible. Only when the vehicle-related distance deviates too much from the desired distance at the same time is a (positive or negative) acceleration of the vehicle initiated in this case.
- the rate of change is very high, acceleration can also be initiated without exceeding or falling below a predetermined deviation from the desired distance.
- emergency braking of a passenger vehicle driving ahead can be detected earlier and emergency braking of one's own vehicle can be triggered before the safety distance is fallen below. In this way, a collision with the vehicle in front can be avoided with a higher probability since a longer distance is available for deceleration. Likewise, through a earlier acceleration, the absolute amount of acceleration will be lower and the driving comfort for the passengers will be increased.
- the lane segment is determined for at least one lane segment boundary, the acceleration of the change in the vehicle-related distance.
- Determining the acceleration of the change in the vehicle-related distance can enable an even more precise and anticipatory control of the acceleration of the vehicle.
- the speed or acceleration of the change in the lane-related distance of an alley segment boundary can also be determined.
- the additional or alternative determination of the speed or acceleration of the change in the lane-related distance can enable the lane to be determined more independently of the vehicle.
- a lane that is more vehicle-independent can be advantageous if it is to be made available to another vehicle.
- the type of lane segment boundary is determined for at least one lane segment boundary.
- the lane segment boundary is specified by a cyclist or the lane boundary.
- a safety distance of 1.5 m must be maintained when passing a cyclist.
- the type of lane segment boundary can influence the decision as to whether a risky evasive maneuver is carried out around an obstacle or whether driving into the obstacle is better controlled.
- the obstacle is a motor vehicle, for example, it may make more sense to use the material ones to accept the damage of a collision and not to expose the driver of the vehicle to the risk of an evasive maneuver with an uncertain outcome.
- the risk of an evasive maneuver can be accepted if the obstacle is a pedestrian whose health would be substantially endangered in a collision.
- a further development of the method for creating an environment model provides that the lane segment and the vehicle-related distance from the lane segment boundary are determined taking into account the course of the roadway and/or the course of a lane.
- Roadways or traffic lanes typically have not only straight but also curved sections. The vehicles usually follow these curved roadways or lanes. It is therefore generally of greater importance for driver assistance systems whether a vehicle is located in front of it in relation to the course of the roadway and/or the course of the lane or in a straight line. If the lane segment and the vehicle-related distance from the lane segment boundary are determined taking into account the course of the road and/or the course of a lane, a road element in the shape of a ring segment and/or lane element can be transformed into a rectangular lane segment, for example, and the curvature of the center line can be specified for this rectangular lane segment. Rectangular lane segments can simplify further processing by driver assistance systems.
- the lane segment and the vehicle-related distance from the lane segment boundary are determined taking into account a predicted course of the road.
- At least one confidence value is specified for the lane segment, with the confidence value indicating the probability with which the lane segment can be freely navigated.
- a cardboard box is not always recognized with 100% certainty.
- the object detected by a sensor system could also be a flower pot, which could cause major damage to the vehicle if driven over. If the confidence value is low, it may be necessary for the driver to continuously monitor and, if necessary, even take over longitudinal and lateral guidance of the vehicle. On the other hand, if the confidence value is very high, a highly or even fully automated degree of automation can be adopted.
- a development of the method for creating an environment model provides that a standard deviation is specified for the vehicle-related distance from the lane segment boundary and/or for the speed of change in the vehicle-related distance from the lane segment boundary and/or for accelerating the change in the vehicle-related distance from the lane segment boundary.
- Information on the standard deviation can allow the control limits of a driver assistance system to be adjusted accordingly. If the distance between the lane segment boundary and the vehicle is known very precisely, i.e. a small standard deviation is assigned to it, a parking assistant, for example, can drive much closer to the obstacle. Conversely, when the standard deviation is large, a certain safety margin is maintained to avoid a collision.
- the task described above was achieved by an environment model unit, wherein the environment unit has a receiving device for receiving objects, free space boundaries and roadway boundaries and/or sensor data from at least one sensor system, and wherein the environment model unit is set up to use one of the above-described to carry out procedures.
- the solution to the task derived above consists in a driver assistance system which is set up to a lane received from an environment model unit, described in particular above, and which is set up to regulate at least one operating parameter of a vehicle, in particular its speed and/or its distance from a road user driving ahead, based on the lane.
- one solution to the problem specified above is a vehicle that has a sensor system for detecting the area surrounding the vehicle and an area model unit as described above and/or a driver assistance system as described above.
- the vehicle can in particular be a motorized means of individual transport.
- passenger cars come into consideration.
- the vehicle is a motorcycle.
- FIG 1 is an example of an abstract representation of the interaction of an environment model 101 with a group 102 of sensor systems 103, 104, 105, 106 and a driver assistance system 107, with which various customer functions can be implemented.
- the sensor system 103 can be a radar sensor, for example, the sensor system 104 a camera system, the sensor system 105 an ultrasonic sensor and the sensor system 106 a digital map.
- Sensor systems 103, 104, 105, 106 communicate with environment model unit 101 via an interface 108.
- the sensor data from the various sensor systems 103, 104, 105, 106 are first merged and verified.
- An object fusion 110 is therefore carried out.
- the merged object has been recognized by two sensor systems 103 and 104 .
- free space boundaries recognized by different sensor systems 103, 104, 105, 106 can be combined within the framework of a partial model 111 to form a common free space boundary.
- a sensor system 103 can detect, for example, that the free space on the left in the direction of travel of the vehicle is limited, and another sensor system 104 can cover the area behind the vehicle. Furthermore, within the context of the environment model, the lane markings recognized by different sensor systems on the left and right of the vehicle can be evaluated and a coherent description of the course of the lane can be derived in part 112 .
- the partial models 110, 111, 112 represent a first level 113, a sensor fusion level, of the environment model 101.
- the information obtained, verified and fused in this level about the objects, the free space boundaries, lane boundaries, lane boundaries, traffic signs, maps are via an output interface 114 a second level 114 of the environment model and a background system 109, a so-called back end, are made available so that the information obtained can also be used by other vehicles.
- a so-called scene description can be undertaken in the second level 114 of the environment model.
- the movement history of a recognized object can be reconstructed in a first partial model 115 .
- the object can be classified. For example, historical data from the background system 109 can be used to determine whether it is a vehicle or a pedestrian.
- a lane can be determined, with the freely traveled area around the vehicle being indicated.
- the information obtained as part of the environment model 101 can then be implemented using a driver assistance system 107, various assistance functions 118, 119, 120.
- FIG 2 a first example of an alley determined based on objects 201, 202, 203, roadway boundaries 204, 205 and lane boundaries 213, 214, which indicates the freely traveled area around a vehicle 206, is shown.
- the lane has four lane segments 207 , 208 , 209 , 210 .
- the two lane segments 207, 208 are located on the same lane 211 as the vehicle 206, which is also referred to as the ego lane or ego lane.
- the two lane segments 209 and 210 are on lane 211 to the left and lane 212 to the right of vehicle 206.
- Lane segment 207 is bounded to the rear by vehicle 206 and to the front by object 202, with the object being 202 is a vehicle. Lane segment 207 is delimited laterally by lane boundaries 213 , 214 . The vehicle-related distance 216 from the front lane segment limit 215 of the lane segment 207 is determined. Lane segment 208 is bounded to the rear by a free space boundary. In the exemplary embodiment shown, the free space limit is determined by the range of the rear space of the vehicle 206 monitoring in which figure 2 not shown sensor system specified. The lateral lane segments 209 and 210 are also delimited at the front by an object 201, 203 in the form of a vehicle.
- the lane segments 209 and 210 are to the right or left by the lane boundaries 213, 214 and to the left or right by the lane boundaries 204, 205.
- the sensor range specifies the free space limit as the aisle segment boundary of the aisle segments 209 and 210.
- an aisle segment 209, 210 is available both on the left and on the right, within which the vehicle 206 is located , 208, 209 are made available, can thus refrain from a collision warning in the event of an intended lane change.
- the alley segment 301 shown has a width 302 and a length 303.
- Specifying a width 302 of an alley segment 301 enables a driver assistance system to carry out a particularly simple and quick initial check as to whether the space that can generally be driven on is also sufficiently wide for the vehicle 304 that is driving into this alley segment 301 is to be driven. If the result of this test is negative, further, more complex test steps (is there a sufficient safety distance? Is the distance from the front aisle segment boundary 305 decreasing? etc.) can be omitted.
- specifying a length 303 of an aisle segment 301 can enable a quick check as to whether the aisle segment 301 is long enough to accommodate the vehicle 304 .
- a driver assistance system in the form of a parking assistant can use this data to quickly determine, for example, whether a gap between two vehicles parked at the edge of the lane is sufficient to park vehicle 304 in this gap.
- the standard deviations can also be specified for the width 302 and the length 303 of the lane segment 301 .
- driver assistance systems can calculate safety margins, in particular safety distances.
- a confidence value can also be specified for lane segment 301, which indicates the safety with which the lane area represented by lane segment 301 can be driven on.
- the lane segment 301 has rectangular dimensions.
- a rectangular lane segment 301 can simplify further processing by driver assistance systems.
- the lane also includes non-rectangular lane segments in order to do justice to street situations that can only be poorly represented as a rectangular lane segment.
- the rectangular one Lane segment 301 includes four lane segment boundaries 305, 306, 307 and 308.
- the type of boundary can be specified for each lane segment boundary 305, 306, 307, 308.
- the lane segment boundaries 305, 307 it can be noted, for example, that the lane segment boundaries are predetermined by a lane marking.
- the lane segment boundaries 306, 308 can be noted as the type of boundary that this is formed by an object. It can further be provided that one or all lane segment boundaries 305, 306, 307, 308 also have a reference to the specific object.
- a driver assistance system requires more specific information about the delimiting object, for example in the case of an alley segment boundary, obtaining the information about the object can be simplified in this way.
- a driver assistance system can react differently, for example, depending on whether the object is a pedestrian or a cyclist. For example, a cyclist is less likely to abruptly change direction in a direction perpendicular to the previous direction. Rather, it will travel through a more or less large radius. In the case of a pedestrian, on the other hand, the risk of a sudden change in the direction of movement must be classified as significantly higher.
- Lane segment 401 has four lane segment boundaries 402,403,404,405.
- Lane segment boundary 402 is defined by lane marking 406, lane segment boundary 403 by a free space boundary due to a limited sensor range, lane segment boundary 404 by an object 407, and lane segment boundary 405 by object 407.
- the distances to the lane segment boundaries are given once in relation to the vehicle (408, 409) and once in relation to the lane (410, 411).
- vehicle-related distances 408, 409 the distance between the respective aisle segment boundaries 402, 405 in relation to the front edge of vehicle 412, whose surroundings are to be modeled, is specified.
- the lane-related distances 410 and 411 are measured from the center line 413 of the lane.
- figure 5 represents a further exemplary embodiment of an alley.
- the roadway section represented by the alley has three lanes 501, 502, 03, on which there is still a total of vehicle 504, whose environment is to be modeled seven other vehicles 505, 506, 507, 508, 509, 510, 511 are located.
- free space boundaries 512, 513 are shown with dots.
- the one in the figure 5 shown free space boundaries 512, 513 we can above with regard to the figure 1 explained in the context of creating the environment model, for example, merged into a line.
- the lane exclusively comprises lane segments 514, 515, 516, which are assigned to the lane 502 traveled by the vehicle 504.
- a region of the lane 502 is covered by the object or vehicle 506, so that a visibility cover 517 results. Alley segments that are in visibility occlusions are removed from the alley.
- Roadway 601 has three lanes 602, 603, 604, with vehicle 605 driving in middle lane 603, whose environment is to be modeled.
- the lane 601 is bounded by two lane boundaries 606, 607 and the lane 603 by two lane boundaries 608, 609.
- the surroundings of the vehicle 605 can be modeled by an alley which comprises alley segments 610, 611.
- the aisle segment 610 is delimited at the front by an object 612, a vehicle, and the aisle segment 611 at the front by a free space boundary.
- the vehicle-related distances 613, 614 are specified along the center line of the traffic lane 615, wherein the center line of the traffic lane 615 can in particular be a clothoid.
- the lane-related distances 616, 617, 618, 619 of the lane segments 611 are specified perpendicular to the center line.
- a measure of the curvature of the center line is specified for each lane segment 611 .
- FIG 7 shows an example of an object-related alley model.
- the lane comprises three lane segments 701, 702, 703.
- Lane segments 701, 702, 703 are delimited only by lane boundaries 704, 705 and objects 706, 707 in the lateral direction.
- the number of lane segments 701, 702, 703 can be limited to lane segments up to the first object 706, up to the second object 707, and so on. In this way, the complexity of the calculations can be reduced.
- the distances to the lateral lane segment boundaries 708, 709, 710, 711, 712, 713 are related to the center line of the roadway and the distances of the front and rear lane segment boundaries onto the front axle of the vehicle 714 whose environment is to be modeled.
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs, eine Umfeldmodelleinheit, ein Fahrerassistenzsystem und ein Fahrzeug.
- Zunehmend wünschen Fahrer, beim Führen von Fahrzeugen durch Fahrerassistenzsysteme entlastet zu werden. Dabei werden folgende Automatisierungsgrade unterschieden, mit denen unterschiedliche Anforderungen an die Fahrerassistenzsysteme einhergehen.
- "Driver Only" bezeichnet einen Automatisierungsgrad, bei dem der Fahrer dauerhaft, d.h. während der gesamten Fahrt, die Längsführung, d.h. das Beschleunigen bzw. das Verzögern, und die Querführung, d.h. das Lenken, übernimmt. Sofern das Fahrzeug ein Fahrerassistenzsystem aufweist, greift dieses nicht in die Längs- oder Querführung des Fahrzeuges ein. Beispiele für Fahrerassistenzsysteme, die nicht in die Längs- oder Querführung des Fahrzeuges eingreifen sind unter anderen Lichtassistenzsysteme, mit welchen Scheinwerfer situations-, witterungs- und/oder helligkeitsabhängig gesteuert werden können, Abstandswarner, welche, insbesondere beim Einparken, vor nicht sichtbaren Hindernissen warnen, Regenassistenzsysteme, welche in Abhängigkeit der Wasserbenetzung oder Verschmutzung der Windschutzscheibe die Scheibenwischer aktivieren, ein Aufmerksamkeitsassistenz, welcher beispielsweise in Abhängigkeit der Pupillenbewegungen des Fahrers das Einlegen einer Pause empfiehlt, ein Spurwechselassistent, welcher den Fahrer vor einem Spurwechsel ohne vorherige Aktivierung der Richtungswechselanzeiger (Blinker) warnt, wie er beispielsweise in der
EP 1 557 784 A1 beschrieben ist, eine Verkehrszeichenassistent, der den Fahrer auf Verkehrszeichen, insbesondere Geschwindigkeitsbegrenzungen, hinweist, ein Totwinkel-Assistent, der den Fahrer auf Verkehrsteilnehmer im toten Winkel des Fahrzeuges aufmerksam macht oder ein Rückfahrkamerasystem, welches dem Fahrer Informationen über den hinter dem Fahrzeug liegenden Bereich liefert und welches beispielsweise in derEP 1 400 409 A2 beschrieben ist. Weitere Assistenzsysteme sind unter anderem in derWO 2007/104625 A1 beschrieben. - "Assistiert" bezeichnet einen Automatisierungsgrad, bei dem der Fahrer dauerhaft entweder die Quer- oder die Längsführung des Fahrzeuges übernimmt. Die jeweils andere Fahraufgabe wird in gewissen Grenzen von einem Fahrerassistenzsystem übernommen. Dabei muss der Fahrer das Fahrerassistenzsystem dauerhaft überwachen und muss jederzeit zur vollständigen Übernahme der Fahrzeugführung bereit sein. Beispiele für solche Fahrerassistenzsysteme sind unter der Bezeichnung "Adaptive Cruise Control" und "Parkassistent" bekannt. Die Adaptive Cruise Control kann in Grenzen die Längsführung des Fahrzeugs übernehmen und die Geschwindigkeit des Fahrzeugs unter Berücksichtigung des Abstands zu einem vorausfahrenden Verkehrsteilnehmer regeln. Ein entsprechendes Radarsystem ist z.B. aus der
WO 2008/040341 A1 bekannt. Der Parkassistent unterstützt das Einparken in Parklücken, indem er das Lenken übernimmt, wobei die Vor- und Rückwärtsbewegung des Fahrzeugs jedoch weiter vom Fahrer übernommen wird. Ein entsprechender Parkassistent ist zum Beispiel in derEP 2 043 044 B1 beschrieben. - "Teilautomatisiert" bezeichnet einen Automatisierungsgrad, bei welchem ein Fahrerassistenzsystem sowohl die Quer- als auch die Längsführung des Fahrzeugs für einen gewissen Zeitraum und/oder in spezifischen Situationen übernimmt. Wie bei einer assistierten Fahrzeugführung muss der Fahrer das Fahrerassistenzsystem dauerhaft überwachen und zu jedem Zeitpunkt in der Lage sein, die Fahrzeugführung komplett zu übernehmen. Ein Beispiel für ein Fahrerassistenzsystem, mit dem eine teilautomatisierte Fahrzeugführung ermöglicht wird, ist unter dem Namen Autobahnassistent bekannt. Der Autobahnassistent kann die Längs- und Querführung des Fahrzeugs in der spezifischen Situation einer Autobahnfahrt bis zu einer bestimmten Geschwindigkeit übernehmen. Der Fahrer muss allerdings jederzeit prüfen, ob der Autobahnassistent zuverlässig arbeitet, und zur sofortigen Übernahme, z.B. aufgrund einer Übernahmeaufforderung durch das Fahrerassistenzsystem, der Fahrzeugführung bereit sein.
- Auch bei einem als "hochautomatisiert" bezeichneten Automatisierungsgrad übernimmt ein Fahrerassistenzsystem sowohl die Quer- als auch die Längsführung des Fahrzeugs für einen gewissen Zeitraum und/oder in spezifischen Situationen. Im Unterschied zur teilautomatisierten Fahrzeugführung muss der Fahrer das Fahrerassistenzsystem nicht mehr dauerhaft überwachen. Sofern das Fahrerassistenzsystem selbstständig eine Systemgrenze erkennt und demgemäß eine sichere Fahrzeugführung durch das Fahrerassistenzsystem nicht mehr gewährleistet ist, fordert das Fahrerassistenzsystem den Fahrer auf, die Fahrzeugführung zu übernehmen. Als Beispiel für ein Fahrerassistenzsystem zur hochautomatisierten Fahrzeugführung ist ein Autobahn-Chauffeur denkbar. Ein Autobahn-Chauffeur könnte auf Autobahnen die automatische Längs- und Querführung des Fahrzeugs bis zu einer gewissen Geschwindigkeitsgrenze übernehmen, wobei der Fahrer den Autobahn-Chauffeur nicht zu jeder Zeit überwachen müsste. Sobald der Autobahn-Chauffeur eine Systemgrenze erkennen würde, z.B. eine nicht beherrschte Mautstelle oder unvorhergesehene Baustelle, würde er den Fahrer auffordern, innerhalb einer gewissen Zeitspanne die Fahrzeugführung zu übernehmen.
- Auch bei einem als "vollautomatisiert" bezeichnet einen Automatisierungsgrad übernimmt das Fahrerassistenzsystem die Quer- und Längsführung des Fahrzeuges, dies allerdings vollständig in einem definierten Anwendungsfall. Der Fahrer muss das Fahrerassistenzsystem nicht überwachen. Vor dem Verlassen des Anwendungsfalles fordert das Fahrerassistenzsystem den Fahrer mit einer ausreichenden Zeitreserve zur Übernahme der Fahraufgabe auf. Leistet der Fahrer dieser Aufforderung nicht folge, wird das Fahrzeug in einen risikominimalen Systemzustand versetzt. Sämtliche Systemgrenzen werden vom Fahrerassistenzsystem erkannt und das Fahrerassistenzsystem ist in allen Situationen in der Lage, einen risikominimalen Systemzustand einzunehmen. Ein Beispiel für ein Fahrerassistenzsystem, welches ein "vollautomatisiertes" Fahren ermöglicht, könnte ein Autobahnpilot sein. Dieser könnte bis zu einer oberen Geschwindigkeitsgrenze auf Autobahnen sowohl die Längs- als auch die Querführung des Fahrzeuges übernehmen. Der Fahrer müsste den Autobahnpiloten dabei nicht überwachen und könnte sich anderen Tätigkeiten, beispielsweise der Vorbereitung einer Besprechung, widmen und die Reisezeit somit bestmöglich nutzen. Sobald die Autobahn verlassen werden muss, würde der Autobahnpilot den Fahrer zur Übernahme auffordern. Reagiert der Fahrer auf diese Aufforderung nicht, so würde der Autobahnpilot das Fahrzeug herunterbremsen und es bevorzugt auf einen Parkplatz oder Seitenstreifen lenken, wo es bis zum Stillstand abgebremst und angehalten werden würde. Ein Verfahren zum vollautomatisierten Verfahren ist beispielsweise in der
US 8457827 B1 vorgeschlagen worden. - Sobald eine ständige Überwachung des Fahrerassistenzsystems nicht mehr vorgesehen ist, d.h. beim teil- oder hochautomatisierten Fahren, müssen relevante Objekte, z.B. andere Verkehrsteilnehmer oder Verkehrszeichen, mit hoher Zuverlässigkeit erkannt werden, die mit bisherigen, beispielsweise aus der
WO 2013/087067 A1 bekannten Verfahren, und von bisherigen Fahrerassistenzsystemen nicht immer gewährleistet werden kann. - Typischerweise kommt in einem modernen Fahrzeug mehr als ein Fahrerassistenzsystem zum Einsatz. Beispielsweise kann ein modernes Fahrzeug sowohl einen Notbremsassistent aufweisen, der bei einem auf die Fahrbahn springenden Reh rechtzeitig eine Vollbremsung einleitet, als auch eine Adaptive Cruise Control, mit dem die Geschwindigkeit des Fahrzeugs automatisch an die Geschwindigkeit des vorausfahrenden Fahrzeugs angepasst wird, so dass der Abstand zu letzterem im Wesentlichen konstant bleibt.
- Beide Systeme greifen beispielsweise auf Sensordaten eines Radarsystems oder eines Lasersystems, wie es beispielsweise in der
WO 2012/139796 A1 beschrieben ist, zu und führen unabhängig voneinander Berechnungen durch, um basierend auf den Sensordaten eine Objekterkennung durchzuführen. Die Realisierung neuer Fahrerassistenzfunktionen ist somit mit einem hohen Programmieraufwand verbunden. Weiter müssen bei einer Weiterentwicklung eines Sensorsystems sämtliche Fahrerassistenzfunktionen an dieses neue Sensorsystem angepasst werden. - Als "Fahrbahn" wird im Sinne dieser Anmeldung der Teil einer Straße verstanden, der mit Fahrzeugen befahren werden darf. Die Fahrbahn bildet den zusammenhängenden befestigten Teil der Straße. Eine Fahrbahn umfasst typischerweise mehrere "Fahrstreifen", welche auch als Fahrspuren bezeichnet werden. Es kann dabei vorgesehen sein, dass die mehreren Fahrstreifen von Fahrzeugen in der gleichen Richtung befahren werden. Ein Beispiel hierfür sind die baulich getrennten Fahrbahnen einer Autobahn, welche typischerweise zwei oder drei Fahrstreifen umfassen. Eine Fahrbahn kann allerdings auch zwei Fahrstreifen umfassen, auf welchen sich Fahrzeuge in entgegengesetzter Richtung bewegen. Die beiden Fahrstreifen können beispielsweise auf einer Landstraße durch eine weiße, gestrichelte Linie voneinander getrennt sein. Gerade bei kleineren, beispielsweise innerörtlichen, Straßen kann jedoch auch auf eine Fahrstreifenmarkierung verzichtet werden und die Fahrer der entgegenkommenden Fahrzeuge müssen ohne Hilfsmittel für die seitliche Separierung sorgen, um eine Kollision zu vermeiden. Die Fahrbahn kann vorliegend auch den Seitenstreifen und/oder Standstreifen umfassen.
- Die
DE 10 2007 044 761 A1 beschreibt ein Verfahren zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches, innerhalb dem sich das Fahrzeug mit hoher Wahrscheinlichkeit bewegen wird, wobei der Fahrschlauch beidseitig der Bewegungsbahn von jeweils einem Fahrschlauchrand begrenzt wird, wobei mindestens einer der Fahrschlauchränder und zusätzlich mindestens eine Fahrspurinformation, insbesondere eine die Fahrspur und den betreffenden Fahrschlauchrand repräsentierende Fahrspurmarkierung, ermittelt werden, anhand derer ein angepasster Fahrschlauch, insbesondere ein angepasster Fahrschlauchrand, bestimmt wird. - In der
EP 2 339 375 A2 wird beschrieben, dass durch Umfeldsensoren eines Kraftfahrzeugs zu Punkten im Umgebungsraum des Kraftfahrzeugs jeweils ermittelt wird, ob oder ob nicht der jeweilige Punkt von einem Gegenstand belegt ist. Diejenigen Punkte, zu denen ermittelt wurde, dass sie von keinem Gegenstand belegt sind, werden zusammengefasst, und es wird ein sogenanntes Freiraum-Objekt aufgrund eines Objektmodells zugeordnet. Das Freiraum-Objekt ist nach dem Vorbild von herkömmlichen, durch Bildverarbeitung erkannten gegenständlichen Objekten definiert, betrifft jedoch gerade nicht gegenständliche Objekte sondern den Raum, der von solchen Objekten frei ist. Durch die Umkehrung bisheriger Prinzipien soll die Führung eines Kraftfahrzeugs erleichtert werden, insbesondere in komplexen Stra-ßensituationen. - In der
DE 10 2005 002 504 A1 ist ein Fahrerassistenzsystem für Kraftfahrzeuge mit Sensorik zur Erfassung des Verkehrsumfelds, einer Prädiktionseinrichtung zur Vorhersage eines Fahrschlauches, den das Fahrzeug voraussichtlich befahren wird, und einer Assistenzfunktion, die auf den prädizierten Fahrschlauch zurückgreift, vorgeschlagen worden, wobei die Prädiktionseinrichtung dazu ausgebildet ist, mehrere Fahrschlauchhypothesen zeitgleich zu verfolgen und der Assistenzfunktion zur Verfügung zu stellen. Die gleichzeitige Verfolgung mehrerer Fahrschlauchhypothesen ist mit einem hohen Rechenaufwand verbunden. - Hiervon ausgehend lag der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren zur Erstellung eines Umfeldmodells anzugeben, welches den Aufwand zur Erstellung neuer Fahrerassistenzsysteme verringert und eine einfachere Integration neuer Sensorsysteme ermöglicht.
- Erfindungsgemäß wurde dieses Problem durch ein Verfahren zur Erstellung eines Umfeldmodells gemäß Patentanspruch 1, eine Umfeldmodelleinheit gemäß Patentanspruch 13, ein Fahrerassistenzsystem gemäß Patentanspruch 14 und ein Fahrzeug gemäß Patentanspruch 15 gelöst. Vorteilhafte Ausgestaltungen des Verfahrens sind in den auf Patentanspruch 1 rückbezogenen Patentansprüchen 1 bis 12 beschrieben.
- Das erfindungsgemäße Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeuges ist dadurch gekennzeichnet, dass basierend auf Objekten und/oder Freiraumgrenzen und/oder Fahrbahnbegrenzungen eine Gasse ermittelt wird, wobei die Gasse den frei befahrbaren Bereich um das Fahrzeug herum angibt, dass die Gasse mindestens ein Gassensegment umfasst, dass das Gassensegment mindestens eine Gassensegmentgrenze, insbesondere eine vordere Gassensegmentgrenze, eine hintere Gassensegmentgrenze, eine linke Gassensegmentgrenze und eine rechte Gassensegmentgrenze, umfasst, dass zu der Gassensegmentgrenze der fahrzeugbezogene Abstand bestimmt wird, und dass die Gasse einem Fahrassistenzsystem zur Verfügung gestellt wird.
- Mit dem beanspruchten Verfahren kann Fahrerassistenzsystemen eine abstrakte Darstellung des Umfelds des Fahrzeugs zur Verfügung gestellt werden. Der durch die Gasse repräsentierte Raum kann zum Manövrieren des Fahrzeuges genutzt werden. Verbesserungen bei der Ermittlung der Gasse kommen dabei sämtlichen Fahrerassistenzsystemen, welche auf das mittels des Verfahrens bereitgestellte Umfeldmodell zugreifen, zugute. Insbesondere können neue Sensorsysteme integriert werden, ohne dass eine Veränderung bzgl. der Fahrerassistenzsysteme notwendig wird. Die Abstrahierung der von Sensorsystemen zur Verfügung gestellten Information reduziert darüber hinaus den Programmieraufwand, welcher benötigt wird, um vielen Fahrerassistenzsystemen den Zugriff auf eine Vielzahl von Sensorsystemen zu ermöglichen.
- In einer ersten Ausgestaltung des Verfahrens zur Erstellung eines Umfeldmodells werden Sensordaten mindestens eines Sensorsystems empfangen, basierend auf den Sensordaten Objekte, Freiraumgrenzen und Fahrbahnbegrenzungen ermittelt und basierend auf den ermittelten Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen die Gasse ermittelt.
- Die im Rahmen des Verfahrens benötigten Informationen zu den Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen können mithilfe der Sensordaten unterschiedlicher Sensorsysteme gewonnen werden. Als Sensorsysteme kommen beispielsweise Radarsysteme, Lasersysteme, Ultraschallsysteme oder Kamerasysteme benutzt werden. Radarsysteme können auch bei Niederschlägen oder im Nebel Objekte erfassen. Ein Lasersystem ist beispielsweise in der
WO 2012/139796 A1 beschrieben Lasersysteme können sich durch eine besonders hohe Reichweite des Erfassungsbereichs auszeichnen. Die Erfassungsgenauigkeit von Ultraschallsensoren, wie sie beispielsweise in derWO 2013/072167 A1 beschrieben sind, kann im Nahbereich besonders hoch sein. Kamerasysteme können eine gegenüber anderen Sensorsystemen höhere Auflösung aufweisen. Infrarotkamerasysteme können es ermöglichen lebende Objekte von unbelebten Objekten zu unterscheiden. Kamerasysteme können zu Stereo-Kamerasystemen kombiniert werden, um eine Abstandsinformation zu erhalten. - Als Sensordaten können im hiesigen Sinn jedoch auch Daten verstanden werden, welche von einem Sensorsystem im Sinne eines Hintergrundsystems bereitgestellt werden. Dabei kann es sich zum Beispiel um Kartenmaterial handeln, in welchem der Verlauf von Fahrbahnen und/oder Fahrstreifen eingetragen ist.
- Im Rahmen des Verfahrens kann in erster Linie auf Sensordaten von Sensorsystemen des Fahrzeugs zurückgegriffen werden, dessen Umgebung modelliert werden soll. Ebenso können allerdings auch auf Sensordaten anderer Fahrzeuge verwendet werden. Ebenso ist es denkbar, auf Sensordaten infrastruktureller Sensorsysteme, z.B. Ampeln, Verkehrsüberwachungskameras, Nebelsensoren oder Fahrbahnkontaktschleifen, zurückzugreifen. Die Daten können dabei drahtlos von Fahrzeug zu Fahrzeug oder zunächst an ein Hintergrundsystem übertragen werden.
- Ferner sieht ein Ausführungsbeispiel des Verfahrens zur Erstellung eines Umfeldmodells vor, dass die Objekte, Freiraumgrenzen und Fahrbahnbegrenzungen empfangen werden, und dass basierend auf den empfangenen Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen die Gasse ermittelt wird.
- Das Verfahren kann vorsehen, dass Objekte, Freiraumgrenzen und Fahrbahnbegrenzungen nicht erst auf der Basis von Sensordaten eines Sensorsystems ermittelt werden, sondern von einem Vorverarbeitungssystem bereits zur Verfügung gestellt werden. Das Vorverarbeitungssystem kann dabei im Fahrzeug, dessen Umgebung modelliert werden soll, angeordnet sein, und Sensordaten von Sensorsystemen dieses Fahrzeuges oder Sensordaten eines Sensorsystems eines anderen Fahrzeuges oder eines Hintergrundsystems verarbeiten. Ebenso ist es denkbar, dass die Objekte, Freiraumgrenzen und Fahrbahnbegrenzungen direkt von anderen Fahrzeugen oder einem Hintergrundsystem bereitgestellt werden.
- Nach einer anderen Weiterbildung des Verfahrens zur Erstellung eines Umfeldmodells wird das Gassensegment basierend auf Fahrstreifenbegrenzungen ermittelt.
- Die meiste Zeit bewegen sich Fahrzeuge auf einem Fahrstreifen und wechseln diesen eher selten. Im Regelfall sind für ein fahrendes Fahrzeug daher nur Objekte auf dem zurzeit befahrenen Fahrstreifen relevant. Objekte, Freiraumgrenzen, welche anderen Fahrstreifen zugeordnet sind, können daher für viele Fahrerassistenzfunktionen ausgeblendet werden. Beispielsweise kann eine Adaptive Cruise Control dafür ausgelegt sein, ein Fahrzeug durch Lenkbewegungen innerhalb des Fahrstreifens zu halten und den Abstand zu einem vorausfahrenden Objekt bis zu einer vorgewählten Höchstgeschwindigkeit im Wesentlichen konstant zu halten. In diesem Fall wird eine Information über Objekte außerhalb des Fahrstreifens nicht benötigt und auf Gassensegmente außerhalb der Fahrstreifenbegrenzung muss von der Adaptive Cruise Control nicht zugegriffen werden. Eine fahrstreifenbasierte Gasse, d.h. eine Gasse, bei welcher die Gassensegmente basierend auf Fahrstreifenbegrenzungen ermittelt wird, erweist sich daher in vielen Situationen als günstig im Hinblick auf die zur Verfügung zu stellenden Rechen- und Speicherressourcen.
- Im Rahmen des Verfahrens zur Erstellung eines Umfeldmodells können Abstände der Gassensegmentgrenzen nicht nur fahrzeugbezogen, sondern alternativ oder ergänzend auch fahrstreifenbezogen angegeben werden. Insbesondere können die Abstände zu den seitlichen Gassensegmentgrenzen bezogen auf eine Mittellinie des Fahrstreifens angegeben werden.
- Gemäß einer Ausgestaltung des Verfahrens zur Erstellung eines Umfeldmodells ist wenigstens ein erstes Gassensegment einem vom Fahrzeug befahrenen Fahrstreifen zugeordnet, wenigstens ein zweites Gassensegment einem nicht vom Fahrzeug befahrenen Fahrstreifen und Fahrstreifen, wobei das erste Gassensegment und das zweite Gassensegment eine jedenfalls teilweise gemeinsame Gassensegmentgrenze aufweisen.
- Die Berücksichtigung von Gassensegmenten die einem nicht vom Fahrzeug aktuell befahrenen Fahrstreifen zugeordnet sind, kann es einem Fahrerassistenzsystem ermöglichen Ausweichempfehlungen zu geben oder ein Ausweichen auf einen anderen Fahrstreifen automatisiert durchzuführen. Beispielsweise kann auf einer Landstraße das zweite Gassensegment einem Fahrstreifen zugeordnet sein, der typischerweise von anderen Fahrzeugen in die Gegenrichtung befahren wird. Die Bestimmung eines diesem zugeordneten Gassensegmentes kann es einem Fahrerassistenzsystem erlauben festzustellen, ob ein Fahrstreifenwechsel möglich ist und ein auf dem aktuellen Fahrstreifen vor dem Fahrzeug befindlicher, langsamer Verkehrsteilnehmer, beispielsweise ein Landwirtschaftsfahrzeug, überholt werden kann.
- Ferner wird bei dem Verfahren zur Erstellung des Umfeldmodells zu wenigstens einer Gassensegmentgrenze die Geschwindigkeit der Änderung des fahrzeugbezogenen Abstandes bestimmt.
- Die Angabe der Geschwindigkeit der Änderung des fahrzeugbezogenen Abstandes, d.h. der ersten Ableitung des fahrzeugbezogenen Abstandes, kann es einem Fahrerassistenzsystem ermöglichen, die Beschleunigung des Fahrzeugs durch Gasgeben (positive Beschleunigung) oder Bremsen (negative Beschleunigung) vorausschauender anzupassen. Im Fall einer sehr geringen Änderungsgeschwindigkeit kann beispielsweise zunächst auf eine Beschleunigung des Fahrzeuges verzichtet und dessen Geschwindigkeit zunächst konstant gehalten werden, um den Passagieren des Fahrzeuges eine möglichst komfortable Fahrt zu ermöglichen. Erst wenn gleichzeitig der fahrzeugbezogene Abstand eine vom gewünschten Abstand zu große Abweichung zeigt, wird in diesem Fall eine (positive oder negative) Beschleunigung des Fahrzeuges veranlasst. Sofern die Änderungsgeschwindigkeit sehr hoch ist, kann jedoch auch bereits eine Beschleunigung veranlasst werden, ohne dass eine vorherbestimmte Abweichung vom gewünschten Abstand über- oder unterschritten worden ist. Beispielsweise kann eine Notbremsung eines vorausfahrenden Personenkraftfahrzeuges früher erkannt werden und eine Notbremsung des eigenen Fahrzeuges bereits ausgelöst werden, bevor der Sicherheitsabstand unterschritten wird. Auf diese Weise kann ein Zusammenstoß mit dem vorausfahrenden Fahrzeug mit höherer Wahrscheinlichkeit verhindert werden, da eine längere Strecke zum Abbremsen zur Verfügung steht. Ebenso kann durch eine frühzeitigere Beschleunigung der absolute Betrag der Beschleunigung geringer ausfallen und der Fahrkomfort für die Passagiere gesteigert werden.
- Nach einer anderen Weiterbildung des Verfahrens zur Erstellung eines Umfeldmodells wird das Gassensegment wird zu wenigstens einer Gassensegmentgrenze die Beschleunigung der Änderung des fahrzeugbezogenen Abstandes bestimmt.
- Die Bestimmung der Beschleunigung der Änderung des fahrzeugbezogenen Abstandes kann eine noch präzisere und vorausschauendere Regelung der Beschleunigung des Fahrzeuges ermöglichen.
- Vergleichbar zur Bestimmung der Geschwindigkeit bzw. Beschleunigung der Änderung des fahrzeugbezogenen Abstandes einer Gassensegmentgrenze können auch die Geschwindigkeit bzw. Beschleunigung der Änderung des fahrstreifenbezogenen Abstandes einer Gassensegmentgrenze bestimmt werden. Neben den oben in Bezug auf die Bestimmung der Geschwindigkeit bzw. Beschleunigung der Änderung des fahrzeugbezogenen Abstands der Gassensegmentgrenze genannten Vorteilen kann die zusätzliche oder alternative Bestimmung der Geschwindigkeit bzw. Beschleunigung der Änderung des fahrstreifenbezogenen Abstandes eine fahrzeugunabhängigere Ermittlung der Gasse ermöglichen. Eine fahrzeugunabhängigere Gasse kann vorteilhaft sein, wenn sie einem anderen Fahrzeug zur Verfügung gestellt werden soll.
- Gemäß einer Ausgestaltung des Verfahrens wird zu wenigstens einer Gassensegmentgrenze die Art der Gassensegmentgrenze bestimmt.
- Beispielsweise kann angegeben werden, ob die Gassensegmentgrenze durch einen Radfahrer oder die Fahrbahnbegrenzung vorgegeben wird. Beim Vorbeifahren an einem Radfahrer ist ein Sicherheitsabstand von 1,5 m einzuhalten. Hingegen kann an einer Fahrbahnbegrenzung grundsätzlich ohne Sicherheitsabstand vorbeigefahren werden. Weiter kann die Art der Gassensegmentgrenze Einfluss auf die Entscheidung haben, ob ein riskantes Ausweichmanöver um ein Hindernis herum durchgeführt wird oder besser kontrolliert in das Hindernis gefahren wird. Sofern das Hindernis beispielsweise ein Kraftfahrzeug ist, kann es sinnvoller sein, die materiellen Schäden eines Zusammenstoßes in Kauf zu nehmen und den Fahrer des Fahrzeuges nicht dem Risiko eines Ausweichmanövers mit ungewissem Ausgang auszusetzen. Andererseits kann das Risiko eines Ausweichmanövers in Kauf genommen werden, wenn das Hindernis ein Fußgänger ist, dessen Gesundheit bei einem Zusammenstoß substantiell in Gefahr gebracht würde. Indem zu jeder Gassensegmentgrenze die Art der Grenze angegeben wird, können Fahrerassistenzsysteme somit individueller auf die spezifische Fahrsituation reagieren.
- Ferner sieht eine Weiterbildung des Verfahrens zur Erstellung eines Umfeldmodells vor, dass das Gassensegment und der fahrzeugbezogene Abstand der Gassensegmentgrenze unter Berücksichtigung eines Fahrbahnverlaufes und/oder eines Fahrstreifenverlaufes bestimmt werden.
- Typischerweise weisen Fahrbahnen bzw. Fahrstreifen nicht nur gerade, sondern auch gekrümmte Abschnitte auf. Die Fahrzeuge folgen in der Regel diesen gekrümmten Fahrbahnen bzw. Fahrstreifen. Für Fahrerassistenzsysteme ist daher in der Regel von größerer Bedeutung, ob sich ein Fahrzeug in Bezug auf den Fahrbahnverlauf und/oder dem Fahrstreifenverlauf oder in gerader Linie vor ihm befindet. Sofern das Gassensegment und der fahrzeugbezogene Abstand der Gassensegmentgrenze unter Berücksichtigung eines Fahrbahnverlaufes und/oder eiens Fahrstreifenverlaufes bestimmt werden, kann beispielsweise ein ringsegmentförmiges Fahrbahnelement und/oder Fahrstreifenelement in ein rechteckiges Gassensegment transformiert werden und zu diesem rechteckigen Gassensegment die Krümmung der Mittellinie angegeben werden. Rechteckige Gassensegmente können die Weiterverarbeitung durch Fahrerassistenzsysteme vereinfachen.
- Nach einer anderen Weiterbildung des Verfahrens zur Erstellung eines Umfeldmodells wird das Gassensegment und der fahrzeugbezogene Abstand der Gassensegmentgrenze unter Berücksichtigung eines prognostizierten Fahrwegsverlaufes bestimmt.
- Gemäß einem Ausführungsbeispiel des Verfahrens zur Erstellung eines Umfeldmodells wird zu dem Gassensegment wenigstens ein Konfidenzwert angegeben, wobei der Konfidenzwert die Wahrscheinlichkeit angibt, mit der das Gassensegment frei befahrbar ist.
- Nicht jedes Objekt, welches sich auf einer Fahrbahn bzw. einem Fahrstreifen befindet ist notwendigerweise relevant, beispielsweise kann über einen Pappkarton einfach drübergefahren werden. Nicht immer wird jedoch ein Pappkarton mit hundertprozentiger Sicherheit erkannt. So könnte es sich bei dem von einem Sensorsystem detektierten Objekt auch um einen Blumentopf handeln, der beim Überfahren große Schäden am Fahrzeug verursachen könnte. Bei einem geringen Konfidenzwert kann es erforderlich werden, dass der Fahrer eine dauerhafte Überwachung und ggf. sogar eine eigenständige Längsführung und Querführung des Fahrzeuges übernimmt. Andererseits kann bei einem sehr hohen Konfidenzwert in einen hoch- oder sogar vollautomatisierten Automatisierungsgrad übergegangen werden.
- Ferner sieht eine Weiterbildung des Verfahrens zur Erstellung eines Umfeldmodells vor, dass zum fahrzeugbezogenen Abstand der Gassensegmentgrenze und/oder zur Geschwindigkeit der Änderung des fahrzeugbezogenen Abstandes der Gassensegmentgrenze und/oder zur Beschleunigung der Änderung des fahrzeugbezogenen Abstandes der Gassensegmentgrenze eine Standardabweichung angegeben wird.
- Angaben zur Standardabweichung können es erlauben, die Regelungsgrenzen eines Fahrerassistenzsystems entsprechend anzupassen. Wenn der Abstand der Gassensegmentgrenze vom Fahrzeug sehr genau bekannt ist, d.h. diesem eine geringe Standardabweichung zugeordnet ist, kann beispielsweise ein Parkassistent viel näher an das Hindernis heranfahren. Wenn die Standardabweichung dagegen groß ist, wird zur Vermeidung eines Zusammenstoßes ein gewisser Sicherheitsabstand beibehalten.
- Im Hinblick auf die Umfeldmodelleinheit wurde die oben beschriebene Aufgabe durch eine Umfeldmodelleinheit gelöst, wobei die Umfeldeinheit eine Empfangseinrichtung zum Empfang von Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen und/oder von Sensordaten mindestens eines Sensorsystems aufweist, und wobei die Umfeldmodelleinheit dazu eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen.
- Bezüglich des Fahrerassistenzsystems besteht die Lösung der oben hergeleiteten Aufgabe in einem Fahrerassistenzsystem, welches dazu eingerichtet ist, eine Gasse von einer, insbesondere voranstehend beschriebenen, Umfeldmodelleinheit zu empfangen, und welches dazu eingerichtet ist, mindestens einen Betriebsparameter eines Fahrzeugs, insbesondere dessen Geschwindigkeit und/oder dessen Abstand zu einem vorausfahrenden Verkehrsteilnehmer, basierend auf der Gasse zu regeln.
- Schließlich besteht eine Lösung der oben angegebenen Aufgabe in einem Fahrzeug, welches ein Sensorsystem zur Erfassung des Umfelds des Fahrzeugs sowie eine voranstehend beschriebene Umfeldmodelleinheit und/oder ein voranstehend beschriebenes Fahrerassistenzsystem aufweist.
- Bei dem Fahrzeug kann es sich insbesondere um ein motorisiertes Individualverkehrsmittel handeln. In erster Linie kommen dabei Personenkraftwagen in Betracht. Es ist aber auch denkbar, dass es sich bei dem Fahrzeug um ein Motorrad handelt.
- Nachfolgend werden Ausführungsbeispiele anhand von Figuren näher erläutert. Dabei zeigt
- Figur 1
- eine Veranschaulichung des Umfeldmodells;
- Figur 2
- ein Ausführungsbeispiel einer Gasse;
- Figur 3
- ein weiteres Ausführungsbeispiel einer Gasse;
- Figur 4
- ein anderes Ausführungsbeispiel einer Gasse;
- Figur 5
- ein ferneres Ausführungsbeispiel einer Gasse;
- Figur 6
- ein Ausführungsbeispiel einer Gasse für einen gekrümmten Fahrbahnverlauf; und
- Figur 7
- ein Ausführungsbeispiel für eine objektbasierte Gasse.
- In der
Figur 1 ist ein Beispiel für eine abstrakte Darstellung des Zusammenwirkens eines Umfeldmodells 101 mit eine Gruppe 102 von Sensorsystemen 103, 104, 105, 106 und einem Fahrerassistenzsystem 107 gegeben, mit welchem verschiedene Kundenfunktionen realisiert werden können. - Bei dem Sensorsystem 103 kann es sich beispielsweise um einen Radarsensor, bei dem Sensorsystem 104 um ein Kamerasystem, bei dem Sensorsystem 105 um einen Ultraschallsensor und bei dem Sensorsystem 106 um eine digitale Karte handeln.
- Über eine Schnittstelle 108 kommunizieren die Sensorsysteme 103, 104, 105, 106 mit der Umfeldmodelleinheit 101. Über die Schnittstelle 108 werden beispielsweise Informationen über erkannte Objekte, Freiraumgrenzen, Fahrbahnbegrenzungen, Fahrstreifenbegrenzungen, Verkehrsschilder oder Kartendaten übermittelt.
- Im Rahmen des Umfeldmodells 101 werden die Sensordaten der verschiedenen Sensorsysteme 103, 104, 105, 106 zunächst fusioniert und verifiziert. Im Rahmen der Fusion kann z.B. erkannt werden, dass ein vom Sensorsystem 103 erkanntes Objekt mit einem vom Sensorsystem 104 erkannten Objekt übereinstimmt, so dass nicht zwei Objekte im weiteren Verlauf getrennt voneinander betrachtet werden müssen. Es wird mithin eine Objektfusion 110 durchgeführt. Dabei kann zu dem fusionierten Objekt vermerkt werden, dass es von zwei Sensorsystemen 103 und 104 erkannt worden ist. Ebenfalls können von verschiedenen Sensorsystemen 103, 104, 105, 106 erkannte Freiraumgrenzen im Rahmen eines Teilmodells 111 zu einer gemeinsamen Freiraumgrenze vereinigt werden. Ein Sensorsystem 103 kann beispielsweise erkennen, dass der in Fahrtrichtung des Fahrzeuges linke Freiraum begrenzt ist, und ein anderes Sensorsystem 104 den hinter dem Fahrzeug liegenden Bereich abdecken. Weiter können im Rahmen der Umfeldmodells die linksseitig und rechtsseitig des Fahrzeugs durch unterschiedliche Sensorsysteme erkannten Fahrbahnmarkierungen ausgewertet und in einem Teil 112 eine zusammenhängende Beschreibung des Fahrstreifenverlaufes abgeleitet werden.
- Die Teilmodelle 110, 111, 112 stellen dabei eine erste Ebene 113, eine Sensorfusionsebene, des Umfeldmodells 101 dar. Die in dieser Ebene gewonnenen, verifizierten und fusionierten Informationen zu den Objekten, den Freiraumgrenzen, Fahrbahnbegrenzungen, Fahrstreifenbegrenzungen, Verkehrsschildern, Karten werden über eine Ausgabeschnittstelle 114 einer zweiten Ebene 114 des Umfeldmodells und einem Hintergrundsystem 109, einem sogenannten Back End, zur Verfügung gestellt werden, so dass die gewonnenen Informationen auch von anderen Fahrzeugen genutzt werden können. In der zweiten Ebene 114 des Umfeldmodells kann eine sogenannte Szenenbeschreibung vorgenommen werden. Dabei kann in einem ersten Teilmodell 115 die Bewegungshistorie eines erkannten Objektes nachvollzogen werden. In einem anderen Teilmodell 116 kann das Objekt klassifiziert werden. Beispielsweise kann aufgrund historischer Daten aus dem Hintergrundsystem 109 festgestellt werden, ob es sich um ein Fahrzeug oder einen Fußgänger handelt. In einem anderen Teilmodell 117 kann beispielsweise eine Gasse bestimmt werden, wobei den frei befahrenen Bereich um das Fahrzeug herum angibt.
- Die im Rahmen des Umfeldmodells 101 gewonnenen Informationen können im Folgenden mittels eines Fahrerassistenzsystems 107 verschiedene Assistenzfunktionen 118, 119, 120 realisiert werden.
- In der
Figur 2 ist ein erstes Beispiel für eine basierend auf Objekten 201, 202, 203, Fahrbahnbegrenzungen 204, 205 sowie Fahrstreifenbegrenzungen 213, 214 ermittelte Gasse, die den frei befahrenen Bereich um ein Fahrzeug 206 angibt, dargestellt. Die Gasse weist vier Gassensegmente 207, 208, 209, 210 auf. Die beiden Gassensegmente 207, 208 befinden sich auf dem gleichen Fahrstreifen 211 wie das Fahrzeug 206, welcher auch als ego-Fahrstreifen oder ego-Fahrspur bezeichnet wird. Demgegenüber sind die beiden Gassensegmente 209 und 210 auf dem Fahrstreifen 211 links und auf dem Fahrstreifen 212 rechts des Fahrzeuges 206. Das Gassensegment 207 wird nach hinten hin durch das Fahrzeug 206 und nach vorne hin durch das Objekt 202 begrenzt, wobei es sich bei dem Objekt 202 um ein Fahrzeug handelt. Seitlich wird das Gassensegment 207 durch die Fahrstreifenbegrenzungen 213, 214 begrenzt. Zur vorderen Gassensegmentgrenze 215 des Gassensegments 207 wird der fahrzeugbezogene Abstand 216 bestimmt. Das Gassensegment 208 ist nach hinten durch eine Freiraumgrenze begrenzt. Die Freiraumgrenze ist in dem gezeigten Ausführungsbeispiel durch die Reichweite des den Rückraum des Fahrzeugs 206 überwachenden, in derFigur 2 nicht dargestellten Sensorsystems vorgegeben. Auch die seitlichen Gassensegmente 209 und 210 werden nach vorne jeweils durch ein Objekt 201, 203 in Form eines Fahrzeuges begrenzet. Nach rechts bzw. links werden die Gassensegmente 209 und 210 von den Fahrstreifenbegrenzungen 213, 214 und nach links bzw. rechts von den Fahrbahnbegrenzungen 204, 205. Die Sensorreichweite gibt nach hinten wiederum die Freiraumgrenze als Gassensegmentgrenze der Gassensegmente 209 und 210 vor. - In dem in der
Figur 2 gezeigten Ausführungsbeispiel steht sowohl links als auch rechts ein Gassensegment 209, 210 zur Verfügung innerhalb dessen sich das Fahrzeug 206. Ein Fahrerassistenzsystem in Form eines Lateral Collision Avoidance Systems (LCA-Systems), welchem die Gasse und somit die Information über die Gassensegmente 206, 207, 208, 209 zur Verfügung gestellt werden, kann somit bei einem beabsichtigten Fahrstreifenwechsel von einer Zusammenstoßwarnung absehen. - Das in der
Figur 3 dargestellte Gassensegment 301 weist eine Breite 302 und eine Länge 303. Die Angabe einer Breite 302 eines Gassensegments 301 ermöglicht einem Fahrerassistenzsystem eine besonders einfache und schnelle erste Prüfung, ob der grundsätzlich befahrbare Raum auch ausreichend breit für das Fahrzeug 304 ist, mit welchem in dieses Gassensegment 301 gefahren werden soll. Fällt dies Prüfung negativ aus, können weitere aufwendigere Prüfungsschritte (Liegt ein ausreichender Sicherheitsabstands vor? Verringert sich der Abstand der vorderen Gassensegmentgrenze 305?, etc.) entfallen. In vergleichbarer Weise kann die Angabe einer Länge 303 eines Gassensegments 301 ein schnelle Prüfung ermöglichen, ob das Gassensegment 301 ausreichend lang für die Aufnahme des Fahrzeugs 304 ist. Ein Fahrerassistenzsystem in Form eines Parkassistenten kann auf dieser Datenlage beispielsweise schnell feststellen, ob eine Lücke zwischen zwei am Rand der Fahrbahn geparkten Fahrzeugen ausreicht, um das Fahrzeug 304 in dieser Lücke zu parken. Zu der Breite 302 und der Länge 303 des Gassensegments 301 können weiter die Standardabweichungen angegeben werden. Auf der Grundlage der Standardabweichungen können Fahrerassistenzsysteme Sicherheitsmargen, insbesondere Sicherheitsabstände berechnen. Zu dem Gassensegment 301 kann weiter ein Konfidenzwert angegeben werden, der die Sicherheit angibt, mit der von dem Gassensegment 301 repräsentierte Fahrbahnbereich befahren werden kann. Das Gassensegment 301 hat rechteckige Abmessungen. Ein rechteckiges Gassensegment 301 kann die Weiterverarbeitung durch Fahrerassistenzsysteme vereinfachen. Grundsätzlich ist es ebenfalls denkbar, dass die Gasse auch nicht rechteckige Gassensegmente umfasst, um Straßensituationen gerecht zu werden, die nur schlecht als rechteckiges Gassensegment repräsentiert werden können. Das rechteckige Gassensegment 301 umfasst vier Gassensegmentgrenzen 305, 306, 307 und 308. Zu jeder Gassensegmentgrenze 305, 306, 307, 308 kann die Art der Begrenzung angegeben werden. Zu den Gassensegmentgrenzen 305, 307 kann z.B. vermerkt sein, dass die Gassensegmentgrenzen sind, die durch ein Fahrstreifenmarkierung vorgegeben sind. Demgegenüber kann zu den Gassensegmentgrenzen 306, 308 als Art der Grenze notiert sein, dass diese durch ein Objekt gebildet wird. Weiter kann vorgesehen sein, dass eine oder alle Gassensegmentgrenze 305, 306, 307, 308 auch einen Verweis auf das spezifische Objekt aufweisen. Benötigt ein Fahrerassistenzsystem beispielsweise bei einer Gassensegmentgrenze spezifischere Informationen über das begrenzende Objekt kann auf diese Weise die Beschaffung der Information über das Objekt vereinfacht werden. Ein Fahrerassistenzsystem kann beispielsweise unterschiedlich reagieren, je nachdem, ob es sich bei dem Objekt um einen Fußgänger oder einen Radfahrer handelt. Bei einem Radfahrer ist beispielsweise mit geringerer Wahrscheinlichkeit damit zu rechnen, dass er seine Bewegungsrichtung abrupt in eine Richtung senkrecht zur bisherigen Richtung ändert. Er wird vielmehr einen mehr oder weniger großen Radius durchfahren. Bei einem Fußgänger ist das Risiko einer plötzlichen Änderung der Bewegungsrichtung demgegenüber als wesentlich höher einzustufen. - In der
Figur 4 ist ein weiteres Gassensegment 401 dargestellt. Das Gassensegment 401 weist vier Gassensegmentgrenzen 402, 403, 404, 405 auf. Die Gassensegmentgrenze 402 ist dabei durch die Fahrstreifenmarkierung 406, die Gassensegmentgrenze 403 durch eine Freiraumgrenze, bedingt durch eine beschränkte Sensorreichweite, die Gassensegmentgrenze 404 durch ein Objekt 407 und die Gassensegmentgrenze 405 ebenfalls durch das Objekt 407 vorgegeben. Die Abstände zu den Gassensegmentgrenzen sind einmal fahrzeugbezogen (408, 409) und einmal fahrstreifenbezogen (410, 411) angegeben. Bei den fahrzeugbezogenen Abständen 408, 409 wird der Abstand der jeweiligen Gassensegmentgrenze 402, 405 bezogen auf die Vorderkante des Fahrzeuges 412, dessen Umfeld modelliert werden soll, angegeben. Die fahrstreifenbezogenen Abstände 410 und 411 werden von der Mittellinie 413 des Fahrstreifens an gemessen. -
Figur 5 stellt ein weiteres Ausführungsbeispiel einer Gasse dar. Der von der Gasse repräsentierte Fahrbahnabschnitt weist drei Fahrstreifen 501, 502, 03, auf denen sich neben dem Fahrzeug 504, dessen Umgebung modelliert werden soll, noch insgesamt sieben weitere Fahrzeuge 505, 506, 507, 508, 509, 510, 511 befinden. Zudem sind punktiert Freiraumgrenzen 512, 513 dargestellt. Die in derFigur 5 gezeigten Freiraumgrenzen 512, 513 können wir oben im Hinblick auf dieFigur 1 erläutert im Rahmen der Erstellung des Umfeldmodells, beispielsweise zu einer Linie, fusioniert werden. Im vorliegenden Fall umfasst die Gasse ausschließlich Gassensegmente 514, 515, 516, welche dem vom Fahrzeug 504 befahrenen Fahrstreifen 502 zugeordnet sind. Ein Bereich des Fahrstreifens 502 wird vom Objekt bzw. Fahrzeug 506 verdeckt, so dass sich eine Sichtbarkeitsverdeckung 517 ergibt. Gassensegmente, welche sich in Sichtbarkeitsverdeckungen befinden, werden aus der Gasse herausgenommen. - In der
Figur 6 ist ein Beispiel für eine gekrümmte Fahrbahn 601 dargestellt. Die Fahrbahn 601 weist drei Fahrstreifen 602, 603, 604 auf, wobei der mittlere Fahrstreifen 603 von dem Fahrzeug 605 befahren wird, dessen Umfeld modelliert werden soll. Die Fahrbahn 601 wird durch zwei Fahrbahnbegrenzungen 606, 607 und der Fahrstreifen 603 durch zwei Fahrstreifenbegrenzungen 608, 609 begrenzt. Das Umfeld des Fahrzeugs 605 kann durch eine Gasse modelliert werden, welche Gassensegmente 610, 611 umfasst. Das Gassensegment 610 wird dabei nach vorne durch ein Objekt 612, ein Fahrzeug, und das Gassensegment 611 nach vorne durch eine Freiraumgrenze begrenzt. Die fahrzeugbezogenen Abstände 613, 614 werden dabei entlang der Mittellinie des Fahrstreifens 615 angegeben, wobei es sich bei der Mittellinie des Fahrstreifens 615 insbesondere um eine Klothoide handeln kann. Die fahrstreifenbezogenen Abstände 616, 617, 618, 619 der Gassensegmente 611 werden senkrecht zur Mittellinie angegeben. Zusätzlich wird zu jedem Gassensegment 611 ein Maß für die Krümmung der Mittellinie angegeben. -
Figur 7 zeigt ein Beispiel für ein objektbezogenes Gassenmodell. Die Gasse umfasst drei Gassensegmente 701, 702, 703. In seitliche Richtung werden die Gassensegmente 701, 702, 703 nur von den Fahrbahnbegrenzungen 704, 705 und Objekten 706, 707 begrenzt. Die Anzahl der Gassensegmente 701, 702, 703 kann auf Gassensegmente bis zum ersten Objekt 706, bis zum zweiten Objekt 707, usw. begrenzt werden. Auf diese Weise kann die Komplexität der Berechnungen reduziert werden. Die Abstände zu den seitlichen Gassensegmentgrenzen 708, 709, 710, 711, 712, 713 sind in dem gezeigten Beispiel bezogen auf die Mittellinie der Fahrbahn und die Abstände der vorderen und hinteren Gassensegmentgrenzen in Bezug auf die Vorderachse des Fahrzeugs 714, dessen Umgebung modelliert werden soll.
Claims (15)
- Verfahren zur Erstellung eines Umfeldmodells (101) eines Fahrzeuges (206), wobei basierend auf Objekten (201, 202, 203) und/oder Freiraumgrenzen und/oder Fahrbahnbegrenzungen (204, 205) eine Gasse (207, 208, 209, 210) ermittelt wird, wobei die Gasse (207, 208, 209, 210) den frei befahrbaren Bereich um das Fahrzeug (206) herum angibt, wobei die Gasse (207, 208, 209, 210) mindestens ein Gassensegment (207) umfasst, wobei das Gassensegment (207) mindestens eine Gassensegmentgrenze (215), insbesondere eine vordere Gassensegmentgrenze (215), eine hintere Gassensegmentgrenze, eine linke Gassensegmentgrenze und eine rechte Gassensegmentgrenze, umfasst, wobei zu der Gassensegmentgrenze (215) der fahrzeugbezogene Abstand (216) bestimmt wird, und wobei die Gasse einem Fahrerassistenzsystem (107) zur Verfügung gestellt wird, dadurch gekennzeichnet, dass zu wenigstens einer Gassensegmentgrenze (215) die Geschwindigkeit der Änderung des fahrzeugbezogenen Abstandes (216) bestimmt wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach Patentanspruch 1, dadurch gekennzeichnet, dass Sensordaten mindestens eines Sensorsystems (103, 104, 105, 106) empfangen werden, dass basierend auf den Sensordaten (103, 104, 105, 106) Objekte, Freiraumgrenzen und Fahrbahnbegrenzungen (204, 205) ermittelt werden, dass basierend auf den ermittelten Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen (204, 205) die Gasse (207, 208, 209, 210) ermittelt wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 2, dadurch gekennzeichnet, dass das Gassensegment (207) basierend auf Fahrstreifenbegrenzungen (213, 214) ermittelt wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach Patentanspruch 3, dadurch gekennzeichnet, dass wenigstens ein erstes Gassensegment (207) einem vom Fahrzeug (206) befahrenen Fahrstreifen zugeordnet ist, dass wenigstens ein zweites Gassensegment (209, 210) einem nicht vom Fahrzeug (206) befahrenen Fahrstreifen (211, 212) zugeordnet ist, und dass sich das erste Gassensegment (207) und das zweite Gassensegment (209, 210) eine jedenfalls teilweise gemeinsame Gassensegmentgrenze aufweisen.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 4, dadurch gekennzeichnet, dass zu wenigstens einer Gassensegmentgrenze (215) die Beschleunigung der Änderung des fahrzeugbezogenen Abstandes (216) bestimmt wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 5, dadurch gekennzeichnet, dass zu wenigstens einer Gassensegmentgrenze (215) die Art der Gassensegmentgrenze bestimmt wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 6, dadurch gekennzeichnet, dass das Gassensegment (207) und der fahrzeugbezogene Abstand (216) der Gassensegmentgrenze unter Berücksichtigung eines Fahrbahnverlaufes und/oder eines Fahrstreifenverlaufes bestimmt werden.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 7, dadurch gekennzeichnet, dass das Gassensegment und der fahrzeugbezogene Abstand der Gassensegmentgrenze unter Berücksichtigung eines prognostizierten Fahrwegverlaufes bestimmt werden.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 8, dadurch gekennzeichnet, dass zu dem Gassensegment (207, 208, 209, 210) wenigstens ein Konfidenzwert angegeben wird, wobei der Konfidenzwert die Wahrscheinlichkeit angibt, mit der das Gassensegment (207, 208, 209, 210) frei befahrbar ist.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 9, dadurch gekennzeichnet, dass zum fahrzeugbezogenen Abstand (216) der Gassensegmentgrenze (215) eine Standardabweichung angegeben wird.
- Verfahren zur Erstellung eines Umfeldmodells (101) nach einem der voranstehenden Patentansprüche 1 bis 10, dadurch gekennzeichnet, dass zur Geschwindigkeit der Änderung des fahrzeugbezogenen Abstandes (216) der Gassensegmentgrenze (215) eine Standardabweichung angegeben wird.
- Verfahren zur Erstellung eines Umfeldmodells nach Patentanspruch 5 oder einem der voranstehenden Patentansprüche 6 bis 11 soweit rückbezogen auf Patentanspruch 5, dadurch gekennzeichnet, dass zur Beschleunigung der Änderung des fahrzeugbezogenen Abstandes (216) der Gassensegmentgrenze (215) eine Standardabweichung angegeben wird.
- Umfeldmodelleinheit, dadurch gekennzeichnet, dass die Umfeldmodelleinheit eine Empfangseinrichtung zum Empfang von Objekten, Freiraumgrenzen und Fahrbahnbegrenzungen und/oder von Sensordaten mindestens eines Sensorsystems (103, 104, 105, 106) aufweist, und dass die Umfeldmodelleinheit dazu eingerichtet ist, ein Verfahren nach einem der voranstehenden Patentansprüche 1 bis 12 auszuführen.
- Fahrerassistenzsystem (107), dadurch gekennzeichnet, dass das Fahrerassistenzsystem (107) dazu eingerichtet ist, eine Gasse (207, 208, 209, 210) sowie eine Geschwindigkeit einer Änderung eines fahrzeugbezogenen Abstands (216) zu wenigstens einer Gassensegmentgrenze (215) von einer Umfeldmodelleinheit nach dem voranstehenden Patentanspruch 13 zu empfangen, und dass das Fahrerassistenzsystem (107) dazu eingerichtet ist, mindestens einen Betriebsparameter eines Fahrzeugs (206), insbesondere dessen Geschwindigkeit und/oder dessen Abstand zu einem vorausfahrenden Verkehrsteilnehmer, basierend auf der Gasse (207, 208, 209, 210) sowie der Geschwindigkeit der Änderung des fahrzeugbezogenen Abstands (216) zu der wenigstens einen Gassensegmentgrenze (215) zu regeln.
- Fahrzeug (206) mit mindestens einem Sensorsystem zur Erfassung des Umfelds des Fahrzeugs (206) sowie einer Umfeldmodelleinheit nach Patentanspruch 13 und/oder einem Fahrerassistenzsystem (107) nach Patentanspruch 14.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014212478.6A DE102014212478A1 (de) | 2014-06-27 | 2014-06-27 | Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs |
| PCT/EP2015/062773 WO2015197353A2 (de) | 2014-06-27 | 2015-06-09 | Verfahren zur erstellung eines umfeldmodells eines fahrzeugs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP3160813A2 EP3160813A2 (de) | 2017-05-03 |
| EP3160813B1 true EP3160813B1 (de) | 2023-05-10 |
Family
ID=53483781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP15730987.3A Active EP3160813B1 (de) | 2014-06-27 | 2015-06-09 | Verfahren zur erstellung eines umfeldmodells eines fahrzeugs |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11884277B2 (de) |
| EP (1) | EP3160813B1 (de) |
| CN (1) | CN106470886B (de) |
| DE (1) | DE102014212478A1 (de) |
| WO (1) | WO2015197353A2 (de) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102016101901A1 (de) | 2016-02-03 | 2017-08-03 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Fahrerassistenzsystem |
| GB2549320B (en) * | 2016-04-15 | 2018-07-25 | Jaguar Land Rover Ltd | Improvements in vehicle speed control |
| US10810883B1 (en) * | 2016-06-03 | 2020-10-20 | Uber Technologies, Inc. | Travel time estimation |
| DE102016217718A1 (de) | 2016-09-16 | 2018-03-22 | Volkswagen Aktiengesellschaft | Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zum bestimmen einer position eines fahrzeugs innerhalb einer parkfläche |
| DE102016224510A1 (de) | 2016-12-08 | 2018-06-14 | Audi Ag | Verfahren zur Bereitstellung von Ergebnisdaten, die von einem Kraftfahrzeugumfeld abhängen |
| US10254121B2 (en) | 2017-01-23 | 2019-04-09 | Uber Technologies, Inc. | Dynamic routing for self-driving vehicles |
| EP3360747A1 (de) * | 2017-02-13 | 2018-08-15 | Autoliv Development AB | Verbesserungen an oder im zusammenhang mit fahrerassistenzsystemen |
| KR20180099280A (ko) | 2017-02-28 | 2018-09-05 | 삼성전자주식회사 | 가상 차로 생성 장치 및 방법 |
| US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
| US10239451B1 (en) * | 2017-09-05 | 2019-03-26 | GM Global Technology Operations LLC | Systems and methods for providing relative lane assignment of objects at distances from the vehicle |
| DE102017120729A1 (de) | 2017-09-08 | 2019-03-14 | Connaught Electronics Ltd. | Freiraumdetektion in einem Fahrerassistenzsystem eines Kraftfahrzeugs mit einem neuralen Netzwerk |
| DE102017223206A1 (de) * | 2017-12-19 | 2019-06-19 | Robert Bosch Gmbh | Niederdimensionale Ermittlung von abgegrenzten Bereichen und Bewegungspfaden |
| DE102018210779A1 (de) * | 2018-06-29 | 2020-01-02 | Ford Global Technologies, Llc | Verfahren und System zur Rettungsgassenbildung durch ein Fahrzeug |
| JP7172287B2 (ja) * | 2018-08-28 | 2022-11-16 | トヨタ自動車株式会社 | 自動運転システム |
| DE102018216364B4 (de) * | 2018-09-25 | 2020-07-09 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Unterstützen eines Spurwechselvorgangs für ein Fahrzeug |
| US10300851B1 (en) * | 2018-10-04 | 2019-05-28 | StradVision, Inc. | Method for warning vehicle of risk of lane change and alarm device using the same |
| KR102633140B1 (ko) * | 2018-10-23 | 2024-02-05 | 삼성전자주식회사 | 주행 정보를 결정하는 방법 및 장치 |
| DE102018130243A1 (de) | 2018-11-29 | 2020-06-04 | Valeo Schalter Und Sensoren Gmbh | Erweitertes Szenario für Autobahnassistenten |
| US10824148B2 (en) * | 2018-12-14 | 2020-11-03 | Waymo Llc | Operating an autonomous vehicle according to road user reaction modeling with occlusions |
| EP3889722B1 (de) * | 2018-12-29 | 2024-07-03 | Great Wall Motor Company Limited | Erzeugungsverfahren und erzeugungssystem für dynamische ziellinie während des automatischen fahrens eines fahrzeugs und fahrzeug |
| DE102019201484A1 (de) * | 2019-02-06 | 2020-08-06 | Robert Bosch Gmbh | Wiederverwertung von Umfeldmodellen automatisierter Fahrzeuge |
| US10950094B2 (en) | 2019-07-02 | 2021-03-16 | Igt | Gaming system and method providing integrated primary and secondary games |
| DE102020200183A1 (de) * | 2020-01-09 | 2021-07-15 | Continental Automotive Gmbh | Verfahren zum Erstellen einer probabilistischen Freiraumkarte mit statischen und dynamischen Objekten |
| DE102020201016B4 (de) | 2020-01-29 | 2024-09-05 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Bereitstellen mindestens einer Trajektorie für ein automatisiert gefahrenes Fahrzeug |
| CN112312357B (zh) * | 2020-09-28 | 2022-10-21 | 南斗六星系统集成有限公司 | 一种自动驾驶合作感知场景下在线激励机制的方法 |
| KR20220056922A (ko) * | 2020-10-28 | 2022-05-09 | 현대자동차주식회사 | 자율주행 제어 장치 및 방법 |
| DE102021205444A1 (de) | 2021-05-28 | 2022-12-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Analysieren einer Verkehrsszene |
| US12116010B2 (en) | 2021-12-23 | 2024-10-15 | Baidu Usa Llc | Safety guaranteed control when planning with uncertainty |
| DE102022200138A1 (de) * | 2022-01-10 | 2023-07-13 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Durchführen eines Ausweichmanövers |
| US20240409125A1 (en) * | 2023-06-12 | 2024-12-12 | GM Global Technology Operations LLC | Vehicle systems and methods for autonomous operation using unclassified hazard detection |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011016771A1 (de) * | 2011-04-12 | 2012-10-18 | Daimler Ag | Vorrichtung zur Bedienung einer Fahrspurwechselunterstützung in einem Fahrzeug |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US845727A (en) | 1906-03-10 | 1907-02-26 | Philip Dewitt | Safety device for railroads. |
| DE10049229A1 (de) * | 2000-09-28 | 2002-05-02 | Daimler Chrysler Ag | Verfahren zur Verbesserung der Reaktionsfähigkeit |
| DE10243620A1 (de) | 2002-09-19 | 2004-04-01 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Bildverarbeitung der von einem System zur Umfelderfassung eines Fahrzeuges erfassten optischen Signale und System zur Umfelderfassung eines Fahrzeuges |
| JP4074856B2 (ja) | 2004-01-22 | 2008-04-16 | 富士フイルム株式会社 | 画像変換装置および画像変換プログラム |
| DE102004003502B3 (de) | 2004-01-23 | 2005-08-11 | Audi Ag | Verfahren und Vorrichtung zum Assistieren beim Führen eines Kraftfahrzeugs |
| DE102004019337A1 (de) * | 2004-04-21 | 2005-11-17 | Siemens Ag | Assistenzsystem für Kraftfahrzeuge |
| DE102004047130B4 (de) * | 2004-09-27 | 2012-07-26 | Andreas Stopp | Umgebungsmodellierung für autonome mobile Systeme |
| DE102004048013A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Fahrerunterstützung |
| DE102005002504A1 (de) | 2005-01-19 | 2006-07-27 | Robert Bosch Gmbh | Fahrerassistenzsystem mit Fahrschlauchprädiktion |
| DE102005026386A1 (de) * | 2005-06-02 | 2006-12-07 | Volkswagen Ag | Verfahren und Vorrichtung zum Bestimmen von Freiflächen in der Umgebung eines Fahrzeugs |
| DE102006004772B4 (de) * | 2006-02-02 | 2022-02-10 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren zu dessen Steuerung |
| DE102006011481A1 (de) | 2006-03-13 | 2007-09-20 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs |
| DE102006040334A1 (de) * | 2006-08-29 | 2008-03-06 | Robert Bosch Gmbh | Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem und Fahrerassistenzsystem |
| DE102006047131A1 (de) | 2006-10-05 | 2008-04-10 | Robert Bosch Gmbh | Verfahren zum automatischen Steuern eines Fahrzeugs |
| EP2057480B1 (de) | 2006-10-06 | 2014-06-04 | ADC Automotive Distance Control Systems GmbH | Radarsystem zur umfelderfassung mit kompensation von störsignalen |
| DE102007027495A1 (de) * | 2007-06-14 | 2008-12-18 | Daimler Ag | Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeuges bei der Querführung des Kraftfahrzeugs |
| DE102007044761A1 (de) | 2007-09-19 | 2008-05-08 | Daimler Ag | Verfahren und Vorrichtung zur Bestimmung eines sich entlang einer Bewegungsbahn eines Fahrzeuges erstreckenden Fahrschlauches |
| FR2921324B1 (fr) | 2007-09-25 | 2010-02-05 | Renault Sas | Procede et dispositif d'assistance au parcage d'un vehicule automobile |
| DE102009006747B4 (de) | 2009-01-30 | 2025-06-18 | Bayerische Motoren Werke Aktiengesellschaft | Umfeldbewertungssystem in einem Fahrzeug mit Sensormitteln zur Erfassung von Objekten im Umfeld des Fahrzeuges |
| DE102009008747B4 (de) * | 2009-02-13 | 2012-02-16 | Carl Zeiss Ag | Optisches Abbildungssystem |
| DE102009045661A1 (de) * | 2009-10-14 | 2011-04-21 | Robert Bosch Gmbh | Verfahren zur Bestimmung wenigstens eines befahrbaren Bereichs in der, insbesondere für die Fahrzeugführung relevanten Umgebung eines Kraftfahrzeugs |
| DE102009058488B4 (de) * | 2009-12-16 | 2014-07-31 | Audi Ag | Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs |
| EP2571004B1 (de) * | 2010-06-18 | 2016-03-09 | Honda Motor Co., Ltd. | System zur erfassung der spurwechselabsicht des fahrers |
| HUP1000408A2 (en) | 2010-07-30 | 2012-03-28 | Gravity Res & Dev Kft | Recommender systems and methods |
| DE102011007243A1 (de) | 2011-04-13 | 2012-10-18 | Robert Bosch Gmbh | Optisches System für die Umfelderfassung |
| DE102012014678A1 (de) * | 2011-08-19 | 2013-02-21 | W.E.T. Automotive Systems Ag | Heizeinrichtung |
| EP2574958B1 (de) * | 2011-09-28 | 2017-02-22 | Honda Research Institute Europe GmbH | Straßenterrain-Erkennungsverfahren und System für Fahrerhilfssysteme |
| DE102011118644A1 (de) | 2011-11-15 | 2013-05-16 | Valeo Schalter Und Sensoren Gmbh | Ultraschallwandler und korrespondierende Vorrichtung zur Umfelderfassung in einem Fahrzeug |
| WO2013087067A1 (de) | 2011-12-14 | 2013-06-20 | Continental Teves Ag & Co. Ohg | Freirauminformationen in einem belegungsgitter als grundlage für die bestimmung eines manöverraums für ein fahrzeug |
| DE102011056413A1 (de) * | 2011-12-14 | 2013-06-20 | Continental Teves Ag & Co. Ohg | Freirauminformationen in einem Belegungsgitter als Grundlage für die Bestimmung eines Manöverraums für ein Fahrzeug |
| JP5757900B2 (ja) * | 2012-03-07 | 2015-08-05 | 日立オートモティブシステムズ株式会社 | 車両走行制御装置 |
| US8457827B1 (en) | 2012-03-15 | 2013-06-04 | Google Inc. | Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles |
| US8706417B2 (en) * | 2012-07-30 | 2014-04-22 | GM Global Technology Operations LLC | Anchor lane selection method using navigation input in road change scenarios |
| DE102013005404A1 (de) * | 2013-03-28 | 2013-09-19 | Daimler Ag | Verfahren zur Unterstützung eines Fahrers eines Fahrzeuges |
| AT514754B1 (de) * | 2013-09-05 | 2018-06-15 | Avl List Gmbh | Verfahren und Vorrichtung zur Optimierung von Fahrassistenzsystemen |
| JP6441610B2 (ja) * | 2013-10-30 | 2018-12-19 | 株式会社デンソー | 走行制御装置及びサーバ |
| US9522676B2 (en) * | 2014-04-30 | 2016-12-20 | Denso International America, Inc. | Situation awareness assistant for vehicle control |
-
2014
- 2014-06-27 DE DE102014212478.6A patent/DE102014212478A1/de not_active Ceased
-
2015
- 2015-06-09 WO PCT/EP2015/062773 patent/WO2015197353A2/de not_active Ceased
- 2015-06-09 EP EP15730987.3A patent/EP3160813B1/de active Active
- 2015-06-09 CN CN201580034837.0A patent/CN106470886B/zh active Active
-
2016
- 2016-12-23 US US15/389,677 patent/US11884277B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011016771A1 (de) * | 2011-04-12 | 2012-10-18 | Daimler Ag | Vorrichtung zur Bedienung einer Fahrspurwechselunterstützung in einem Fahrzeug |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015197353A3 (de) | 2016-02-25 |
| US11884277B2 (en) | 2024-01-30 |
| WO2015197353A2 (de) | 2015-12-30 |
| US20170101097A1 (en) | 2017-04-13 |
| EP3160813A2 (de) | 2017-05-03 |
| DE102014212478A1 (de) | 2015-12-31 |
| CN106470886A (zh) | 2017-03-01 |
| CN106470886B (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3160813B1 (de) | Verfahren zur erstellung eines umfeldmodells eines fahrzeugs | |
| DE102018129197B4 (de) | Verkehrssignalerkennungsvorrichtung und System zum autonomen Fahren | |
| EP2676857B1 (de) | Verfahren und vorrichtung zum erzeugen eines steuerparameters für ein bildbasiertes abstandsassistenzsystem eines fahrzeugs | |
| EP3931029B1 (de) | Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem | |
| DE102014102762B4 (de) | System und Verfahren zum Verbessern der Sensorsicht eines Fahrzeugs in einem autonomen Fahrmodus | |
| EP3253634B1 (de) | Verarbeiten von sensordaten für ein fahrerassistenzsystem | |
| DE102018105163B4 (de) | System zum automatisierten Fahren | |
| DE112020005298T5 (de) | Fahrzeugsteuersystem und fahrzeugsteuerverfahren | |
| DE102017203654B4 (de) | Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug auf einer Straße und Fahrerassistenzsystem | |
| DE112020004949T5 (de) | Fahrzeugbordvorrichtung und fahrunterstzützungsverfahren | |
| DE102012009297A1 (de) | Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs | |
| DE102016201667B4 (de) | Verfahren zum Bestimmen einer Solltrajektorie für einen ersten Verkehrsteilnehmer, insbesondere für ein Kraftfahrzeug, für einen Streckenabschnitt | |
| DE102010038097A1 (de) | Fahrzeugfahrunterstützungs-Steuervorrichtung | |
| EP2813408A1 (de) | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs | |
| DE102017212607A1 (de) | Verfahren und Vorrichtung zur umgebungsbasierten Adaption von Fahrerassistenzsystem-Funktionen | |
| DE102005002504A1 (de) | Fahrerassistenzsystem mit Fahrschlauchprädiktion | |
| DE102021103149A1 (de) | Verfahren und vorrichtung zur bestimmung der optimalen kreuzungsspur in einem unterstützten fahrsystem | |
| DE102018130243A1 (de) | Erweitertes Szenario für Autobahnassistenten | |
| DE102020213514B4 (de) | Verfahren zum zumindest teilautonomen Betreiben eines Kraftfahrzeuges und Steuergerät | |
| DE102019215657A1 (de) | Fahrzeugsteuerungsstystem und -verfahren | |
| DE102016201190A1 (de) | Wendeassistent | |
| DE102018209183A1 (de) | Verfahren und Vorrichtung zum Unterstützen eines Fahrers in einem Fahrzeug | |
| DE102017106349A1 (de) | Fahrerassistenzsystem für ein Fahrzeug zum Prognostizieren eines dem Fahrzeug vorausliegenden Fahrspurbereichs, Fahrzeug und Verfahren | |
| DE102017006835A1 (de) | Steuerungssystem, Verfahren und Kraftfahrzeug zum Berechnen einer Kraftfahrzeugs-Trajektorie | |
| EP2654027B1 (de) | Verfahren zum Ausgeben einer Warnung vor einem Überholvorgang |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20161117 |
|
| AK | Designated contracting states |
Kind code of ref document: A2 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20190103 |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| RIC1 | Information provided on ipc code assigned before grant |
Ipc: B60W 30/16 20120101ALI20221219BHEP Ipc: B60W 30/12 20060101ALI20221219BHEP Ipc: B60W 30/14 20060101ALI20221219BHEP Ipc: B60W 40/06 20120101ALI20221219BHEP Ipc: B60W 40/04 20060101AFI20221219BHEP |
|
| INTG | Intention to grant announced |
Effective date: 20230116 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 1566421 Country of ref document: AT Kind code of ref document: T Effective date: 20230515 Ref country code: CH Ref legal event code: EP |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502015016355 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
| P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230502 |
|
| REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG9D |
|
| P02 | Opt-out of the competence of the unified patent court (upc) changed |
Effective date: 20230731 |
|
| REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230911 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230810 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230910 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230811 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502015016355 Country of ref document: DE |
|
| REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20230630 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 |
|
| 26N | No opposition filed |
Effective date: 20240213 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230630 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230630 |
|
| REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1566421 Country of ref document: AT Kind code of ref document: T Effective date: 20230609 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20230609 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20230510 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20250605 Year of fee payment: 11 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20250620 Year of fee payment: 11 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20250627 Year of fee payment: 11 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20150609 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20150609 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: IT Payment date: 20250630 Year of fee payment: 11 |