EP3718097A1 - Method for displaying the course of a safety zone in front of a vehicle or an object by means of a display unit, device for carrying out the method, and motor vehicle and computer program - Google Patents
Method for displaying the course of a safety zone in front of a vehicle or an object by means of a display unit, device for carrying out the method, and motor vehicle and computer programInfo
- Publication number
- EP3718097A1 EP3718097A1 EP18803343.5A EP18803343A EP3718097A1 EP 3718097 A1 EP3718097 A1 EP 3718097A1 EP 18803343 A EP18803343 A EP 18803343A EP 3718097 A1 EP3718097 A1 EP 3718097A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- vehicle
- grid
- driver
- displayed
- safety zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/179—Distances to obstacles or vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/31—Virtual images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
Definitions
- the proposal concerns the technical field of driver information systems, also known as infotainment systems. In particular, this involves a method for displaying a safety zone in front of a vehicle or an object on a display unit. Such systems are used primarily in vehicles. But there is also the possibility of using the invention in pedestrians, cyclists, etc. with data glasses. The proposal continues to cover a correspondingly designed one
- Control of the vehicle can take over.
- the driver also takes
- HUD Head-Up Display
- Vehicle sensors are in particular called the following components that allow an environment observation: RADAR devices according to Radio Detection and Ranging, LIDAR devices, according to Light Detection and Ranging, mainly for distance detection / warning, and cameras with appropriate image processing for the field of object recognition.
- This data on the environment can thus be used as a basis for system-side driving recommendations, warnings, etc.
- LTE V2X Long Term Evolution
- Autonomous driving (sometimes also called automatic driving, automated driving or piloted driving) is the movement of vehicles, mobile robots and driverless transport systems to understand the largely autonomous behavior.
- autonomous driving There are different gradations of the term autonomous driving. It is spoken at certain stages even from autonomous driving, if there is still a driver in the vehicle, if necessary, only takes over the monitoring of the automatic driving.
- the various ceremonies of transport in Germany the Federal Highway Research Institute was involved) worked together and the following
- Level 0 Driver only, the driver drives, steers, accelerates, brakes, etc.
- Level 1 Certain assistance systems help with vehicle operation (including a cruise control system - Automatic Cruise Control ACC).
- Level 3 high automation. The driver does not have to keep the system permanently
- the vehicle autonomously performs functions such as triggering the turn signal, lane change and lane keeping.
- the driver can turn to other things, but if necessary within a warning time of the system
- Level 4 full automation. The guidance of the vehicle is permanently taken over by the system. If the system no longer copes with the driving tasks, the driver can be asked to take the lead.
- Level 5 No driver required. There is no human intervention beyond setting the goal and starting the system.
- a future vision in the automotive industry is to be able to record the windscreen of one's own vehicle with virtual elements, in order to offer the driver some advantages.
- the so-called "augmented reality” technology (AR) is used. Less familiar is the corresponding German-language term of "augmented reality”.
- the real environment is enriched with virtual elements. This has several advantages: The view down, on displays other than the windshield, is eliminated, since many relevant information is displayed on the windshield. So the driver does not have to avert his gaze from the road. In addition, due to the positionally exact sclerosing of the virtual elements in the real environment, a lesser cognitive effort on the part of the driver is likely because no interpretation of a graphic must be done on a separate display. With regard to automatic driving, an added value can also be generated.
- Display area of the HUD has the consequence that a section of it can be seen.
- a method for displaying a lane course in front of a vehicle wherein a current speed of the vehicle is determined.
- points of a vehicle environment lying in front of the vehicle are determined so that an optical flow of these points is determined taking into account the current vehicle speed and that symbols for displaying the optical flow are displayed in the head-up display for a presentation of the course of the lane.
- Path control method known. The method and system is used to support the path control, in particular a vehicle on a road or in a
- the method consists of performing at least one of the following steps (a) and (b): (a) estimating an actual future path of the vehicle based on
- a stereoscopic head-up display in which a photometric parameters of the display unit, such as the brightness and background color from the environment of the vehicle, in particular only as a function of the position of the vehicle to a determined precipitation the position of the vehicle, a determined ambient temperature at the position of the vehicle, a time information and / or at least one value of an external data source is determined.
- a motor vehicle with head-up display in which a braking distance of the motor vehicle is displayed with the head-up display. In order to make the driver immediately aware of the length of the braking path, that fictitious point at which the motor vehicle would come to a standstill on the basis of the initiated braking process is visualized in the head-up display with a cross-beam projected in.
- the actual braking distance is not limited to an actual braking operation, i. when the brake pedal is pressed, displayed but constantly during the entire driving operation.
- a method for displaying a distance information on a display device of a vehicle is known.
- the method is characterized in that a real image of the lane ahead of the vehicle is recorded with the camera, and a safety distance to the vehicle in front is determined as a function of at least one vehicle-dynamic size of the vehicle.
- the real image is extended by a virtual image portion in the form of a crossbar, which indicates the safety distance in the correct position to the vehicle in front.
- AR augmented reality
- Scope of the invention recognized.
- the problem is that depending on the ambient conditions, in particular the driving situation, the representation of the Safety zone either poorly recognizable or just too conspicuous and distracts from the actual events on the road.
- Safety zone in front of the vehicle which should be variably adapted to the ambient conditions so that it can not lead to distractions of the driver.
- the invention sets itself the task of finding such an approach. Another object is that, conversely, it should be prevented that the direction of travel is displayed too weakly in certain environmental conditions, so that the driver can track the course poorly.
- This object is achieved by a method for displaying a safety zone in front of a vehicle or an object with the aid of a display unit according to claim 1
- the solution according to the invention is to dispense with masking surfaces and instead to make the representation of the security zone in a fragmented form.
- This approach a number of advantages are seen, in addition to the fulfillment of the
- Fault tolerance consists in the fact that the human perceptive apparatus is easily able, the individual perceptible due to the evolution-biological conditions
- the representation of the safety zone is done in grid form, wherein the vehicle facing away from the end of the grid indicates the end of the safety zone at the measured speed and optionally taking into account the detected environmental conditions. Until the end of the safety zone, the driver could take into account the
- the representation of the safety zone is calculated such that it illustrates the instantaneous braking distance or stopping distance of the vehicle. Change the speed of the vehicle and / or the environmental conditions, such as Precipitation situation, temperature, humidity, so also the braking distance changes and accordingly also the representation of the safety zone.
- Attention of the driver requires the grid completed and, in addition, depending on the situation, a virtual stop line is displayed at a location of the track in front of the displayed grid, where the driver's heightened attention is required. Whenever the security zone becomes visible in full raster form, this is an indication of increased attention to the driver. When the stop line is displayed, the driver can already adjust to a braking process and, for example, "take gas off".
- Typical driving situations that are assessed to require increased driver attention correspond to driving on a non-urban road approaching a crossroads or intersection with a priority rule to follow, such as right-to-left, stop-road or right of way. Street.
- Grid insertion would also be considered in other driving situations.
- Other examples include: Sudden braking of the vehicle in front, occurrence of
- Road irregularities such as potholes, cobblestones, etc., and in other situations requiring action of the driver in terms of speed change or steering action, e.g., animals or people on the road or obstacles on the road.
- the grid is additionally highlighted highlighted in a driving situation that predicts an intrusion of another road user in the safety zone in front of the vehicle.
- the coloring can be carried out dynamically in a further embodiment, wherein the
- Halftone dots are dyed radially out of the direction from which the other Road users in the safety zone in front of the vehicle presumably penetrates. This makes it intuitively visible to the driver from which direction the danger threatens.
- the grid when approaching the vehicle to the virtual stop line, the grid may be calculated to be displayed in a compressed form so that all
- Grid points are positioned in front of the stop line when the position of the grid has been calculated so that the vehicle-remote end of the grid has reached the stop line.
- the grid does not push itself into the intersection or inflection. Due to the compression, the attention is directed to the stop line, which, in contrast to the "vehicle-fixed" grid at a certain point on the road (street-fixed) is located.
- the procedure provides the driver with the information that is essential in the situation, namely at which point of the road he must necessarily come to a stop.
- the crushing of the grid occurs whenever the stopping distance becomes greater than the distance to the obstacle.
- the obstacle may be the virtual stop line, but also e.g. the braking fore vehicle.
- the grid is then compressed so that it ends in front of the fore vehicle.
- the danger situation can be pointed even more strongly by one or more action request symbols being displayed in addition to coloring the virtual stop line. So then the driver becomes very insistent on the need to initiate the braking process
- an action request symbol is preferably a
- the action prompt icon is preferably displayed as hovering over the virtual stop line. This ensures that this symbol still remains visible due to its height above the road surface, even if the augmented stop line is so close to the vehicle that they are no longer displayed in the field of view of the head-up display (field of view) can.
- this device For a device for carrying out the method, it is advantageous if it has a display unit with which additional virtual information can be superimposed into the field of vision of the driver or the operator of the object. This is the case with a head-up display as well as with data glasses. Furthermore, this device should be a Have arithmetic unit and detection means. With the detection means is the
- the arithmetic unit is designed, depending on the speed and / or of the detected environment / environmental conditions for the display of
- Security zone to calculate a grid, with the vehicle-remote end of the grid indicates the end of the security zone.
- the environment is detected. Also important is the very accurate recording of your own position in the environment. This is beneficial to one
- “Accurate” augmentation is possible. This also includes the detection of the future course of the road, as the display of the grid should be adapted to the course of the road and e.g. should not be in a bend next to the road. In this context should also be data about the control process of the vehicle, such as its own
- Steering angle setting the "turn signal” or a cross-shelf within the lane detected, and taken into account so that the grid, for example. when lane changes can be displayed correctly on the future trajectory of the vehicle.
- weather conditions such as rainfall, heavy rain, snow, hail or fog can be recorded. This can also be the
- the display unit is designed as a head-up display.
- a data goggle or a monitor can be used in the device as a display unit, on which a camera image is displayed, in which the grid is displayed.
- the device according to the invention can be used in a motor vehicle.
- the invention is preferably realized so that the display unit is permanently installed in the vehicle, e.g. in the form of a head-up display.
- the invention can also be advantageously used if the display unit corresponds to data glasses. Then, the invention can be
- Fig. 2 shows the typical cockpit of a vehicle
- FIG. 3 shows the block diagram of the infotainment system of the vehicle
- Fig. 4 shows two representations of grid overlays for the display of
- Figure 5 shows the principle of the insertion of a safety zone in the field of view of the driver of a vehicle in grid form according to the invention.
- Fig. 6 is an illustration of a reduced insertion of a security zone in the
- Fig. 7 is an illustration of the complete insertion of a security zone in the
- Fig. 1 1 is a representation of an insertion of a security zone in the field of view of
- FIG. 12 shows the illustration of the insertion of a safety zone in the field of vision of the driver of a vehicle in grid form according to the fifth embodiment of the invention Invention, in which only the display of the brake request symbol is visible;
- FIG. 13 shows the representation of the insertion of a safety zone in the field of vision of the driver of a vehicle according to the fifth exemplary embodiment of the invention in an escalation stage in which only the display of the
- Brake call icon is visible, and the other road users, which has penetrated into the safety zone, is also visible in the field of vision of the driver;
- Raster for displaying the security area according to an embodiment of the invention.
- Fig. 1 illustrates the basic operation of a head-up display.
- the head-up display 20 is in the vehicle 10 below / behind the instrument cluster in
- Additional information is displayed in the driver's field of vision.
- This additional information appears as if it were projected onto a projection surface 21 at a distance of 7 - 15 m in front of the vehicle 10.
- the additional information displayed creates a kind of virtual environment.
- the virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. However, it is only projected onto a part of the windshield, so that the additional information can not be arbitrarily arranged in the field of vision of the driver.
- Fig. 2 shows the cockpit of the vehicle 10. Shown is a passenger car. As vehicle 10, however, any other vehicles would also be considered. Examples of other vehicles are: buses, commercial vehicles, especially trucks trucks, agricultural machinery, construction machinery, rail vehicles, etc. The use of the invention would be generally in land vehicles, rail vehicles, watercraft and aircraft possible.
- the cockpit three display units of an infotainment system are shown. It is the head-up display 20 and a touch-sensitive screen 30, which is mounted in the center console.
- the center console When driving, the center console is not in the driver's field of vision. Therefore, the additional information is not displayed on the display unit 30 while driving.
- the touch-sensitive screen 30 serves in particular for the operation of functions of the vehicle 10. For example, about a radio, a radio, a radio, a
- An infotainment system refers to motor vehicles, especially passenger cars, the merger of car radio, navigation system,
- infotainment is a boxword word composed of the words information and entertainment (entertainment).
- touch screen To operate the infotainment system mainly the touch-sensitive screen 30 ("touch screen") is used, this screen 30 can be well viewed and operated in particular by a driver of the vehicle 10, but also by a passenger of the vehicle 10.
- mechanical operating elements for example keys, rotary encoders or combinations thereof, such as, for example, a push-dial regulator, can be arranged in an input unit 50.
- This unit is not shown separately, but is considered part of the input unit 50.
- the operation device includes the touch-sensitive display unit 30, a calculator 40, an input unit 50, and a memory 60.
- the display unit 30 includes both a display surface for displaying variable graphic information and a control surface (touch-sensitive layer) disposed above the display surface
- the display unit 30 is connected to the computing device 40 via a data line 70
- the data line can be designed according to the LVDS standard, corresponding to Low Voltage Differential Signaling.
- the display unit 30 receives control data for driving the display surface of the touch screen 30 from the
- Computing device 40 Via the data line 70 are also control data of
- Reference numeral 50 denotes the input unit. It is associated with the already mentioned control elements such as buttons, knobs, sliders, or rotary pushbuttons, with the help of which the operator can make inputs via the menu. Input is generally understood as selecting a selected menu item, as well as changing a parameter, turning a function on and off, and so on.
- the memory device 60 is connected to the computing device 40 via a data line 80.
- a pictogram directory and / or symbol directory is stored with the pictograms and / or symbols for the possible overlays of additional information.
- the points / symbols can be stored, which serve as the basis for the calculation of the raster overlay.
- the other parts of the infotainment system camera 150, radio 140, navigation device 130, telephone 120 and instrument cluster 110 are connected via the data bus 100 with the device for operating the infotainment system.
- the data bus 100 is the high-speed variant of the CAN bus according to ISO standard 11898-2.
- Ethernet-based bus system such as BroadR-Reach in question.
- Bus systems in which the data is transmitted via optical fibers can also be used. Examples are the MOST Bus (Media Oriented System Transport) or the D2B Bus (Domestic Digital Bus).
- the camera 150 can be designed as a conventional video camera. In this case, it will record 25 frames / s, which is equivalent to 50 fields / s in the interlace recording mode.
- the vehicle 10 is with a special camera that captures more images / sec to increase the accuracy of object detection on faster moving objects.
- a special camera can be used that captures more images / sec to increase the accuracy of object detection on faster moving objects.
- Several cameras can be used for monitoring the environment.
- the already mentioned RADAR or LIDAR systems could be used in addition or alternatively to carry out or expand the field observation.
- the vehicle 10 is with a
- Communication module 160 equipped. This module is often referred to as an on-board unit. It can be used for mobile communication, e.g. according to LTE standard,
- the basis of the security zone display according to the invention is a virtual grid which is displayed at a distance above the actual real environment.
- the real environment corresponds to the real road course.
- FIG. 4 shows the principle of how information is superimposed on the driver's field of vision by means of the head-up display 20.
- the reference number 21 again denotes the projection area of the head-up display 20. It is shown that a grid 22 is displayed along the roadway course.
- This control of the longitudinal and lateral guidance is accomplished by drivers continuously trying to maintain a safety zone around their vehicle while driving
- This safety zone can be understood as an area or time within which the vehicle can move safely and without collision.
- the visualization of this safety zone using an augmented reality head-up display (AR-HUD) directly in the real environment therefore provides valuable support for the driver to master the driving task.
- AR-HUD augmented reality head-up display
- the invention relates to the logic and visualization of the safety zone in the AR-HUD using a point grid.
- FIG. 5 shows the principle of the insertion of a safety area into the field of vision of the driver.
- the security area is displayed in the form of a dot matrix 22.
- the extent of the dot matrix 22 was calculated so that it corresponds approximately to the braking distance of the vehicle at the given driving speed under the given conditions, as indicated in Fig. 5 by the arrow. Striking is that
- Dot matrix 22 does not extend to the front of the vehicle.
- the display area of the HUD actually begins only a few meters in front of your own vehicle.
- the grid 22 is then displayed only for the braking distance 25. Until the initiation of the braking process can still pass time that is not covered by the grid 22.
- Grid 22 visualizes the braking distance based on its dimensions. Increasing the speed therefore leads to an increasing number of dot lines of the grid due to the associated extension of the braking distance.
- the grid 22 is dependent on the vehicle behavior, is carried while driving and is therefore to be understood as vehicle-fixed and not road-firm (in contrast to navigation arrows in a navigation system, for example).
- the grid 22 follows the roadway and conforms e.g. in curves to the road.
- FIG. 6 shows the first example of the fade-in of the security area in raster form, where the raster 22 can be seen in a reduced form.
- D current gear
- maximum speed 60
- current vehicle speed 33 km / h
- target speed 35 km / h
- Remaining Range 220 km. The information applies to an electric vehicle.
- the grid 22 is completely with white grid points in transparent form.
- the extent of the grid 22 continues to indicate the length of the braking path in the longitudinal direction. This corresponds to the escalation level 1 and the driver is thus prepared for poorly predictable situations.
- FIG. An example of how this can be done is shown in FIG. There, the driving situation is shown, where the vehicle approaches to a right-to-left intersection. There, in any case, the stop in front of the crossing lane is appropriate. To prepare the driver for it, one becomes
- Augmentation can be road-resistant in contrast to the vehicle-fixed grid 22.
- the driver receives a behavioral recommendation that does not exist in the real environment.
- the grid 22 Upon detection of an impending collision, e.g. Due to the threat of another road user entering their own security zone, the grid 22 is colored reddish. This is shown in FIG. 9.
- the grid is calculated in such a way that the coloration starts radially from the direction from which the other road user should appear.
- the coloring of the grid is predictive, i. already when the other vehicle is still relatively far away from the intersection. Often, the situation will be such that the board's own environmental monitoring tools such as Camera 150 or Radar can not easily detect the other vehicle. However, the vehicles will in the future be networked via Car2Car communication so that they constantly exchange relevant information. At the same time their position data are exchanged. From the successive
- the vehicle 10 can estimate the movement of approaching vehicles and determine those vehicles with collision / hazard potential. By coloring the grid 22 from the side of the imminent danger, the driver is warned and directed his attention in this direction. The coloring corresponds to a second escalation stage.
- Another action on the side of the second escalation stage is made when the front raster page reaches the fade in stop line 23. This is shown in FIG. 10. Then, the grid 22 is compressed to end before the stop line 23. The compression can be done so that the distance of the grid transverse lines is reduced starting from the stop line 23 to the vehicle-facing side, as shown in Fig. 10. The grid 22 is therefore not pushed into the intersection.
- the compression of the grid lines is emphasizes the stop line 23, which in contrast to the vehicle-fixed grid 22 is located at a certain point on the road (road-fixed). In addition, the stop line is also colored red.
- a disadvantage is that the length of the grid 22 can no longer correctly visualize the braking distance due to the compression. However, this information is increasingly taking a back seat in this situation. This measure provides the driver with the essential information in the situation, namely at which point of the road he must necessarily come to a halt. The compression and the red color no longer indicate the actual braking distance, but the only way available.
- an action symbol 24 can be displayed as an additional measure simultaneously with the appearance of the augmented, red stop line 23, which is shown hovering above the stop line 23 in the street space.
- the advantage of this additional measure is that due to its elevated position above the road surface, this symbol remains visible even when the augmented stop line 23 is so close to the vehicle 10 that it is no longer in the field of view of the head-up display 20 (FIG. Field of View) can be displayed.
- the action icon 24 corresponds to a 2D brake symbol in the illustrated case.
- FIG. 14 the course of a program is now shown, which is processed in the arithmetic unit 40 for carrying out the method according to the invention.
- the program start is designated by the reference numeral 405.
- program step 410 the surroundings information U1 for the vehicle 10 is recorded. This happens mainly with the help of the already mentioned data transmitted by Car2Car communication from surrounding vehicles.
- the image data recorded by camera 150 are also evaluated in order, for example, to detect obstacles on the roadside.
- program step 415 the weather conditions are detected. Here, for example, it depends very much on whether precipitation falls, and also what type of precipitation it is. This can with a rain sensor or via the measurement of the speed of the wiper motor or also by an image evaluation method and camera 150.
- the weather data include other measured values such as outside temperature and humidity. These data can be captured by on-board sensors.
- This type of data may also be loaded via the on-board unit 160, e.g. from a website that provides the local weather data WD very accurately.
- step 420 the current driving speed and the data on the current control process SG are detected. This information is available in the instrument cluster 110 and is transmitted via the vehicle bus 100 in the arithmetic unit 40.
- program step 425 the evaluation of the navigation route NR, which is carried out by the
- Navigation system 130 is derived. Via the navigation route and the map data, the system is then aware of which road intersections or road turns follow on the planned route. Thereafter, in step 430, the calculation of the raster 22 takes place as a function of the acquired parameters U1, WD, SG and the
- Navigation route NR for the insertion on the head-up display 20 is thus calculated, where in the field of view of the driver, the grid 22 is to be displayed and what dimensions the grid 22 should have and, for example. also, if a compression is necessary.
- the data for the display of the grid 22 in step 435 are transmitted to the head-up display 20. This then inserts the calculated grid 22 into the field of view of the driver.
- the program ends in program step 440.
- Special purpose processors may include Application Specific Integrated Circuits (ASICs), Reduced Instruction Set Computer (RISC), and / or Field Programmable Gate Arrays (FPGAs).
- ASICs Application Specific Integrated Circuits
- RISC Reduced Instruction Set Computer
- FPGAs Field Programmable Gate Arrays
- the proposed method and apparatus implemented as a combination of hardware and software.
- the software is preferably installed as an application program on a program storage device. Typically it is a machine based on a
- Computer platform that has hardware, such as one or more
- CPU Central processing units
- RAM random access memory
- I / O Input / output interface
- the computer platform also typically installs an operating system.
- the various processes and functions described herein may be part of the application program or part that is executed via the operating system.
- the invention can always be used when the field of view of a driver, an operator or even just a person with data glasses can be enriched with AR impressions.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Abstract
Description
Beschreibung description
Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Method for indicating the course of a safety zone in front of a vehicle or an object with a display unit, device for carrying out the method, and
Kraftfahrzeug und Computerprogramm Motor vehicle and computer program
Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Dabei geht es im Besonderen um ein Verfahren zur Anzeige einer Sicherheitszone vor einem Fahrzeug oder einem Objekt auf einer Anzeigeeinheit. Solche Systeme werden vor allem in Fahrzeugen eingesetzt. Es besteht aber auch die Möglichkeit des Einsatzes der Erfindung bei Fußgängern, Radfahrern, etc. mit Datenbrille. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte The proposal concerns the technical field of driver information systems, also known as infotainment systems. In particular, this involves a method for displaying a safety zone in front of a vehicle or an object on a display unit. Such systems are used primarily in vehicles. But there is also the possibility of using the invention in pedestrians, cyclists, etc. with data glasses. The proposal continues to cover a correspondingly designed one
Vorrichtung zur Durchführung des Verfahrens sowie ein Kraftfahrzeug und ein Device for carrying out the method and a motor vehicle and a
Computerprogramm. Computer program.
Zur Zeit wird intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen At present, intensive work is being done on technologies that will later enable autonomous driving. A first approach is to not complete the driver of his
Aufgaben zu entlasten, sondern dafür Sorge zu tragen, dass der Fahrer jederzeit die Tasks to relieve, but to ensure that the driver at any time the
Steuerung des Fahrzeuges übernehmen kann. Der Fahrer nimmt außerdem Control of the vehicle can take over. The driver also takes
Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der Monitoring functions true. Due to newer technologies in the field of
Fahrerinformationssysteme wie Head-Up Display (HUD) ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren. Driver information systems such as Head-Up Display (HUD), it is possible to better inform the driver about the happenings in the environment of his vehicle.
Für die nahe Zukunft ist deshalb davon auszugehen, dass systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Fahrzeugsensorik, etc.) umfassende Informationen über Objekte (insb. Fahrzeuge) im direkten Umfeld des eigenen Fahrzeugs verfügbar sein werden. Im Bereich For the near future, it can therefore be assumed that system-wide information on objects (in particular vehicles) in the immediate vicinity of one's own vehicle becomes available through the use of newer technologies (vehicle-to-vehicle communication, use of databases, vehicle sensors, etc.) will be. In the area
Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung / -Warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen, etc. herangezogen werden. Vehicle sensors are in particular called the following components that allow an environment observation: RADAR devices according to Radio Detection and Ranging, LIDAR devices, according to Light Detection and Ranging, mainly for distance detection / warning, and cameras with appropriate image processing for the field of object recognition. This data on the environment can thus be used as a basis for system-side driving recommendations, warnings, etc.
Beispielsweise sind so Anzeigen / Warnungen darüber denkbar, in welche Richtung For example, ads / warnings about this are conceivable in which direction
(möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will. Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p. (possibly in your own trajectory) wants to turn another, surrounding vehicle. The vehicle-to-vehicle communication is now also possible by means of mobile communication with systems such as LTE according to Long Term Evolution. Here, a specification called LTE V2X was adopted by the 3GPP organization. Alternatively, systems based on WLAN technology for direct vehicle communication are available, in particular the system according to WLAN p.
Der Begriff„autonomes Fahren“ wird in der Literatur teilweise unterschiedlich benutzt. The term "autonomous driving" is sometimes used differently in the literature.
Zur Klärung dieses Begriffs wird deshalb hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomen Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden To clarify this term, therefore, the following insert is presented here. Autonomous driving (sometimes also called automatic driving, automated driving or piloted driving) is the movement of vehicles, mobile robots and driverless transport systems to understand the largely autonomous behavior. There are different gradations of the term autonomous driving. It is spoken at certain stages even from autonomous driving, if there is still a driver in the vehicle, if necessary, only takes over the monitoring of the automatic driving. In Europe, the various ministries of transport (in Germany the Federal Highway Research Institute was involved) worked together and the following
Autonomiestufen definiert. Defined autonomy levels.
• Level 0:„Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc. • Level 0: Driver only, the driver drives, steers, accelerates, brakes, etc.
• Level 1 : Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC). • Level 1: Certain assistance systems help with vehicle operation (including a cruise control system - Automatic Cruise Control ACC).
• Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den • Level 2: partial automation. Et al automatic parking, lane keeping, general longitudinal guidance, acceleration, deceleration, etc. are of the
Assistenzsystemen übernommen (u.a. Stauassistent). Assistance systems taken over (including congestion assistant).
• Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd • Level 3: high automation. The driver does not have to keep the system permanently
überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System monitor. The vehicle autonomously performs functions such as triggering the turn signal, lane change and lane keeping. The driver can turn to other things, but if necessary within a warning time of the system
aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3- Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen. asked to take the lead. This form of autonomy is technically feasible on motorways. Legislators are working to allow Level 3 vehicles. The legal framework has already been created for this purpose.
• Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. • Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich. • Level 4: full automation. The guidance of the vehicle is permanently taken over by the system. If the system no longer copes with the driving tasks, the driver can be asked to take the lead. • Level 5: No driver required. There is no human intervention beyond setting the goal and starting the system.
Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab. Automated driving functions as of level 3 relieve the driver of responsibility for controlling the vehicle.
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können. Due to the current trend towards higher levels of autonomy, but where many vehicles are still controlled by the driver, it can be assumed that corresponding additional information can already be used in the medium term for manually-operated vehicles and not for long-term highly automated systems.
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv, verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt. For the driver-vehicle interaction, this raises the question of how this information can be presented in such a way that real added value for the human driver is created and he can also locate the information provided quickly or intuitively. The following solutions in this area are already known from the prior art.
Eine Zukunftsvision in der Automobilbranche ist es, die Windschutzscheibe des eigenen Fahrzeugs mit virtuellen Elementen bespielen zu können, um dem Fahrer einige Vorteile zu ermöglichen. Genutzt wird die sogenannte„Augmented Reality“-Technologie (AR). Weniger geläufig ist der entsprechende deutschsprachige Begriff der„erweiterten Realität“. Dabei wird die reale Umgebung mit virtuellen Elementen angereichert. Das hat mehrere Vorteile: Der Blick nach unten, auf andere Displays als der Windschutzscheibe, entfällt, da viele relevante Informationen auf der Windschutzscheibe abgebildet werden. So muss der Fahrer seinen Blick nicht von der Fahrbahn abwenden. Außerdem ist durch die positionsgenaue Verödung der virtuellen Elemente in der realen Umwelt ein geringerer kognitiver Aufwand seitens des Fahrers wahrscheinlich, da keine Interpretation einer Grafik auf einem gesonderten Display erfolgen muss. Hinsichtlich des automatischen Fahrens kann ebenfalls ein Mehrwert erzeugt werden. A future vision in the automotive industry is to be able to record the windscreen of one's own vehicle with virtual elements, in order to offer the driver some advantages. The so-called "augmented reality" technology (AR) is used. Less familiar is the corresponding German-language term of "augmented reality". The real environment is enriched with virtual elements. This has several advantages: The view down, on displays other than the windshield, is eliminated, since many relevant information is displayed on the windshield. So the driver does not have to avert his gaze from the road. In addition, due to the positionally exact sclerosing of the virtual elements in the real environment, a lesser cognitive effort on the part of the driver is likely because no interpretation of a graphic must be done on a separate display. With regard to automatic driving, an added value can also be generated.
Da die technologischen Mittel heutzutage entsprechend begrenzt sind, kann davon ausgegangen werden, dass mittelfristig keine voll bespielbaren Windschutzscheiben in Fahrzeugen anzutreffen sein werden. Zurzeit werden Head-Up Displays in den Fahrzeugen eingesetzt. Diese haben auch den Vorteil, dass das Bild des HUD näher an der realen Umwelt erscheint. Bei diesen Displays handelt es sich eigentlich um Projektionseinheiten, die ein Bild auf die Windschutzscheibe projizieren. Dieses Bild befindet sich jedoch aus der Sicht des Fahrers je nach Bauart des Moduls wenige Meter bis 15 Meter vor dem Fahrzeug. Das„BNd“ setzt sich dabei folgendermaßen zusammen: Es handelt sich dabei weniger um ein virtuelles Display, sondern eher um eine Art„Schlüsselloch“ in die virtuelle Welt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Die begrenzte Given that today's technological resources are limited, it can be assumed that in the medium term, fully windable windshields will not be found in vehicles. Currently, head-up displays are used in vehicles. These also have the advantage that the image of the HUD appears closer to the real environment. These displays are actually projection units that project an image onto the windshield. However, from the driver's point of view, this image is located a few meters to 15 meters in front of the vehicle, depending on the design of the module. The "BNd" is composed as follows: It is less a virtual display, but rather a kind of "keyhole" in the virtual world. The virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. The limited
Anzeigefläche des HUD hat zur Folge, dass davon ein Ausschnitt gesehen werden kann.Display area of the HUD has the consequence that a section of it can be seen.
Man schaut also durch die Anzeigefläche des HUD auf den Ausschnitt der virtuellen Welt. Da diese virtuelle Umgebung die reale Umgebung ergänzt, spricht man in diesem Fall auch von einer„Mixed Reality“. So you look through the display area of the HUD on the section of the virtual world. Since this virtual environment complements the real environment, one speaks in this case of a "mixed reality".
Aus der DE 10 2007 016 868 A1 ist ein Verfahren zur Anzeige eines Fahrbahnverlaufs vor einem Fahrzeug bekannt, wobei eine aktuelle Geschwindigkeit des Fahrzeugs bestimmt wird. Dabei werden vor dem Fahrzeug liegende Punkte einer Fahrzeugumgebung so bestimmt, dass ein optischer Fluss dieser Punkte unter Berücksichtigung der aktuellen Fahrzeuggeschwindigkeit bestimmt wird und dass Symbole zur Darstellung des optischen Flusses für eine Darstellung des Fahrbahnverlaufs in die Head-Up-Anzeige eingeblendet werden. From DE 10 2007 016 868 A1 a method for displaying a lane course in front of a vehicle is known, wherein a current speed of the vehicle is determined. In this case, points of a vehicle environment lying in front of the vehicle are determined so that an optical flow of these points is determined taking into account the current vehicle speed and that symbols for displaying the optical flow are displayed in the head-up display for a presentation of the course of the lane.
Aus der WO 2005/053991 A1 ist ein Verfahren und System zur Unterstützung eines From WO 2005/053991 A1 is a method and system for supporting a
Pfadsteuerungsverfahrens bekannt. Das Verfahren und Systems dient zur Unterstützung der Pfadsteuerung, insbesondere eines Fahrzeugs auf einer Straße oder in einer Path control method known. The method and system is used to support the path control, in particular a vehicle on a road or in a
Geländeumgebung oder eines Schiffes oder eines Flugzeugs. Dabei besteht das Verfahren in der Durchführung aus mindestens einem der folgenden Schritte (a) und (b): (a) Schätzen eines tatsächlichen zukünftigen Pfades des Fahrzeugs auf der Grundlage von Terrain environment or a ship or an aircraft. In doing so, the method consists of performing at least one of the following steps (a) and (b): (a) estimating an actual future path of the vehicle based on
Fahrzeugbewegungsdaten und optische und / oder akustische und / oder taktile Anzeige des geschätzten tatsächlichen zukünftigen Weges an den Fahrer, (b) Erfassen des tatsächlichen gegenwärtigen Pfades des Fahrzeugs, Abschätzen einer gegenwärtigen Abweichung des detektierten tatsächlichen gegenwärtigen Weges von einem gewünschten gegenwärtigen Pfad und optische und / oder akustische und / oder taktile Anzeige der geschätzten gegenwärtigen Abweichung zum Fahrer. Vehicle motion data and optical and / or audible and / or tactile indication of the estimated actual future path to the driver; (b) detecting the actual current path of the vehicle, estimating a current deviation of the detected actual current path from a desired current path and optical and / or or audible and / or tactile indication of the estimated present deviation to the driver.
Aus der DE 10 2012 222 380 A1 ist ein stereoskopisches Head-Up Display bekannt, bei dem ein lichttechnischer Parameter der Anzeigeeinheit, wie die Helligkeit und Hintergrundfarbe aus der Umgebung des Fahrzeugs, insbesondere nur in Abhängigkeit von der Position des Fahrzeugs, einem ermittelten Niederschlag an der Position des Fahrzeugs, einer ermittelten Umgebungstemperatur an der Position des Fahrzeugs, einer Zeitinformation und/oder von wenigstens einem Wert einer externen Datenquelle bestimmt wird. Aus der DE 10 2006 032 770 A1 ist ein Kraftfahrzeug mit Head-Up Display bekannt, bei dem mit dem Head-Up Display ein Bremsweg des Kraftfahrzeuges angezeigt wird. Um dem Fahrer die Länge des Bremswegs unmittelbar zu verdeutlichen, wird derjenige fiktive Punkt, an dem das Kraftfahrzeug aufgrund des eingeleiteten Bremsvorgangs zum Stillstand kommen würde, im Head-Up-Display mit einem einprojizierten Querbalken visualisiert. From DE 10 2012 222 380 A1 a stereoscopic head-up display is known, in which a photometric parameters of the display unit, such as the brightness and background color from the environment of the vehicle, in particular only as a function of the position of the vehicle to a determined precipitation the position of the vehicle, a determined ambient temperature at the position of the vehicle, a time information and / or at least one value of an external data source is determined. From DE 10 2006 032 770 A1 a motor vehicle with head-up display is known in which a braking distance of the motor vehicle is displayed with the head-up display. In order to make the driver immediately aware of the length of the braking path, that fictitious point at which the motor vehicle would come to a standstill on the basis of the initiated braking process is visualized in the head-up display with a cross-beam projected in.
Vorzugsweise wird der aktuelle Bremsweg nicht nur bei einem tatsächlichen Bremsvorgang, d.h. wenn das Bremspedal gedrückt wird, angezeigt, sondern dauernd während des ganzen Fahrtbetriebs. Preferably, the actual braking distance is not limited to an actual braking operation, i. when the brake pedal is pressed, displayed but constantly during the entire driving operation.
Aus der DE 10 201 1 121 763 A1 ist ein Verfahren zur Darstellung einer Abstandsinformation auf einer Anzeigevorrichtung eines Fahrzeuges bekannt. Das Verfahren zeichnet sich dadurch aus, dass mit Kamera ein Echtbild der vor dem Fahrzeug liegenden Fahrspur aufgenommen wird, und in Abhängigkeit wenigstens einer fahrdynamischen Größe des Fahrzeuges ein Sicherheitsabstand zu dem vorausfahrenden Fahrzeug ermittelt wird. Das Echtbild wird um einen virtuellen Bildanteil in Form eines Querbalkens erweitert, der den Sicherheitsabstand lagerichtig zum vorausfahrenden Fahrzeug anzeigt. From DE 10 201 1 121 763 A1 a method for displaying a distance information on a display device of a vehicle is known. The method is characterized in that a real image of the lane ahead of the vehicle is recorded with the camera, and a safety distance to the vehicle in front is determined as a function of at least one vehicle-dynamic size of the vehicle. The real image is extended by a virtual image portion in the form of a crossbar, which indicates the safety distance in the correct position to the vehicle in front.
Aus der GB 2 419 1 18 A ist ein Head-Up-Display-System bekannt, bei dem eine beleuchtete horizontale Linie oder ein Band auf eine Fahrzeugfrontscheibe projiziert wird, um dem Fahrer einen Sicherheitsabstand anzuzeigen, in dem er einem vorausfahrenden Fahrzeug bei seiner Geschwindigkeit folgen sollte. From GB 2 419 1 18 A there is known a head-up display system in which an illuminated horizontal line or band is projected onto a vehicle windshield to indicate to the driver a safety margin at his or her speed of a preceding vehicle should follow.
Ein großer Vorteil der bisher bekannten„Augmented Reality“-Anzeigen (AR-Anzeigen) besteht darin, die entsprechenden Anzeigen direkt innerhalb bzw. als Teil der Umwelt darzustellen. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen (in herkömmlichen HUD) in der Regel schematische Darstellungen anzeigen (z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR- Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als„Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen für den Nutzer möglich. Dennoch weisen die bisher bekannten Ansätze auch verschiedene A major advantage of the so-called "augmented reality" (AR) displays is that they display the corresponding ads directly within or as part of the environment. Relatively obvious examples mostly relate to the field of navigation. While classic navigation displays (in conventional HUDs) typically display schematics (eg, a right-sided arrow indicating a right turn at the next opportunity, AR ads are much more effective.) Since the displays are considered "part of Environment "can be presented, very fast and intuitive interpretations for the user are possible., However, the previously known approaches also different
Probleme auf, für die zum jetzigen Zeitpunkt keine Lösungen bekannt sind. Problems for which there are no known solutions at the moment.
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im The known solutions are associated with various disadvantages. This was in the
Rahmen der Erfindung erkannt. Bei den bekannten Lösungen besteht das Problem, dass je nach Umgebungsbedingungen, insbesondere der Fahrsituation die Darstellung der Sicherheitszone entweder schlecht erkennbar oder eben zu auffällig ist und vom eigentlichen Geschehen auf der Fahrbahn ablenkt. Scope of the invention recognized. In the known solutions, the problem is that depending on the ambient conditions, in particular the driving situation, the representation of the Safety zone either poorly recognizable or just too conspicuous and distracts from the actual events on the road.
Es besteht also der Bedarf für weitere Verbesserungen bei der Anzeige von einer There is thus a need for further improvements in the display of one
Sicherheitszone vor dem Fahrzeug, die variabel den Umgebungsbedingungen angepasst werden soll, damit es nicht zu Ablenkungen des Fahrers kommen kann. Safety zone in front of the vehicle, which should be variably adapted to the ambient conditions so that it can not lead to distractions of the driver.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Eine weitere Aufgabe besteht darin, dass umgekehrt verhindert werden soll, dass der Fahrtrichtungsverlauf bei bestimmten Umgebungsbedingungen zu schwach dargestellt wird, so dass der Fahrer den Verlauf schlecht verfolgen kann. The invention sets itself the task of finding such an approach. Another object is that, conversely, it should be prevented that the direction of travel is displayed too weakly in certain environmental conditions, so that the driver can track the course poorly.
Diese Aufgabe wird durch ein Verfahren zur Anzeige einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit Hilfe einer Anzeigeeinheit gemäß Anspruch 1 , eine This object is achieved by a method for displaying a safety zone in front of a vehicle or an object with the aid of a display unit according to claim 1
Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 12 sowie ein Kraftfahrzeug gemäß Anspruch 14 und ein Computerprogramm gemäß Anspruch 15 gelöst. Device for carrying out the method according to claim 12 and a motor vehicle according to claim 14 and a computer program according to claim 15 solved.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen. The dependent claims contain advantageous developments and improvements of the invention according to the following description of these measures.
Die Lösung gemäß der Erfindung ist, auf verdeckende Flächen zu verzichten und statt dessen die Darstellung der Sicherheitszone in fragmentierter Form zu gestalten. In diesem Vorgehen werden eine Reihe von Vorteilen gesehen, die neben der Erfüllung der The solution according to the invention is to dispense with masking surfaces and instead to make the representation of the security zone in a fragmented form. In this approach, a number of advantages are seen, in addition to the fulfillment of the
Anforderungen geringe Verdeckung der Umwelt und zeitgleich eine ausreichende Requirements little occlusion of the environment and at the same time a sufficient
Fehlertoleranz darin bestehen, dass der menschliche Wahrnehmungsapparat aufgrund der evolutionsbiologischen Voraussetzungen mühelos in der Lage ist, die einzelnen Fault tolerance consists in the fact that the human perceptive apparatus is easily able, the individual perceptible due to the evolution-biological conditions
Anzeigeelemente als zusammenhängenden Hinweis zu verstehen. Vorzugsweise geschieht die Darstellung der Sicherheitszone in Rasterform, wobei das dem Fahrzeug abgewandte Ende des Rasters das Ende der Sicherheitszone bei der gemessenen Geschwindigkeit und optional unter Berücksichtigung der erfassten Umgebungsbedingungen anzeigt. Bis zum Ende der Sicherheitszone könnte der Fahrer unter Berücksichtigung der To understand display elements as a coherent hint. Preferably, the representation of the safety zone is done in grid form, wherein the vehicle facing away from the end of the grid indicates the end of the safety zone at the measured speed and optionally taking into account the detected environmental conditions. Until the end of the safety zone, the driver could take into account the
Umgebungsbedingungen und der angemessenen Reaktionszeit das Fahrzeug noch zum Stehen bringen. Environmental conditions and the appropriate response time to bring the vehicle to a halt.
In einer Ausgestaltung der Erfindung wird die Darstellung der Sicherheitszone so berechnet, dass sie den momentanen Bremsweg oder Anhalteweg des Fahrzeuges illustriert. Ändern sich die Geschwindigkeit des Fahrzeuges und/oder die Umgebungsbedingungen, wie Niederschlagssituation, Temperatur, Feuchte, so ändert sich auch der Bremsweg und dementsprechend dann auch die Darstellung der Sicherheitszone. In one embodiment of the invention, the representation of the safety zone is calculated such that it illustrates the instantaneous braking distance or stopping distance of the vehicle. Change the speed of the vehicle and / or the environmental conditions, such as Precipitation situation, temperature, humidity, so also the braking distance changes and accordingly also the representation of the safety zone.
In einer weiteren Ausgestaltung der Erfindung wird bei einer aufgrund der In a further embodiment of the invention is in a due to the
Umgebungserfassung als unbedenklich bewerteten Fahrsituation eine reduzierte Form des Rasters dargestellt, wobei insbesondere nur die Eckpunkte des Rasters angezeigt werden. Dies hat den Vorteil, dass die Darstellung der Sicherheitszone in den Hintergrund tritt und der Fahrer zwar bei bewusstem Hinsehen die Ausmaße der Sicherheitszone erkennen kann, ansonsten jedoch nicht durch die Einblendung der Sicherheitszone gestört wird. Environment detection as safely assessed driving situation represented a reduced form of the grid, in particular, only the corner points of the grid are displayed. This has the advantage that the representation of the safety zone takes a back seat and the driver, while consciously looking to recognize the dimensions of the safety zone, but otherwise is not disturbed by the insertion of the safety zone.
Umgekehrt wird bei einer Fahrsituation, die so bewertet wurde, dass sie eine erhöhte Conversely, in a driving situation that has been rated to be an increased one
Aufmerksamkeit des Fahrers verlangt, das Raster vervollständigt dargestellt, und zusätzlich wird je nach Situation eine virtuelle Haltelinie an einer Stelle des Fahrweges vor dem eingeblendeten Raster eingeblendet, wo die erhöhte Aufmerksamkeit des Fahrers erforderlich ist. Immer wenn die Sicherheitszone in vollständiger Rasterform sichtbar wird, ist dies für den Fahrer der Hinweis auf eine erhöhte Aufmerksamkeit. Wenn die Haltelinie eingeblendet wird, kann sich der Fahrer schon mal auf einen Bremsvorgang einstellen und zum Beispiel„Gas wegnehmen“. Attention of the driver requires the grid completed and, in addition, depending on the situation, a virtual stop line is displayed at a location of the track in front of the displayed grid, where the driver's heightened attention is required. Whenever the security zone becomes visible in full raster form, this is an indication of increased attention to the driver. When the stop line is displayed, the driver can already adjust to a braking process and, for example, "take gas off".
Typische Fahrsituationen, die so bewertet werden, dass sie eine erhöhte Aufmerksamkeit des Fahrers verlangen, entsprechen dem Fahren auf einer nicht vorfahrtsberechtigten Straße mit Annäherung an eine Querstraße oder Kreuzung mit zu beachtender Vorfahrtregel, wie Rechts-vor-Links, Stopp-Straße oder Vorfahrt-Straße. Die vollständige Typical driving situations that are assessed to require increased driver attention correspond to driving on a non-urban road approaching a crossroads or intersection with a priority rule to follow, such as right-to-left, stop-road or right of way. Street. The complete
Rastereinblendung käme auch bei anderen Fahrsituationen in Betracht. Weitere Beispiele sind: Plötzliches Bremsen des Vorderfahrzeuges, Auftreten von Grid insertion would also be considered in other driving situations. Other examples include: Sudden braking of the vehicle in front, occurrence of
Fahrbahnunregelmäßigkeiten wie Schlaglöchern, Kopfsteinpflaster usw., und in anderen Situationen, die ein Handeln des Fahrers im Sinne einer Geschwindigkeitsänderung oder einer Lenkhandlung notwendig machen, z.B.: Tiere oder Menschen auf der Fahrbahn oder Hindernisse auf der Fahrbahn. Road irregularities such as potholes, cobblestones, etc., and in other situations requiring action of the driver in terms of speed change or steering action, e.g., animals or people on the road or obstacles on the road.
Als weitere Maßnahme, mit der die Aufmerksamkeit des Fahrers gesteigert werden kann, wird bei einer Fahrsituation, die ein Eindringen eines anderen Verkehrsteilnehmers in die Sicherheitszone vor dem Fahrzeug prädiziert, das Raster zusätzlich farblich hervorgehoben dargestellt. As a further measure with which the driver's attention can be increased, the grid is additionally highlighted highlighted in a driving situation that predicts an intrusion of another road user in the safety zone in front of the vehicle.
Dabei kann die Einfärbung in weiterer Ausgestaltung dynamisch erfolgen, wobei die In this case, the coloring can be carried out dynamically in a further embodiment, wherein the
Rasterpunkte radial aus der Richtung eingefärbt werden, aus der der andere Verkehrsteilnehmer in die Sicherheitszone vor dem Fahrzeug mutmaßlich eindringt. Damit wird dann auch für den Fahrer intuitiv sichtbar, aus welcher Richtung die Gefahr droht. Halftone dots are dyed radially out of the direction from which the other Road users in the safety zone in front of the vehicle presumably penetrates. This makes it intuitively visible to the driver from which direction the danger threatens.
Zusätzlich kann bei Annäherung des Fahrzeuges an die virtuelle Haltelinie das Raster so berechnet werden, dass es in gestauchter Form eingeblendet wird, so dass alle In addition, when approaching the vehicle to the virtual stop line, the grid may be calculated to be displayed in a compressed form so that all
Rasterpunkte vor der Haltelinie positioniert werden, wenn die Lage des Rasters so berechnet wurde, dass das Fahrzeug-abgewandte Ende des Rasters die Haltelinie erreicht hat. Das Raster schiebt sich also nicht in die Kreuzung oder Einbiegung. Durch die Stauchung wird die Aufmerksamkeit auf die Haltelinie gerichtet, die im Gegensatz zum„fahrzeugfesten“ Raster an einer bestimmten Stelle auf der Straße (straßenfest) verortet ist. Die Länge des Rasters kann durch die Stauchung zwar nicht mehr den Bremsweg visualisieren, das Vorgehen liefert dem Fahrer aber die in der Situation wesentliche Information, nämlich an welcher Stelle der Straße er unbedingt zum Stehen kommen muss. Die Stauchung des Rasters erfolgt immer dann, wenn der Anhalteweg größer wird als die Entfernung zum Hindernis. Das Hindernis kann die virtuelle Haltelinie sein, aber auch z.B. das bremsende Vorderfahrzeug. Das Raster wird dann so gestaucht, dass es vor dem Vorderfahrzeug endet. Grid points are positioned in front of the stop line when the position of the grid has been calculated so that the vehicle-remote end of the grid has reached the stop line. The grid does not push itself into the intersection or inflection. Due to the compression, the attention is directed to the stop line, which, in contrast to the "vehicle-fixed" grid at a certain point on the road (street-fixed) is located. Although the length of the grid can no longer visualize the braking distance due to the compression, the procedure provides the driver with the information that is essential in the situation, namely at which point of the road he must necessarily come to a stop. The crushing of the grid occurs whenever the stopping distance becomes greater than the distance to the obstacle. The obstacle may be the virtual stop line, but also e.g. the braking fore vehicle. The grid is then compressed so that it ends in front of the fore vehicle.
Eine noch weiterhin gesteigerte Aufmerksamkeit kann in der nächsten Eskalationsstufe erreicht werden, indem die virtuelle Haltelinie zusätzlich eingefärbt wird. Increased attention can be achieved in the next escalation stage by additionally coloring the virtual stop line.
Gleichzeitig, oder als weitere Eskalationsstufe ausgeführt, kann auf die Gefahrensituation noch stärker hingewiesen werden, indem zusätzlich zum Einfärben der virtuellen Haltelinie ein oder mehrere Aktionsaufforderungssymbole eingeblendet werden. So wird dann der Fahrer sehr eindringlich auf die Notwendigkeit des Einleitens des Bremsvorgangs At the same time, or executed as a further escalation level, the danger situation can be pointed even more strongly by one or more action request symbols being displayed in addition to coloring the virtual stop line. So then the driver becomes very insistent on the need to initiate the braking process
hingewiesen. Als Aktionsaufforderungssymbol wird vorzugsweise ein pointed. As an action request symbol is preferably a
Bremsaufforderungssymbol verwendet. Brake request symbol used.
Das Aktionsaufforderungssymbol wird vorzugsweise so eingeblendet, dass es wie über der virtuellen Haltelinie schwebend dargestellt wird. Dadurch wird erreicht, dass dieses Symbol aufgrund seiner Höhe über der Straßenoberfläche auch dann noch sichtbar bleibt, wenn die augmentierte Haltelinie sich so nah vor dem Fahrzeug befindet, dass sie nicht mehr im Sichtbereich des Head-Up-Displays (Field of View) angezeigt werden kann. The action prompt icon is preferably displayed as hovering over the virtual stop line. This ensures that this symbol still remains visible due to its height above the road surface, even if the augmented stop line is so close to the vehicle that they are no longer displayed in the field of view of the head-up display (field of view) can.
Für eine Vorrichtung zur Durchführung des Verfahrens ist es vorteilhaft, wenn sie eine Anzeigeeinheit aufweist, mit der virtuelle Zusatzinformationen in das Sichtfeld des Fahrers oder der Bedienperson des Objektes eingeblendet werden können. Dies ist bei einem Head- Up Display wie auch bei einer Datenbrille gegeben. Weiterhin sollte diese Vorrichtung eine Recheneinheit und Erfassungsmittel aufweisen. Mit den Erfassungsmitteln wird die For a device for carrying out the method, it is advantageous if it has a display unit with which additional virtual information can be superimposed into the field of vision of the driver or the operator of the object. This is the case with a head-up display as well as with data glasses. Furthermore, this device should be a Have arithmetic unit and detection means. With the detection means is the
Geschwindigkeit und die Umgebung wie auch optional weitere Umweltgegebenheiten erfasst. Die Recheneinheit ist dabei so ausgelegt, in Abhängigkeit von der Geschwindigkeit und/oder von der erfassten Umgebung/Umweltgegebenheiten für die Anzeige der Speed and the environment as well as optional other environmental conditions recorded. The arithmetic unit is designed, depending on the speed and / or of the detected environment / environmental conditions for the display of
Sicherheitszone ein Raster zu berechnen, wobei das Fahrzeug-abgewandte Ende des Rasters das Ende der Sicherheitszone anzeigt. Um andere Fahrzeuge, Verkehrsteilnehmer, Hindernisse usw. zu erkennen, wird die Umgebung erfasst. Wichtig ist auch die sehr genaue Erfassung der eigenen Position in der Umgebung. Dies ist vorteilhaft, damit eine Security zone to calculate a grid, with the vehicle-remote end of the grid indicates the end of the security zone. To detect other vehicles, road users, obstacles, etc., the environment is detected. Also important is the very accurate recording of your own position in the environment. This is beneficial to one
„passgenaue“ Augmentierung möglich wird. Hierzu gehört auch das Erfassen des künftigen Straßenverlaufs, da die Anzeige des Rasters sich an den Straßenverlauf anpassen sollte und z.B. nicht in einer Kurve neben der Straße liegen sollte. In diesem Zusammenhang sollten auch Daten über den Steuerungsvorgang des Fahrzeuges, wie der eigene "Accurate" augmentation is possible. This also includes the detection of the future course of the road, as the display of the grid should be adapted to the course of the road and e.g. should not be in a bend next to the road. In this context should also be data about the control process of the vehicle, such as its own
Lenkwinkel, Setzen des„Blinkers“ oder eine Querablage innerhalb der Fahrspur erfasst, und berücksichtigt werden, damit das Raster z.B. bei Spurwechseln korrekt auf der künftigen Trajektorie des Fahrzeuges eingeblendet werden kann. Steering angle, setting the "turn signal" or a cross-shelf within the lane detected, and taken into account so that the grid, for example. when lane changes can be displayed correctly on the future trajectory of the vehicle.
Als Umweltgegebenheit können Wetterbedingungen ,wie die Niederschlagsarten Regen, Starkregen, Schnee, Hagel oder Nebel, erfasst werden. Damit können auch die As an environmental condition, weather conditions such as rainfall, heavy rain, snow, hail or fog can be recorded. This can also be the
Sichtbedingungen erfasst werden. Voraussetzung ist das Vorhandensein einer Viewing conditions are recorded. Prerequisite is the presence of a
entsprechenden Sensorik. Alternativ kann auch ein sehr genauer Wetterbericht corresponding sensors. Alternatively, a very accurate weather report
herangezogen werden, der z.B. über Internet geladen wird. be used, e.g. is loaded via the Internet.
Besonders vorteilhaft ist, wenn die Anzeigeeinheit als Head-Up Display ausgeführt ist. Statt eines Head-Up Displays kann in der Vorrichtung als Anzeigeeinheit eine Datenbrille oder ein Monitor eingesetzt werden, auf dem ein Kamerabild angezeigt wird, in das das Raster eingeblendet wird. It is particularly advantageous if the display unit is designed as a head-up display. Instead of a head-up display, a data goggle or a monitor can be used in the device as a display unit, on which a camera image is displayed, in which the grid is displayed.
In vorteilhafter Weise kann die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt werden. Im Fahrzeug wird die Erfindung vorzugsweise so realisiert, dass die Anzeigeeinheit im Fahrzeug fest installiert ist, z.B. in Form eines Head-Up Displays. Advantageously, the device according to the invention can be used in a motor vehicle. In the vehicle, the invention is preferably realized so that the display unit is permanently installed in the vehicle, e.g. in the form of a head-up display.
Trotzdem wäre eine mögliche Realisierungsform auch mit Hilfe einer Datenbrille möglich, wenn der Einsatz der Datenbrille beim Fahrer in Zukunft erlaubt wäre. Nevertheless, a possible form of realization would also be possible with the aid of data glasses, if the use of data glasses by the driver would be permitted in the future.
Wie erwähnt, kann die Erfindung in vorteilhafter Weise auch eingesetzt werden, wenn die Anzeigeeinheit einer Datenbrille entspricht. Dann lässt sich das erfindungsgemäße As mentioned, the invention can also be advantageously used if the display unit corresponds to data glasses. Then, the invention can be
Verfahren selbst bei Fußgängern, Radfahrern, Kradfahrern usw. einsetzen. Für ein Computerprogramm, das in der Recheneinheit der Vorrichtung zur Abarbeitung kommt, um das erfindungsgemäße Verfahren durchzuführen, gelten die entsprechendenUse procedures even for pedestrians, cyclists, bikers, etc. For a computer program that comes in the computing unit of the device for processing to perform the inventive method, the corresponding apply
Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben. Advantages as described for the method according to the invention.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert. Embodiments of the invention are illustrated in the drawings and are explained in more detail with reference to FIGS.
Es zeigen: Show it:
Fig. 1 das Prinzip der Einblendung von Informationen in das Sichtfeld des Fahrers eines Fahrzeuges während der Fahrt mit Hilfe eines Head-Up Displays; 1 shows the principle of the superimposition of information in the field of vision of the driver of a vehicle while driving with the aid of a head-up display;
Fig. 2 das typische Cockpit eines Fahrzeuges; Fig. 2 shows the typical cockpit of a vehicle;
Fig. 3 das Blockschaltbild des Infotainment-Systems des Fahrzeuges; 3 shows the block diagram of the infotainment system of the vehicle;
Fig. 4 zwei Darstellungen von Rastereinblendungen für die Anzeige von Fig. 4 shows two representations of grid overlays for the display of
Fahrtrichtungsverläufen, einmal auf gerader Strecke und einmal bei Durchfahren einer Kurve; Direction of travel, once on a straight line and once when driving through a curve;
Fig. 5 das Prinzip der Einblendung einer Sicherheitszone in das Sichtfeld des Fahrers eines Fahrzeuges in Rasterform gemäß der Erfindung; Figure 5 shows the principle of the insertion of a safety zone in the field of view of the driver of a vehicle in grid form according to the invention.
Fig. 6 eine Darstellung einer reduzierten Einblendung einer Sicherheitszone in das Fig. 6 is an illustration of a reduced insertion of a security zone in the
Sichtfeld des Fahrers eines Fahrzeuges in Rasterform gemäß eines ersten Field of vision of the driver of a vehicle in grid form according to a first
Ausführungsbeispiels der Erfindung; Embodiment of the invention;
Fig. 7 eine Darstellung der vollständigen Einblendung einer Sicherheitszone in das Fig. 7 is an illustration of the complete insertion of a security zone in the
Sichtfeld des Fahrers eines Fahrzeuges in Rasterform gemäß eines zweiten Ausführungsbeispiels der Erfindung; und Field of vision of the driver of a vehicle in grid form according to a second embodiment of the invention; and
Fig. 8 eine Darstellung einer Einblendung einer Sicherheitszone in das Sichtfeld des 8 is an illustration of an insertion of a security zone in the field of view of
Fahrers eines Fahrzeuges in Rasterform gemäß eines dritten Ausführungsbeispiels der Erfindung; Driver of a vehicle in raster form according to a third embodiment of the invention;
Fig. 9 eine Darstellung einer Einblendung einer Sicherheitszone in das Sichtfeld des 9 is an illustration of an insertion of a security zone in the field of view of
Fahrers eines Fahrzeuges in Rasterform gemäß eines vierten Ausführungsbeispiels der Erfindung; Driver of a vehicle in raster form according to a fourth embodiment of the invention;
Fig. 10 eine Darstellung einer Einblendung einer Sicherheitszone in das Sichtfeld des 10 is an illustration of an insertion of a security zone in the field of view of
Fahrers eines Fahrzeuges in Rasterform gemäß eines fünften Ausführungsbeispiels der Erfindung; Driver of a vehicle in raster form according to a fifth embodiment of the invention;
Fig. 1 1 eine Darstellung einer Einblendung einer Sicherheitszone in das Sichtfeld des Fig. 1 1 is a representation of an insertion of a security zone in the field of view of
Fahrers eines Fahrzeuges in Rasterform gemäß eines sechsten Driver of a vehicle in grid form according to a sixth
Ausführungsbeispiels der Erfindung mit Einblendung eines Embodiment of the invention with insertion of a
Bremssaufforderungssymbols; Brake prompt symbol;
Fig. 12 die Darstellung der Einblendung einer Sicherheitszone in das Sichtfeld des Fahrers eines Fahrzeuges in Rasterform gemäß des fünften Ausführungsbeispiels der Erfindung, bei der nur noch die Einblendung des Bremssaufforderungssymbols sichtbar ist; 12 shows the illustration of the insertion of a safety zone in the field of vision of the driver of a vehicle in grid form according to the fifth embodiment of the invention Invention, in which only the display of the brake request symbol is visible;
Fig. 13 die Darstellung der Einblendung einer Sicherheitszone in das Sichtfeld des Fahrers eines Fahrzeuges gemäß des fünften Ausführungsbeispiels der Erfindung bei einer Eskalationsstufe, bei der nur noch die Einblendung des 13 shows the representation of the insertion of a safety zone in the field of vision of the driver of a vehicle according to the fifth exemplary embodiment of the invention in an escalation stage in which only the display of the
Bremssaufforderungssymbols sichtbar ist, und der andere Verkehrsteilnehmer, der in die Sicherheitszone eingedrungen ist, ebenfalls im Sichtfeld des Fahrers sichtbar ist; und Brake call icon is visible, and the other road users, which has penetrated into the safety zone, is also visible in the field of vision of the driver; and
Fig. 14 ein Flussdiagramm für ein Programm zur Berechnung der Einblendung eines 14 is a flowchart for a program for calculating the insertion of a
Rasters zur Anzeige des Sicherheitsbereichs gemäß eines Ausführungsbeispiels der Erfindung. Raster for displaying the security area according to an embodiment of the invention.
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen. The present description illustrates the principles of the disclosure of the invention. It will thus be understood that those skilled in the art will be able to devise various arrangements which, while not explicitly described herein, are intended to embody principles of the invention and to be equally limited in scope.
Fig. 1 veranschaulicht die prinzipielle Funktionsweise eines Head-Up Displays. Das Head-Up Display 20 ist im Fahrzeug 10 unterhalb/hinter dem Kombiinstrument im Fig. 1 illustrates the basic operation of a head-up display. The head-up display 20 is in the vehicle 10 below / behind the instrument cluster in
Armaturenbrettbereich angebracht. Durch Projektion auf die Windschutzscheibe werden Zusatzinformationen in das Sichtfeld des Fahrers eingeblendet. Diese Zusatzinformationen erscheinen so, als seien sie auf eine Projektionsfläche 21 im Abstand von 7 - 15 m vor dem Fahrzeug 10 projiziert. Durch diese Projektionsfläche 21 hindurch bleibt aber die reale Welt sichtbar. Mit den eingeblendeten Zusatzinformationen wird quasi eine virtuelle Umgebung erzeugt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Es wird aber nur auf einen Teil der Windschutzscheibe projiziert, so dass die Zusatzinformationen nicht beliebig im Sichtfeld des Fahrers angeordnet werden können. Dashboard area attached. By projection onto the windshield, additional information is displayed in the driver's field of vision. This additional information appears as if it were projected onto a projection surface 21 at a distance of 7 - 15 m in front of the vehicle 10. Through this projection surface 21, however, the real world remains visible. The additional information displayed creates a kind of virtual environment. The virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. However, it is only projected onto a part of the windshield, so that the additional information can not be arbitrarily arranged in the field of vision of the driver.
Fig. 2 zeigt das Cockpit des Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen möglich. Fig. 2 shows the cockpit of the vehicle 10. Shown is a passenger car. As vehicle 10, however, any other vehicles would also be considered. Examples of other vehicles are: buses, commercial vehicles, especially trucks trucks, agricultural machinery, construction machinery, rail vehicles, etc. The use of the invention would be generally in land vehicles, rail vehicles, watercraft and aircraft possible.
In dem Cockpit sind drei Anzeigeeinheiten eines Infotainment-Systems dargestellt. Es handelt sich um das Head-Up-Display 20 und einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers. Deshalb werden die Zusatzinformationen während der Fahrt nicht auf der Anzeigeeinheit 30 eingeblendet. In the cockpit three display units of an infotainment system are shown. It is the head-up display 20 and a touch-sensitive screen 30, which is mounted in the center console. When driving, the center console is not in the driver's field of vision. Therefore, the additional information is not displayed on the display unit 30 while driving.
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein The touch-sensitive screen 30 serves in particular for the operation of functions of the vehicle 10. For example, about a radio, a
Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainment-System“ gesprochen. Ein Infotainment-System bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Navigation system, playback of stored music and / or air conditioning, other electronic devices or other comfort functions or applications of the vehicle 10 are controlled. In summary, there is often talk of an "infotainment system". An infotainment system refers to motor vehicles, especially passenger cars, the merger of car radio, navigation system,
Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Zur Bedienung des Infotainment-Systems wird hauptsächlich der berührungsempfindliche Bildschirm 30 („Touchscreen“) benutzt, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeugs 10, aber auch von einem Beifahrer des Fahrzeugs 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet. Handsfree, driver assistance systems and other functions in a central control unit. The term infotainment is a boxword word composed of the words information and entertainment (entertainment). To operate the infotainment system mainly the touch-sensitive screen 30 ("touch screen") is used, this screen 30 can be well viewed and operated in particular by a driver of the vehicle 10, but also by a passenger of the vehicle 10. In addition, below the screen 30, mechanical operating elements, for example keys, rotary encoders or combinations thereof, such as, for example, a push-dial regulator, can be arranged in an input unit 50. Typically, steering wheel control of parts of the infotainment system is also possible. This unit is not shown separately, but is considered part of the input unit 50.
Fig. 3 zeigt schematisch ein Blockschaltbild des Infotainment-Systems 200 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainment-Systems. Die Bedienungs- Vorrichtung umfasst die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum 3 shows schematically a block diagram of the infotainment system 200 as well as by way of example some subsystems or applications of the infotainment system. The operation device includes the touch-sensitive display unit 30, a calculator 40, an input unit 50, and a memory 60. The display unit 30 includes both a display surface for displaying variable graphic information and a control surface (touch-sensitive layer) disposed above the display surface
Eingeben von Befehlen durch einen Benutzer. Entering commands by a user.
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 The display unit 30 is connected to the computing device 40 via a data line 70
verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der connected. The data line can be designed according to the LVDS standard, corresponding to Low Voltage Differential Signaling. Via the data line 70, the display unit 30 receives control data for driving the display surface of the touch screen 30 from the
Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der Computing device 40. Via the data line 70 are also control data of
eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind die schon erwähnten Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann. Unter Eingabe wird allgemein das Anwählen einer ausgewählten Menüoption verstanden, wie auch das Ändern eines Parameters, das Ein- und Ausschalten einer Funktion usw. entered commands from the touch screen 30 to the computing device 40. Reference numeral 50 denotes the input unit. It is associated with the already mentioned control elements such as buttons, knobs, sliders, or rotary pushbuttons, with the help of which the operator can make inputs via the menu. Input is generally understood as selecting a selected menu item, as well as changing a parameter, turning a function on and off, and so on.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen. Hier können auch die Punkte / Symbole abgelegt sein, die für die Berechnung der Raster-Einblendung als Grundlage dienen. The memory device 60 is connected to the computing device 40 via a data line 80. In the memory 60, a pictogram directory and / or symbol directory is stored with the pictograms and / or symbols for the possible overlays of additional information. Here also the points / symbols can be stored, which serve as the basis for the calculation of the raster overlay.
Die weiteren Teile des Infotainment-Systems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainment-Systems verbunden. Als Datenbus 100 kommt die Highspeed- Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbilder/s entspricht. The other parts of the infotainment system camera 150, radio 140, navigation device 130, telephone 120 and instrument cluster 110 are connected via the data bus 100 with the device for operating the infotainment system. The data bus 100 is the high-speed variant of the CAN bus according to ISO standard 11898-2. Alternatively, for example, The use of an Ethernet-based bus system such as BroadR-Reach in question. Bus systems in which the data is transmitted via optical fibers can also be used. Examples are the MOST Bus (Media Oriented System Transport) or the D2B Bus (Domestic Digital Bus). Here it is mentioned that the camera 150 can be designed as a conventional video camera. In this case, it will record 25 frames / s, which is equivalent to 50 fields / s in the interlace recording mode.
Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben könnten auch die schon erwähnten RADAR- oder LIDAR-Systeme ergänzend oder alternativ eingesetzt werden, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem Alternatively, a special camera can be used that captures more images / sec to increase the accuracy of object detection on faster moving objects. Several cameras can be used for monitoring the environment. In addition, the already mentioned RADAR or LIDAR systems could be used in addition or alternatively to carry out or expand the field observation. For inbound and outbound wireless communication, the vehicle 10 is with a
Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Unit bezeichnet. Es kann für die Mobilfunk-Kommunikation, z.B. nach LTE Standard, Communication module 160 equipped. This module is often referred to as an on-board unit. It can be used for mobile communication, e.g. according to LTE standard,
entsprechend Long Term Evolution, ausgelegt sein. Ebenfalls kann es für WLAN- Kommunikation, entsprechend Wireless LAN, ausgelegt sein, sei es für die Kommunikation zu Geräten der Insassen im Fahrzeug oder für die Fahrzeug-zu-Fahrzeug Kommunikation etc. Das erfindungsgemäße Verfahren zur Anzeige einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit Hilfe einer Anzeigeeinheit wird im Folgenden anhand von mehreren Ausführungsbeispielen erläutert. according to Long Term Evolution, be designed. Likewise it can be designed for WLAN communication, according to wireless LAN, be it for the communication to devices of the occupants in the vehicle or for the vehicle-to-vehicle communication etc. The method according to the invention for displaying a safety zone in front of a vehicle or an object with the aid of a display unit will be explained below on the basis of several exemplary embodiments.
Für die weiteren Figuren gilt, dass gleiche Bezugszahlen die gleichen Felder und Symbole bezeichnen wie bei der Beschreibung der Figuren 1 bis 3 erläutert. For the other figures, the same reference numerals denote the same fields and symbols as explained in the description of FIGS. 1 to 3.
Wie zuvor beschrieben, ist Grundlage der erfindungsgemäßen Anzeige der Sicherheitszone ein virtuelles Raster, das in einem Abstand über der tatsächlichen realen Umwelt dargestellt wird. Die reale Umwelt entspricht dem realen Fahrbahnverlauf. As described above, the basis of the security zone display according to the invention is a virtual grid which is displayed at a distance above the actual real environment. The real environment corresponds to the real road course.
In Fig. 4 ist das Prinzip dargestellt, wie Informationen mit Hilfe des Head-Up Displays 20 in das Sichtfeld des Fahrers eingeblendet werden. Mit der Bezugszahl 21 ist wiederum die Projektionsfläche des Head-Up Displays 20 bezeichnet. Es ist dargestellt, dass entlang des Fahrbahnverlaufs ein Raster 22 eingeblendet wird. FIG. 4 shows the principle of how information is superimposed on the driver's field of vision by means of the head-up display 20. The reference number 21 again denotes the projection area of the head-up display 20. It is shown that a grid 22 is displayed along the roadway course.
Bei der nachfolgenden Beschreibung der Erfindung wird davon ausgegangen, dass der Fahrer das Fahrzeug 10 führt und das Fahrzeug damit nicht vollautomatisch gesteuert wird. Ein wesentlicher Teil der Fahraufgabe besteht darin, dass der Fahrer anhand der Pedale und des Lenkrades die Geschwindigkeit und Fahrtrichtung und damit die Längsführung und Querführung des Fahrzeugs kontrolliert. Diese auf der sogenannten operationalen Ebene stattfindenden Handlungen sind wesentlich für die Verkehrssicherheit und das Verhindern von Kollisionen mit anderen Verkehrsteilnehmern. In the following description of the invention it is assumed that the driver leads the vehicle 10 and the vehicle is thus not controlled fully automatically. An essential part of the driving task is that the driver controls the speed and direction of travel and thus the longitudinal guidance and lateral guidance of the vehicle on the basis of the pedals and the steering wheel. These actions, which take place at the so-called operational level, are essential for traffic safety and the prevention of collisions with other road users.
Diese Kontrolle der Längs- und Querführung erfolgt, indem Fahrer kontinuierlich während der Fahrt versuchen, eine Sicherheitszone rund um ihr Fahrzeug beizubehalten und bei This control of the longitudinal and lateral guidance is accomplished by drivers continuously trying to maintain a safety zone around their vehicle while driving
Verletzung dieser mit Bremsen oder Lenken reagieren. Diese Sicherheitszone lässt sich verstehen als ein Bereich oder eine Zeit, innerhalb dessen/derer sich das Fahrzeug sicher und kollisionsfrei bewegen kann. Die Visualisierung dieser Sicherheitszone mithilfe eines Augmented Reality Head-Up Displays (AR-HUD) direkt in der realen Umwelt stellt daher eine wertvolle Unterstützung für den Fahrer zur Bewältigung der Fahraufgabe dar. Violation of this with braking or steering respond. This safety zone can be understood as an area or time within which the vehicle can move safely and without collision. The visualization of this safety zone using an augmented reality head-up display (AR-HUD) directly in the real environment therefore provides valuable support for the driver to master the driving task.
Gegenstand der Erfindung ist die Logik und Visualisierung der Sicherheitszone im AR-HUD mithilfe eines Punkterasters. The invention relates to the logic and visualization of the safety zone in the AR-HUD using a point grid.
In der Fig. 5 ist das Prinzip der Einblendung eines Sicherheitsbereichs in das Sichtfeld des Fahrers gezeigt. Der Sicherheitsbereich wird in Form eines Punktrasters 22 eingeblendet. Die Ausdehnung des Punktrasters 22 wurde so berechnet, dass sie in etwa dem Bremsweg des Fahrzeuges entspricht bei der gegebenen Fahrgeschwindigkeit unter den gegebenen Bedingungen, wie in der Fig. 5 durch den Pfeil angedeutet. Auffallend ist, dass das FIG. 5 shows the principle of the insertion of a safety area into the field of vision of the driver. The security area is displayed in the form of a dot matrix 22. The extent of the dot matrix 22 was calculated so that it corresponds approximately to the braking distance of the vehicle at the given driving speed under the given conditions, as indicated in Fig. 5 by the arrow. Striking is that
Punktraster 22 sich nicht bis zur Front des Fahrzeuges erstreckt. Ein Grund dafür besteht darin, dass der Anzeigebereich des HUD tatsächlich erst einige Meter vor dem eigenen Fahrzeug anfängt. Man kann die Straße direkt vor dem Fahrzeug mit den zur Zeit technisch verfügbaren HUD-Einheiten noch nicht augmentieren. Es macht aber sowieso auch Sinn, den Sicherheitsbereich großzügiger zu wählen als den reinen Bremsweg. Das Raster 22 wird dann bloß für den Bremsweg 25 eingeblendet. Bis zum Einleiten des Bremsvorgangs kann noch Zeit vergehen, die durch das Raster 22 nicht umfasst ist. Es besteht natürlich in einer alternativen Ausgestaltung der Erfindung die Möglichkeit, das Raster größer als den reinen Bremsweg darzustellen. Dann würde das Raster 22 den Anhalteweg wiedergeben. Dot matrix 22 does not extend to the front of the vehicle. One reason for this is that the display area of the HUD actually begins only a few meters in front of your own vehicle. One can not yet augment the road directly in front of the vehicle with the currently technically available HUD units. However, it makes sense anyway to choose the safety area more generously than the pure braking distance. The grid 22 is then displayed only for the braking distance 25. Until the initiation of the braking process can still pass time that is not covered by the grid 22. Of course, in an alternative embodiment of the invention, it is possible to represent the grid larger than the pure braking distance. Then the grid 22 would reflect the stopping distance.
Zusammengefasst gilt für die Berechnung des Rasters: In summary, the following applies to the calculation of the grid:
Das Raster 22 visualisiert anhand seiner Ausmaße den Bremsweg. Eine Erhöhung der Geschwindigkeit führt daher aufgrund der damit verbundenen Verlängerung des Bremsweges zu einer steigenden Anzahl von Punktzeilen des Rasters. Grid 22 visualizes the braking distance based on its dimensions. Increasing the speed therefore leads to an increasing number of dot lines of the grid due to the associated extension of the braking distance.
Das Raster 22 ist abhängig vom Fahrzeugverhalten, wird während der Fahrt mitgeführt und ist daher als fahrzeugfest und nicht straßenfest zu verstehen (im Gegensatz z.B. zu Navigationspfeilen bei einem Navigationssystem). The grid 22 is dependent on the vehicle behavior, is carried while driving and is therefore to be understood as vehicle-fixed and not road-firm (in contrast to navigation arrows in a navigation system, for example).
Das Raster 22 folgt der Fahrbahn und passt sich z.B. in Kurven dem Straßenverlauf an. The grid 22 follows the roadway and conforms e.g. in curves to the road.
Je nach Verkehrssituation und Gefahrenpotential gibt es verschiedene Depending on the traffic situation and danger potential, there are various
Anzeigezustände des Rasters 22. In einer höheren Eskalationsstufe erfolgt außerdem eine akustische Warnung des Fahrers. Display states of the grid 22. In a higher escalation level, the driver is also warned acoustically.
In der Fig. 6 ist das erste Beispiel der Einblendung des Sicherheitsbereichs in Rasterform gezeigt, wo das Raster 22 in einer reduzierten Form zu sehen ist. Während der normalen Fahrt werden nur die 4 Eckpunkte des Rasters 22 angezeigt, um die Aktivität des Systems anzuzeigen und gleichzeitig die Straßenszene nur wenig zu überdecken. Zusätzlich sind einige weitere Informationen eingeblendet, die von links nach rechts bedeuten aktueller Gang (D),„zulässige Höchstgeschwindigkeit“ 60,„momentane Fahrgeschwindigkeit“ 33 km/h, eingestellte„Sollgeschwindigkeit“ des Geschwindigkeitsregelautomaten (GRA) 35 km/h,„verbleibende Reichweite“ 220 km. Die Angaben gelten für ein Elektrofahrzeug. FIG. 6 shows the first example of the fade-in of the security area in raster form, where the raster 22 can be seen in a reduced form. During the normal drive, only the 4 corner points of the raster 22 are displayed to indicate the activity of the system and at the same time to cover the street scene only slightly. In addition, some other information is displayed, which from left to right means current gear (D), "maximum speed" 60, "current vehicle speed" 33 km / h, set "target speed" of cruise control (GRA) 35 km / h, "remaining Range "220 km. The information applies to an electric vehicle.
Gerät das Fahrzeug in eine Verkehrssituation, die von dem Fahrer eine erhöhte Device the vehicle in a traffic situation, which is increased by the driver
Aufmerksamkeit erfordert, z.B. eine Verkehrskreuzung, so wird das Raster 22 vollständig mit weißen Rasterpunkten in transparenter Form eingeblendet. Das Ausmaß des Raster 22 zeigt in longitudinaler Richtung weiterhin die Länge des Bremswegs an. Dies entspricht der Eskalationsstufe 1 und der Fahrer wird dadurch auch auf schlecht vorhersehbare Situationen vorbereitet. Attention requires, for example, a traffic intersection, the grid 22 is completely with white grid points in transparent form. The extent of the grid 22 continues to indicate the length of the braking path in the longitudinal direction. This corresponds to the escalation level 1 and the driver is thus prepared for poorly predictable situations.
Erfordert die Verkehrssituation in jedem Fall eine Handlung des Fahrers, so wird dieses anhand einer weiteren Augmentierung in der Umwelt verdeutlicht. Ein Beispiel, wie dies erfolgen kann, ist in Fig. 8 dargestellt. Dort ist die Fahrsituation dargestellt, wo das Fahrzeug sich an eine Rechts-vor-Links-Kreuzung nähert. Dort ist in jedem Fall das Halten vor der kreuzenden Fahrspur angebracht. Um den Fahrer darauf vorzubereiten, wird eine If the traffic situation requires in any case an action of the driver, this is clarified by means of a further augmentation in the environment. An example of how this can be done is shown in FIG. There, the driving situation is shown, where the vehicle approaches to a right-to-left intersection. There, in any case, the stop in front of the crossing lane is appropriate. To prepare the driver for it, one becomes
augmentierte, weiße Haltelinie 23 an der Stelle Kreuzung eingeblendet. Diese augmented, white stop line 23 at the intersection point appears. These
Augmentierung kann im Gegensatz zum fahrzeugfesten Raster 22 straßenfest sein. Augmentation can be road-resistant in contrast to the vehicle-fixed grid 22.
Durch diese Maßnahme erhält der Fahrer eine Verhaltensempfehlung, die in der realen Umwelt nicht vorhanden ist. By this measure, the driver receives a behavioral recommendation that does not exist in the real environment.
Bei Erkennen einer drohenden Kollision z.B. durch das drohende Eindringen eines anderen Verkehrsteilnehmer in die eigene Sicherheitszone, wird das Raster 22 rötlich eingefärbt. Dies ist in der Fig. 9 dargestellt. Dabei wird das Raster so berechnet, dass die Einfärbung radial aus der Richtung beginnt, aus der der andere Verkehrsteilnehmer erscheinen soll. Die Einfärbung des Grids erfolgt prädiktiv, d.h. bereits dann, wenn das Fremdfahrzeug noch relativ weit von der Kreuzung entfernt ist. Oft wird die Situation so sein, dass die board- eigenen Umfeldbeobachtungsmittel wie Kamera 150 oder Radar das Fremdfahrzeug nicht leicht erkennen können. Die Fahrzeuge werden aber zukünftig über Car2Car-Kommunikation miteinander vernetzt, so dass sie ständig relevante Informationen austauschen. Dabei werden auch deren Positionsdaten ausgetauscht. Aus den aufeinanderfolgenden Upon detection of an impending collision, e.g. Due to the threat of another road user entering their own security zone, the grid 22 is colored reddish. This is shown in FIG. 9. The grid is calculated in such a way that the coloration starts radially from the direction from which the other road user should appear. The coloring of the grid is predictive, i. already when the other vehicle is still relatively far away from the intersection. Often, the situation will be such that the board's own environmental monitoring tools such as Camera 150 or Radar can not easily detect the other vehicle. However, the vehicles will in the future be networked via Car2Car communication so that they constantly exchange relevant information. At the same time their position data are exchanged. From the successive
Positionsdaten kann das Fahrzeug 10 die Bewegung der sich nähernden Fahrzeuge abschätzen und diejenigen Fahrzeuge mit Kollisions-/Gefahrenpotential bestimmen. Durch die Einfärbung des Rasters 22 von der Seite der drohenden Gefahr wird der Fahrer gewarnt und seine Aufmerksamkeit in diese Richtung gelenkt. Die Einfärbung entspricht einer zweiten Eskalationsstufe. Position data, the vehicle 10 can estimate the movement of approaching vehicles and determine those vehicles with collision / hazard potential. By coloring the grid 22 from the side of the imminent danger, the driver is warned and directed his attention in this direction. The coloring corresponds to a second escalation stage.
Eine weitere Maßnahme auf Seiten der zweiten Eskalationsstufe wird durchgeführt, wenn die vordere Rasterseite die eingeblendete Haltelinie 23 erreicht. Dies ist in der Fig. 10 gezeigt. Sodann wird das Raster 22 gestaucht, um vor der Haltelinie 23 zu enden. Die Stauchung kann so erfolgen, dass der Abstand der Raster-Querlinien beginnend von der Haltelinie 23 zur Fahrzeug-zugewandten Seite verringert wird, wie in Fig. 10 dargestellt. Das Raster 22 wird also nicht in die Kreuzung hineingeschoben. Durch die Stauchung der Rasterlinien wird die Haltelinie 23 betont, die im Gegensatz zum fahrzeugfesten Raster 22 an einer bestimmten Stelle auf der Straße verortet ist (straßenfest). Zusätzlich wird die Haltelinie ebenfalls rot eingefärbt. Another action on the side of the second escalation stage is made when the front raster page reaches the fade in stop line 23. This is shown in FIG. 10. Then, the grid 22 is compressed to end before the stop line 23. The compression can be done so that the distance of the grid transverse lines is reduced starting from the stop line 23 to the vehicle-facing side, as shown in Fig. 10. The grid 22 is therefore not pushed into the intersection. By the compression of the grid lines is emphasizes the stop line 23, which in contrast to the vehicle-fixed grid 22 is located at a certain point on the road (road-fixed). In addition, the stop line is also colored red.
Ein Nachteil ist, dass die Länge des Rasters 22 durch die Stauchung nicht mehr den Bremsweg korrekt visualisieren kann. Allerdings gerät diese Information bei dieser Situation zunehmend in den Hintergrund. Diese Maßnahme liefert dem Fahrer die in der Situation wesentliche Information, nämlich an welcher Stelle der Straße er unbedingt zum Stehen kommen muss. Durch die Stauchung und die Rotfärbung wird nicht mehr der tatsächliche Bremsweg angezeigt, sondern der nur noch verfügbare Weg. A disadvantage is that the length of the grid 22 can no longer correctly visualize the braking distance due to the compression. However, this information is increasingly taking a back seat in this situation. This measure provides the driver with the essential information in the situation, namely at which point of the road he must necessarily come to a halt. The compression and the red color no longer indicate the actual braking distance, but the only way available.
Ebenfalls auf der zweiten Eskalationsstufe, s. Fig. 11 , kann als zusätzliche Maßnahme gleichzeitig mit dem Erscheinen der augmentierten, roten Haltelinie 23 ein Aktions-Symbol 24 eingeblendet werden, das über der Haltelinie 23 im Straßenraum schwebend dargestellt wird. Der Vorteil dieser Zusatzmaßnahme besteht darin, dass aufgrund seiner erhöhten Position über der Straßenoberfläche dieses Symbol auch dann noch sichtbar bleibt, wenn die augmentierte Haltelinie 23 sich so nah vor dem Fahrzeug 10 befindet, dass sie nicht mehr im Sichtbereich des Head-Up Displays 20 (Field of View) angezeigt werden kann. Das Aktions-Symbol 24 entspricht im dargestellten Fall einem 2D Bremssymbol. Also on the second escalation level, s. 11, an action symbol 24 can be displayed as an additional measure simultaneously with the appearance of the augmented, red stop line 23, which is shown hovering above the stop line 23 in the street space. The advantage of this additional measure is that due to its elevated position above the road surface, this symbol remains visible even when the augmented stop line 23 is so close to the vehicle 10 that it is no longer in the field of view of the head-up display 20 (FIG. Field of View) can be displayed. The action icon 24 corresponds to a 2D brake symbol in the illustrated case.
In Fig. 12 ist das Aktions-Symbol 24 noch zu sehen, obwohl die Haltelinie 23 schon aus dem Sichtbereich des Head-Up Display 20 verschwunden ist. In Fig. 12, the action icon 24 can still be seen, although the stop line 23 has already disappeared from the field of view of the head-up display 20.
In der Fig. 13 ist noch das Fremdfahrzeug dargestellt, wie es in den Kreuzungsbereich einfährt und dabei in den Sicherheitsbereich des Fahrzeuges 10 eindringt. Das Aktions- Symbol 24 bleibt weiter eingeblendet. In FIG. 13, the foreign vehicle is still shown as it enters the intersection area and thereby penetrates into the safety area of the vehicle 10. The action icon 24 remains faded in.
In der Fig. 14 wird jetzt noch der Ablauf eines Programms gezeigt, das zur Durchführung des erfindungsgemäßen Verfahrens in der Recheneinheit 40 abgearbeitet wird. In FIG. 14, the course of a program is now shown, which is processed in the arithmetic unit 40 for carrying out the method according to the invention.
Der Programmstart ist mit der Bezugszahl 405 bezeichnet. Im Programmschritt 410 wird die Umfeldinformation Ul für das Fahrzeug 10 erfasst. Dies geschieht vorwiegend mit Hilfe der schon erwähnten, über Car2Car-Kommunikation übermittelten Daten von umgebenden Fahrzeugen. Zusätzlich werden ebenfalls die von Kamera 150 aufgenommenen Bilddaten ausgewertet, um z.B. Hindernisse am Straßenrand zu erkennen. Gleichfalls werden im Programmschritt 415 die Wetterbedingungen erfasst. Hier kommt es z.B. sehr darauf an, ob Niederschlag fällt, und auch, um welche Niederschlagsart es sich handelt. Dies kann mit einem Regensensor erfolgen oder über die Messung der Geschwindigkeit des Wischermotors oder ebenfalls durch ein Bildauswerteverfahren und Kamera 150. Zu den Wetterdaten gehören auch andere Messwerte wie Außentemperatur und Luftfeuchte. Diese Daten können von Board-eigenen Sensoren erfasst werden. In einer alternativen The program start is designated by the reference numeral 405. In program step 410, the surroundings information U1 for the vehicle 10 is recorded. This happens mainly with the help of the already mentioned data transmitted by Car2Car communication from surrounding vehicles. In addition, the image data recorded by camera 150 are also evaluated in order, for example, to detect obstacles on the roadside. Likewise, in program step 415, the weather conditions are detected. Here, for example, it depends very much on whether precipitation falls, and also what type of precipitation it is. This can with a rain sensor or via the measurement of the speed of the wiper motor or also by an image evaluation method and camera 150. The weather data include other measured values such as outside temperature and humidity. These data can be captured by on-board sensors. In an alternative
Ausführungsart können diese Daten auch über die On-Board Unit 160 geladen werden, z.B. von einer Internetseite, die die lokalen Wetterdaten WD sehr genau zur Verfügung stellt. Im nachfolgenden Schritt 420 werden die aktuelle Fahrgeschwindigkeit und die Daten über den aktuellen Steuerungsvorgang SG erfasst. Diese Information ist im Kombiinstrument 110 verfügbar und wird über den Fahrzeugbus 100 in die Recheneinheit 40 übertragen. Im Programmschritt 425 erfolgt die Auswertung der Navigationsroute NR, die vom This type of data may also be loaded via the on-board unit 160, e.g. from a website that provides the local weather data WD very accurately. In the following step 420, the current driving speed and the data on the current control process SG are detected. This information is available in the instrument cluster 110 and is transmitted via the vehicle bus 100 in the arithmetic unit 40. In program step 425, the evaluation of the navigation route NR, which is carried out by the
Navigationssystem 130 stammt. Über die Navigationsroute und den Kartendaten ist dem System dann bekannt, welche Strassenkreuzungen oder Strasseneinbiegungen auf der geplanten Fahrstrecke folgen. Danach erfolgt im Schritt 430 dann die Berechnung des Rasters 22 in Abhängigkeit von den erfassten Parametern Ul, WD, SG und der Navigation system 130 is derived. Via the navigation route and the map data, the system is then aware of which road intersections or road turns follow on the planned route. Thereafter, in step 430, the calculation of the raster 22 takes place as a function of the acquired parameters U1, WD, SG and the
Navigationsroute NR für die Einblendung auf dem Head-Up Display 20. Hier wird also berechnet, wo im Sichtfeld des Fahrers das Raster 22 eingeblendet werden soll und welche Ausmaße das Raster 22 haben soll und z.B. auch, ob eine Stauchung nötig ist. Schließlich werden die Daten für die Einblendung des Rasters 22 im Schritt 435 an das Head-Up Display 20 übertragen. Dieses blendet das berechnete Raster 22 dann in das Sichtfeld des Fahrers ein. Das Programm endet im Programmschritt 440. Navigation route NR for the insertion on the head-up display 20. Here is thus calculated, where in the field of view of the driver, the grid 22 is to be displayed and what dimensions the grid 22 should have and, for example. also, if a compression is necessary. Finally, the data for the display of the grid 22 in step 435 are transmitted to the head-up display 20. This then inserts the calculated grid 22 into the field of view of the driver. The program ends in program step 440.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von All examples mentioned herein as well as conditional formulations are to be understood without limitation to such specifically mentioned examples. This is how it is done, for example
Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Those skilled in the art will recognize that the block diagram presented here represents a conceptual view of exemplary circuitry. Similarly, it will be appreciated that an illustrated flowchart, state transition diagram, pseudocode, and the like represent various variants for representing processes that are described in the
Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein. Essentially stored in computer-readable media and thus can be executed by a computer or processor. The object mentioned in the claims can expressly also be a person.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, It should be understood that the proposed method and apparatus may be embodied in various forms of hardware, software, firmware,
Spezialprozessoren oder einer Kombination davon implementiert werden können. Special processors or a combination thereof can be implemented.
Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und / oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Special purpose processors may include Application Specific Integrated Circuits (ASICs), Reduced Instruction Set Computer (RISC), and / or Field Programmable Gate Arrays (FPGAs). Preferably, the proposed method and apparatus implemented as a combination of hardware and software. The software is preferably installed as an application program on a program storage device. Typically it is a machine based on a
Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Computer platform that has hardware, such as one or more
Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Central processing units (CPU), random access memory (RAM) and one or more
Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird. Input / output (I / O) interface (s). The computer platform also typically installs an operating system. The various processes and functions described herein may be part of the application program or part that is executed via the operating system.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde. The disclosure is not limited to the embodiments described herein. There is room for various adjustments and modifications that would be considered by those skilled in the art, as well as to the disclosure.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen. The invention will be explained in more detail in the embodiments using the example of the use in vehicles. Here is also referred to the use of aircraft and helicopters, for example, in landing maneuvers or search missions, etc.
Es wird aber darauf hingewiesen, dass der Einsatz nicht darauf beschränkt ist. Die Erfindung kann immer dann eingesetzt werden, wenn mit AR-Einblendungen das Sichtfeld eines Fahrers, einer Bedienperson oder auch einfach nur einer Person mit Datenbrille angereichert werden kann. It should be noted, however, that the use is not limited to this. The invention can always be used when the field of view of a driver, an operator or even just a person with data glasses can be enriched with AR impressions.
Auch bei ferngesteuerten Geräten wie Robotern, bei denen die Fernsteuerung über einen Monitor erfolgt, auf dem ein Kamerabild wiedergegeben wird, können AR Einblendungen die Bedienung erleichtern. Also besteht hier auch eine Einsatzmöglichkeit. Even with remote-controlled devices such as robots, in which the remote control via a monitor on which a camera image is played, AR displays can facilitate the operation. So there is also an application here.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
10 Fahrzeug 10 vehicle
20 Head-Up Display HUD 20 Head-Up Display HUD
21 virtuelle Projektionsfläche 21 virtual projection screen
22 Raster 22 grid
23 virtuelle Haltelinie 23 virtual stop line
24 Aktionssymbol 24 action icon
25 Bremsweg 25 braking distance
30 berührungsempfindliche Anzeigeeinheit 30 touch-sensitive display unit
40 Recheneinheit 40 arithmetic unit
50 Eingabeeinheit 50 input unit
60 Speichereinheit 60 storage unit
70 Datenleitung zur Anzeigeeinheit 70 data line to the display unit
80 Datenleitung zur Speichereinheit 80 data line to the memory unit
90 Datenleitung zur Eingabeeinheit 90 data line to the input unit
100 Datenbus 100 data bus
1 10 Kombiinstrument 1 10 instrument cluster
120 Telefon 120 phone
130 Navigationsgerät 130 navigation device
140 Radio 140 radio
150 Kamera 150 camera
160 Kommunikationsmodul 160 communication module
200 Infotainment-System 200 infotainment system
405 - verschiedene 405 - different
440 Programmschritte 440 program steps
Ul Daten zur Umfeldinformation Ul data for environment information
WD Wetterdaten WD weather data
SG Steuerungsdaten, Fahrzeuggeschwindigkeit SG control data, vehicle speed
NR Navigationsroute NR navigation route
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017221191.1A DE102017221191B4 (en) | 2017-11-27 | 2017-11-27 | Method for displaying the course of a safety zone in front of a vehicle or an object with a display unit, device for carrying out the method and motor vehicle and computer program |
| PCT/EP2018/079958 WO2019101491A1 (en) | 2017-11-27 | 2018-11-01 | Method for displaying the course of a safety zone in front of a vehicle or an object by means of a display unit, device for carrying out the method, and motor vehicle and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP3718097A1 true EP3718097A1 (en) | 2020-10-07 |
Family
ID=64308709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP18803343.5A Withdrawn EP3718097A1 (en) | 2017-11-27 | 2018-11-01 | Method for displaying the course of a safety zone in front of a vehicle or an object by means of a display unit, device for carrying out the method, and motor vehicle and computer program |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11325471B2 (en) |
| EP (1) | EP3718097A1 (en) |
| CN (1) | CN111373461A (en) |
| DE (1) | DE102017221191B4 (en) |
| WO (1) | WO2019101491A1 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018203462A1 (en) * | 2018-03-07 | 2019-09-12 | Volkswagen Aktiengesellschaft | Method for calculating a display of additional information for a display on a display unit, device for carrying out the method and motor vehicle and computer program |
| JP7508763B2 (en) * | 2018-03-29 | 2024-07-02 | 株式会社リコー | IMAGE CONTROL DEVICE, DISPLAY DEVICE, MOBILE OBJECT, IMAGE CONTROL METHOD, AND PROGRAM |
| US10991244B2 (en) | 2018-12-28 | 2021-04-27 | Beijing Voyager Technology Co., Ltd. | On-board vehicle stop cause determination system |
| US11435751B2 (en) * | 2018-12-28 | 2022-09-06 | Beijing Voyager Technology Co., Ltd. | Vehicle-based road obstacle identification system |
| DE102019217250A1 (en) * | 2019-11-07 | 2021-05-12 | Volkswagen Aktiengesellschaft | Identification of a driving maneuver to be carried out by means of additional floor markings |
| US11354913B1 (en) * | 2019-11-27 | 2022-06-07 | Woven Planet North America, Inc. | Systems and methods for improving vehicle predictions using point representations of scene |
| DE102020102278A1 (en) | 2020-01-30 | 2021-08-05 | Bayerische Motoren Werke Aktiengesellschaft | Method for navigation assistance in a motor vehicle on the basis of information from several detecting motor vehicles |
| KR20220017040A (en) * | 2020-08-03 | 2022-02-11 | 현대자동차주식회사 | Device and method for guiding stop area of vehicle |
| JP2022126240A (en) * | 2021-02-18 | 2022-08-30 | トヨタ自動車株式会社 | vehicle display |
| EP4068153A1 (en) * | 2021-03-31 | 2022-10-05 | Honda Research Institute Europe GmbH | Advanced driver assistance system for assisting a driver of a vehicle |
| JP7767738B2 (en) * | 2021-06-01 | 2025-11-12 | マツダ株式会社 | Head-up display device |
| US12311982B2 (en) | 2021-06-04 | 2025-05-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for displaying trajectories for autonomous vehicles |
| CN113421346B (en) * | 2021-06-30 | 2023-02-17 | 暨南大学 | A design method of AR-HUD head-up display interface that enhances driving experience |
| US12175605B2 (en) | 2022-03-22 | 2024-12-24 | Snap Inc. | Situational-risk-based AR display |
| JP7731841B2 (en) * | 2022-03-31 | 2025-09-01 | 本田技研工業株式会社 | Traffic Safety Support System |
| DE102022109576B4 (en) | 2022-04-20 | 2024-06-27 | Bayerische Motoren Werke Aktiengesellschaft | SYSTEM, METHOD AND SOFTWARE FOR DISPLAYING A DISTANCE MARKING |
| US12106580B2 (en) | 2022-06-14 | 2024-10-01 | Snap Inc. | AR assisted safe cycling |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19940718C1 (en) * | 1999-08-27 | 2001-05-31 | Daimler Chrysler Ag | Perspective image display method for automobile information display device has size of image elements altered in dependence of vehicle travel parameters and/or parameters of detected object |
| DE10317044A1 (en) | 2003-04-11 | 2004-10-21 | Daimlerchrysler Ag | Optical monitoring system for use in maneuvering road vehicles provides virtual guide surfaces to ensure collision free movement |
| AU2003300514A1 (en) | 2003-12-01 | 2005-06-24 | Volvo Technology Corporation | Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position |
| GB2419118A (en) | 2004-10-13 | 2006-04-19 | Adrian James Locke | Traffic spacer using head-up display |
| DE102005046756B4 (en) * | 2005-09-29 | 2017-10-26 | Volkswagen Ag | Method and device for displaying information of an automatic distance control |
| JP4720457B2 (en) | 2005-11-22 | 2011-07-13 | アイシン・エィ・ダブリュ株式会社 | Vehicle driving support method and driving support device |
| DE102006032770A1 (en) | 2006-07-14 | 2008-01-17 | GM Global Technology Operations, Inc., Detroit | Motor vehicle with a head-up display |
| JP4808119B2 (en) * | 2006-09-28 | 2011-11-02 | クラリオン株式会社 | Navigation device for displaying predicted stop position |
| DE102007016868A1 (en) | 2007-04-10 | 2008-10-16 | Robert Bosch Gmbh | Method for displaying a lane course and control device |
| DE102008013981B4 (en) * | 2008-03-12 | 2015-01-15 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Dynamic speed information display and its migration strategy |
| US8686872B2 (en) | 2010-12-29 | 2014-04-01 | GM Global Technology Operations LLC | Roadway condition warning on full windshield head-up display |
| EP2720929B1 (en) | 2011-06-17 | 2016-04-27 | Robert Bosch GmbH | Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway |
| DE102011121763B4 (en) | 2011-12-21 | 2023-04-06 | Volkswagen Aktiengesellschaft | Method for displaying distance information on a display device of a vehicle and display device |
| DE102012222380A1 (en) | 2012-12-06 | 2014-06-12 | Robert Bosch Gmbh | Method for determining representation parameter of reference projected as virtual image to windscreen of vehicle, involves determining photometric parameter depending on determined position, precipitation and/or external data source value |
| DE102013016242A1 (en) | 2013-10-01 | 2015-04-02 | Daimler Ag | Method and device for supporting at least one driver assistance system |
| DE102015204122A1 (en) * | 2014-05-12 | 2015-11-12 | Volkswagen Aktiengesellschaft | Traffic light assistance system for a vehicle with a display device |
| EP3093194B1 (en) * | 2015-04-24 | 2021-09-22 | Ricoh Company, Ltd. | Information provision device |
| EP3353763A1 (en) * | 2015-09-25 | 2018-08-01 | Apple Inc. | Augmented reality display system |
| JP6493923B2 (en) * | 2016-11-08 | 2019-04-03 | 本田技研工業株式会社 | Information display device, information display method, and information display program |
| EP4520636A3 (en) * | 2016-12-09 | 2025-06-11 | Kyocera Corporation | Imaging apparatus, image processing apparatus, display system, and vehicle |
-
2017
- 2017-11-27 DE DE102017221191.1A patent/DE102017221191B4/en active Active
-
2018
- 2018-11-01 EP EP18803343.5A patent/EP3718097A1/en not_active Withdrawn
- 2018-11-01 US US16/766,311 patent/US11325471B2/en active Active
- 2018-11-01 CN CN201880076615.9A patent/CN111373461A/en active Pending
- 2018-11-01 WO PCT/EP2018/079958 patent/WO2019101491A1/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019101491A1 (en) | 2019-05-31 |
| DE102017221191B4 (en) | 2019-06-13 |
| US11325471B2 (en) | 2022-05-10 |
| CN111373461A (en) | 2020-07-03 |
| DE102017221191A1 (en) | 2019-05-29 |
| US20200369149A1 (en) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102017221191B4 (en) | Method for displaying the course of a safety zone in front of a vehicle or an object with a display unit, device for carrying out the method and motor vehicle and computer program | |
| EP3543059B1 (en) | Method for calculating the insertion of additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program | |
| DE102018203121B4 (en) | Method for calculating an AR overlay of additional information for a display on a display unit, device for carrying out the method, motor vehicle and computer program | |
| DE102017212367B4 (en) | Device for displaying the course of a trajectory in front of a vehicle or an object with a display unit and motor vehicle | |
| EP3425442B1 (en) | Method for enriching a field of view of a driver of a vehicle with additional information, device for use in an observers' vehicle and motor vehicle | |
| EP2720929B1 (en) | Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway | |
| EP3717954B1 (en) | Method for displaying the course of a trajectory in front of a vehicle or an object by means of a display unit, and device for carrying out the method | |
| EP2172801B1 (en) | Method for displaying a visual warning sign | |
| DE102013200862B4 (en) | Optimal view of the display for the entire windscreen | |
| WO2019170387A1 (en) | Overlaying additional information on a display unit | |
| EP2720899B1 (en) | Method and display device for displaying a driving state of a vehicle and corresponding computer program product | |
| WO2020173775A1 (en) | Method for operating a driver information system in an ego-vehicle and driver information system | |
| EP3260329B1 (en) | Mirror replacement system for a vehicle | |
| DE112021004492T5 (en) | VEHICLE DISPLAY DEVICE | |
| DE102011083770A1 (en) | Method for the computer-aided processing of the near field of a vehicle | |
| EP3803275A1 (en) | Method for calculating an "augmented reality" overlay for displaying a navigation route on an ar display unit, device for carrying out the method, motor vehicle and computer program | |
| DE102015210780A1 (en) | Method and control unit for communication between an autonomous vehicle and an occupant | |
| DE102011121763A1 (en) | Method for representing distance information to preceding vehicle on display device of motor car, involves generating virtual image portion as graphics element, and representing real image that is expanded around portion, on display device | |
| EP3931030B1 (en) | Method for operating a driver information system in an ego-vehicle and driver information system | |
| DE102014214505B4 (en) | Method for creating an environment model of a vehicle | |
| EP3931025B1 (en) | Method for operating a driver information system in an ego-vehicle and driver information system | |
| WO2021139941A1 (en) | Method and device for displaying virtual navigation elements | |
| DE102018116067A1 (en) | Procedure for supporting a vehicle driver as well as assistance device, vehicle, computer program and system therefor | |
| DE102020106851A1 (en) | Device and method for assisting a driver of a vehicle in a turning maneuver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20200629 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20230510 |
|
| RIC1 | Information provided on ipc code assigned before grant |
Ipc: B60W 50/14 20200101ALI20230926BHEP Ipc: G08G 1/16 20060101AFI20230926BHEP |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
| INTG | Intention to grant announced |
Effective date: 20231109 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN |
|
| 18D | Application deemed to be withdrawn |
Effective date: 20240312 |