WO2022168540A1 - 表示制御装置及び表示制御プログラム - Google Patents
表示制御装置及び表示制御プログラム Download PDFInfo
- Publication number
- WO2022168540A1 WO2022168540A1 PCT/JP2022/000644 JP2022000644W WO2022168540A1 WO 2022168540 A1 WO2022168540 A1 WO 2022168540A1 JP 2022000644 W JP2022000644 W JP 2022000644W WO 2022168540 A1 WO2022168540 A1 WO 2022168540A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- display control
- information
- image
- peripheral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
- B60K35/265—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/171—Vehicle or relevant part thereof displayed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/178—Warnings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Definitions
- the disclosure in this specification relates to a display control device and a display control program.
- Patent Document 1 discloses a vehicle display device that displays an own vehicle icon and a plurality of line icons on the display.
- the display shows, for example, an arrow icon indicating that it is possible to change lanes to an adjacent lane, another vehicle icon indicating another vehicle in the adjacent lane, etc., based on the driving environment around the vehicle recognized by the camera, radar, etc. is also displayed.
- An object of the present disclosure is to provide a display control device and a display control program that can present the driving environment around the vehicle in an easy-to-understand manner.
- one disclosed aspect controls the display of a peripheral image (Dpm) showing the driving environment using information from a sensor (30) that recognizes the driving environment of the own vehicle (A).
- a display control device comprising: an information acquisition unit (71) for acquiring at least type information indicating a type of road and shape information indicating a lane shape of the road as road information related to a road around the own vehicle; and a display control unit (73, 77) that draws a line image part (Pln) that reproduces the road on a peripheral image using a line image that is drawn on the peripheral image based on the type information
- a display control device for changing the number of copies.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- road information related to the road around the vehicle at least type information indicating the type of road and shape information indicating the lane shape of the road are acquired, and using the shape information, a line image part that reproduces the road is displayed in the peripheral image.
- a display control program for executing processing including drawing and changing the number of line image portions to be drawn in the peripheral image based on the type information.
- the number of line image portions drawn in the peripheral image is changed based on the road type information, so the content of the peripheral image can be simplified according to the driving scene.
- the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the vehicle, the lanes of the road around the vehicle.
- An information acquisition unit that acquires shape information indicating the shape and automatic driving information that indicates whether or not there is an obligation to monitor the surroundings in automatic driving performed by the own vehicle, and a line image unit that reproduces the road using the shape information.
- a display control unit that draws on the peripheral image, the display control unit changing the number of line image parts to be drawn on the peripheral image according to whether or not there is an obligation to monitor the surroundings in the automatic driving that is being executed; be done.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- a line that reproduces the road by acquiring shape information that indicates the lane shape of the road around the vehicle and automatic driving information that indicates whether or not there is an obligation to monitor the surroundings during autonomous driving performed by the vehicle, and using the shape information.
- the number of line image parts drawn in the peripheral image is changed according to whether or not there is an obligation to monitor the surroundings in the automatic driving being executed.
- the content of the surrounding image can be simplified for autonomous driving operating conditions.
- the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the vehicle, the lanes of the road around the vehicle.
- An information acquisition unit that acquires shape information indicating the shape and recognition information of other vehicles traveling around the own vehicle, and a display control unit that draws a line image portion that reproduces the road on the surrounding image using the shape information.
- the display control unit is a display control device that changes the number of line image portions to be drawn in the peripheral image according to the number of other vehicles traveling around the own vehicle based on the recognition information.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle. Acquiring shape information indicating the lane shape of the road around the vehicle and recognition information of other vehicles traveling around the own vehicle, and using the shape information to draw a line image part that reproduces the road in the surrounding image, Based on the recognition information, the display control program executes processing including changing the number of line image portions to be drawn in the peripheral image according to the number of other vehicles traveling around the own vehicle.
- the number of line image portions drawn in the surrounding image is changed according to the number of other vehicles traveling around the own vehicle. Therefore, the peripheral image is changed to make it easier to recognize other vehicles according to changes in the traffic volume around the own vehicle. As a result, the peripheral image can present the positional relationship between the own vehicle and other vehicles around the own vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a peripheral image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- an information acquisition unit that acquires at least one of forward vehicle information indicating the presence or absence of a forward vehicle, vehicle speed information indicating the traveling speed of the own vehicle, and type information indicating the type of road around the own vehicle as information; and a display control unit that draws a peripheral image in a bird's-eye view of the vehicle and changes the scale of the peripheral image based on the vehicle-related information.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- At least one of forward vehicle information indicating the presence or absence of a forward vehicle, vehicle speed information indicating the traveling speed of the own vehicle, and type information indicating the type of the road around the own vehicle is acquired as the own vehicle related information related to the vehicle. 1) draws a peripheral image of the vehicle in a bird's-eye view, and changes the scale of the peripheral image based on the vehicle-related information.
- the scale of the peripheral image in which the vehicle is viewed from above is changed based on the road type information, the range around the vehicle reproduced in the peripheral image can be appropriately adjusted according to the driving scene. can be adjusted. As a result, the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- An information acquisition unit that acquires automated driving information that indicates whether or not there is an obligation to monitor surroundings during driving, and an image of the surroundings that provides a bird's-eye view of the vehicle is drawn, depending on whether there is an obligation to monitor surroundings during automated driving.
- a display control unit for changing the scale of the display control device.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- Acquire automated driving information that indicates whether or not there is an obligation to monitor the surroundings in automated driving that is executed by the vehicle, draw a surrounding image that looks down on the vehicle, and depending on whether there is an obligation to monitor the surroundings during automated driving during execution
- the scale of the peripheral image in which the vehicle is viewed from above is changed depending on whether or not there is an obligation to monitor the surroundings during automatic driving in progress. Therefore, even if the information recognized by the sensor increases for automatic driving, the range around the own vehicle reproduced in the surrounding image can be appropriately adjusted according to the operation state of automatic driving. As a result, the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- a display control device that controls display of a peripheral image showing the driving environment using information from a sensor that recognizes the driving environment of the vehicle, and which detects the physical condition of the driver of the vehicle.
- a physical condition abnormality grasping unit that grasps an abnormal state of the driver
- a display control unit that draws a peripheral image in a bird's-eye view of the own vehicle, and enlarges the scale of the peripheral image when an abnormal state of the driver's physical condition is grasped
- a display control device that controls display of a peripheral image showing the driving environment using information from a sensor that recognizes the driving environment of the vehicle, and which detects the physical condition of the driver of the vehicle.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- a display control program for executing processing including
- the peripheral image when an abnormal state of the driver's physical condition is detected, the scale of the peripheral image in which the vehicle is viewed from above is enlarged, and the range around the vehicle reproduced in the peripheral image is expanded. Therefore, even in situations where it is difficult for the driver to directly check the surroundings of the vehicle, the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a peripheral image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- an information acquisition unit that acquires at least one of vehicle speed information indicating the traveling speed of the own vehicle and type information indicating the type of the road around the own vehicle, and an image of the surroundings that provides a bird's-eye view of the own vehicle.
- a display control unit that acquires another image aligned with the peripheral image, and changes the area ratio of the peripheral image and the separate image on the display based on the vehicle-related information.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- At least one of vehicle speed information indicating the traveling speed of the own vehicle and type information indicating the type of the road around the own vehicle is acquired as own vehicle related information related to the own vehicle, and a surrounding image of the own vehicle in a bird's-eye view. and acquiring a separate image alongside the surrounding image, and changing the area ratio between the surrounding image and the separate image on the display based on the vehicle-related information.
- the area ratio of the peripheral image and the separate image displayed side by side is changed based on the own vehicle-related information.
- the display size of the peripheral image can be appropriately adjusted according to the driving scene.
- the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- Another disclosed aspect is a display control device that controls display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle.
- An information acquisition unit that acquires automated driving information indicating whether or not there is an obligation to monitor surroundings while driving, and an information acquisition unit that draws a bird's-eye view of the vehicle's surroundings, acquires another image that is aligned with the surrounding image, and displays the surrounding image.
- a display control unit that changes an area ratio to another image according to whether or not there is an obligation to monitor surroundings in the automatic driving that is being executed.
- Another aspect disclosed is a display control program for controlling display of a surrounding image showing the driving environment using information from a sensor that recognizes the driving environment of the own vehicle. Acquire automated driving information indicating whether or not there is an obligation to monitor the surroundings in automated driving performed by the vehicle, acquire a surrounding image of the vehicle from above and a separate image alongside the surrounding image, and acquire the surrounding image on the display. It is a display control program for executing processing including changing the area ratio with another image according to whether or not there is an obligation to monitor the surroundings in the automatic driving being executed.
- the area ratio of the peripheral image and the separate image that are displayed side by side is changed according to whether or not there is an obligation to monitor the surroundings in the automatic driving being executed. Therefore, even if the amount of information recognized by the sensor increases for automatic driving, the display size of the peripheral image can be appropriately adjusted according to the operating state of automatic driving. As a result, the peripheral image can present the driving environment around the vehicle in an easy-to-understand manner.
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing one display example of a peripheral image
- FIG. 10 is a diagram showing a display example of a peripheral image when a driver's physical condition abnormality is detected
- FIG. 10 is a diagram showing one display example of an output image
- FIG. 10 is a diagram showing one display example of an output image
- FIG. 10 is a diagram showing one display example of an output image
- the functions of the display control device according to one embodiment of the present disclosure are implemented in the automatic driving computer 100 shown in FIG.
- the automatic driving computer 100 is a high-performance in-vehicle computer that realizes a driving support function that assists the driving operation of the driver and an automatic driving function that can perform the driving operation on behalf of the driver.
- the vehicle hereinafter referred to as own vehicle A
- own vehicle A becomes an automatic driving vehicle having an automatic driving function.
- the above driving support function corresponds to the automatic driving function of level 2 or lower in the automatic driving level specified by the Society of Automotive Engineers of America. In automated driving at Level 2 or lower, the driver is obligated to monitor the surroundings.
- the automatic driving function described above corresponds to a level 3 or higher automatic driving function in which the system is the subject of control. Autonomous driving at Level 3 or higher is Eyes-off Autonomous Driving, in which the driver is not obligated to monitor the surroundings.
- the driver may be permitted to perform a predetermined specific action other than driving (hereinafter referred to as a second task).
- the automatic driving computer 100 is connected as one node to the communication bus 99 of the in-vehicle network.
- the communication bus 99 is connected with a peripheral monitoring sensor 30, a locator 35, a driver monitoring unit 38, a V2X communication device 39, a travel control ECU (Electronic Control Unit) 40, and the like.
- These nodes connected to the communication bus 99 of the vehicle network can communicate with each other.
- Certain nodes of these devices and ECUs may be directly electrically connected to each other and be able to communicate without the communication bus 99 .
- the surroundings monitoring sensor 30 is an autonomous sensor that monitors the surroundings of the vehicle A.
- the surroundings monitoring sensor 30 can detect predetermined moving objects and stationary objects from the detection range around the vehicle.
- the surroundings monitoring sensor 30 can detect a front vehicle, a rear vehicle, a side vehicle, and the like, as other vehicles traveling around the own vehicle.
- the perimeter monitoring sensor 30 can also detect moving objects such as pedestrians and cyclists.
- the perimeter monitoring sensor 30 can detect stationary objects such as road signs, pavement markings and road markings.
- the surroundings monitoring sensor 30 provides detection information of objects around the own vehicle to the automatic driving computer 100 and the like through the communication bus 99 .
- the perimeter monitoring sensor 30 includes, for example, a plurality of camera units 31 and millimeter wave radars 32.
- the camera unit 31 may be configured to include a monocular camera, or may be configured to include a compound eye camera. Each camera unit 31 is mounted on the own vehicle A so as to be able to photograph the front range, the rear range, and the left and right side ranges of the own vehicle A.
- the camera unit 31 outputs, as detection information, at least one of imaging data obtained by photographing the surroundings of the vehicle and analysis results of the imaging data.
- the millimeter wave radar 32 emits millimeter waves or quasi-millimeter waves toward the surroundings of the vehicle (for example, the front range).
- the millimeter wave radar 32 outputs detection information generated by a process of receiving reflected waves reflected by moving and stationary objects.
- the perimeter monitoring sensor 30 may further comprise sensing arrangements such as lidar and sonar.
- the locator 35 is configured to include a GNSS (Global Navigation Satellite System) receiver, an inertial sensor, and the like.
- the locator 35 combines the positioning signal received by the GNSS receiver, the measurement result of the inertial sensor, the vehicle speed information output to the communication bus 99, etc., and sequentially locates the own vehicle position and traveling direction of the own vehicle A.
- the locator 35 sequentially outputs the position information and direction information of the own vehicle A based on the positioning result to the communication bus 99 as locator information.
- GNSS Global Navigation Satellite System
- the locator 35 further has a map database (hereinafter referred to as a map DB) 36.
- the map DB 36 is mainly composed of a large-capacity storage medium storing a large amount of 3D map data and 2D map data.
- Three-dimensional map data is so-called HD (High Definition) map data, and includes information necessary for driving assistance and automatic driving, such as three-dimensional shape information of roads and detailed information of each lane.
- the locator 35 reads the map data around the current position from the map DB 36 and provides the automatic driving computer 100 and the like with the locator information.
- the driver monitoring unit 38 includes a near-infrared light source, a near-infrared camera, and a controller for controlling them.
- the driver monitoring unit 38 is installed, for example, on the upper surface of the steering column or the upper surface of the instrument panel, with the near-infrared camera facing the headrest portion of the driver's seat.
- the near-infrared light source and the near-infrared camera may be integrated with a meter display 21 or a center information display (hereinafter referred to as CID) 22, which will be described later, and may be provided on either screen.
- CID center information display
- the driver monitoring unit 38 uses a near-infrared camera to photograph the driver's head irradiated with near-infrared light from the near-infrared light source. An image captured by the near-infrared camera is provided from the controller to the automatic driving computer 100 or the like as driver status information indicating the driver's condition.
- a V2X (Vehicle to Everything) communication device 39 is an external communication unit mounted on own vehicle A.
- the V2X communication device 39 can implement, for example, vehicle-to-vehicle communication, road-to-vehicle communication, cellular communication, and the like.
- the V2X communication device 39 receives, for example, information indicating the relative positions of targets (eg, other vehicles, etc.) and warning targets (eg, pedestrians, cyclists, etc.) around the vehicle through road-to-vehicle communication.
- the V2X communication device 39 receives, for example, map data around the vehicle through cellular communication.
- the traveling control ECU 40 is an electronic control device that mainly includes a microcontroller.
- the travel control ECU 40 has at least the functions of a brake control ECU, a drive control ECU, and a steering control ECU.
- the driving control ECU 40 controls the braking force of each wheel, the output control of the vehicle power source, the steering angle control, etc. based on one of the operation command based on the driving operation of the driver and the control command of the automatic driving computer 100.
- the travel control ECU 40 acquires a detection signal from a wheel speed sensor 41 provided at the hub portion of each wheel.
- the traveling control ECU 40 generates vehicle speed information indicating the current traveling speed of the own vehicle A based on the detection signal of the wheel speed sensor 41 and sequentially outputs the generated vehicle speed information to the communication bus 99 .
- the automatic driving computer 100 mainly includes a control circuit including a processing unit 11, a RAM 12, a storage unit 13, an input/output interface 14, and a bus connecting them.
- the processing unit 11 is hardware for arithmetic processing coupled with the RAM 12 .
- the processing unit 11 includes at least one calculation core such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
- the processing unit 11 may further include an FPGA (Field-Programmable Gate Array), an NPU (Neural network Processing Unit), and an IP core having other dedicated functions.
- the RAM 12 may be configured to include a video RAM for generating video data.
- the processing unit 11 accesses the RAM 12 to perform various processes for realizing the automatic driving control method and the display control method of the present disclosure.
- the storage unit 13 is configured to include a nonvolatile storage medium.
- the storage unit 13 stores an automatic driving program, a display control program, and the like executed by the processing unit 11 .
- the automatic driving computer 100 is provided with a deadman determination block 50, an operation control block 60, and an HMI control block 70.
- the dead man determination block 50, the operation control block 60, and the HMI control block 70 may be hardware-independent circuit configurations, or at least a part of them may be hardware-integral circuit configurations. .
- the deadman decision block 50 is a control block for grasping an abnormal physical condition that has occurred in the driver of the vehicle A.
- FIG. Based on the driver status information obtained from the driver monitoring unit 38, the deadman decision block 50 automatically detects that the driver is in a difficult driving state due to a reason that is difficult to predict in advance, such as a sudden illness.
- the dead man determination block 50 detects the inclination of the driver's upper body and the inclination of the head relative to the upper body, etc., and detects the driver's posture collapse in order to diagnose that the driver has fallen into a difficult driving state.
- the dead man determination block 50 determines that the driver is in a difficult driving state when the driver's posture failure continues for a predetermined period of time after detecting the driver's posture failure.
- the deadman determination block 50 When the deadman determination block 50 detects that the driver's posture has changed to a posture inappropriate for driving, the deadman determination block 50 provides the operation control block 60 and the HMI control block 70 with abnormality detection information indicating that the driver's posture has changed. . Furthermore, when the detection of posture collapse continues for a predetermined period of time, the deadman determination block 50 provides the operation control block 60 and the HMI control block 70 with abnormality detection information indicating determination of a difficult driving state (abnormal state).
- the driving control block 60 is a control block that implements the driving support function and the automatic driving function.
- the driving control block 60 realizes driving support functions such as ACC (Adaptive Cruise Control), LTC (Lane Trace Control) and LCA (Lane Change Assist).
- the operation control block 60 performs operation control corresponding to ACC, LTC, LCA, etc. in a complex manner by activating the automatic operation function.
- the operation control block 60 has an environment recognition unit 61, an action determination unit 62, and a control execution unit 63 as functional units based on the automatic operation program.
- the environment recognition unit 61 recognizes the driving environment of the own vehicle A based on the locator information and map data acquired from the locator 35 and the detection information acquired from the surroundings monitoring sensor 30 . Specifically, the environment recognition unit 61 recognizes the position of the own vehicle lane in which the own vehicle travels among a plurality of lanes, the lane shape and traveling direction of each lane, and the relative positions of other vehicles and pedestrians around the own vehicle. Understand the relative speed, etc. The environment recognition unit 61 provides the HMI control block 70 with these recognition results and information indicating the reliability of detection by the periphery monitoring sensor 30 (hereinafter referred to as sensor reliability information).
- the behavior determination unit 62 switches the subject of driving operation control between the driver and the system.
- the action determination unit 62 generates a travel plan for causing the own vehicle A to travel based on the recognition result of the travel environment by the environment recognition unit 61 when the system side has the control right for the driving operation.
- the action determination unit 62 provides the HMI control block 70 with automatic driving information indicating the operating state of automatic driving.
- the automatic driving information includes at least information indicating whether or not automatic driving is being executed, and information indicating whether or not the automatic driving being executed has an obligation to monitor surroundings.
- Emergency evacuation control corresponds to MRM (Minimal Risk Maneuver) control and degeneracy operation control, and is automatic operation control in which the system side has the control right and stops the host vehicle A at an evacuation location.
- the evacuation place is set in the lane on which the vehicle is traveling or on the roadside (road shoulder) of the road on which the vehicle is traveling.
- an emergency parking strip, a roadside strip, a parking area, or the like may be set as a retreat location.
- the control execution unit 63 performs acceleration/deceleration control, steering control, etc. of the own vehicle A in accordance with the travel plan generated by the action determination unit 62 in cooperation with the travel control ECU 40 when the system has the right to control the driving operation. to run. Specifically, the control execution unit 63 generates control commands based on the travel plan, and sequentially outputs the generated control commands to the travel control ECU 40 .
- the HMI control block 70 is a control block that implements an input interface function that accepts operations by passengers such as the driver and an output interface function that presents information to the driver.
- the HMI control block 70 is electrically connected to display devices such as the meter display 21, CID 22 and head-up display (HUD) 23 shown in FIGS. 1 and 2, the audio device 24, the operation device 26, and the like.
- the display device of host vehicle A may further include displays EMB, EML, and EMR (see FIG. 2) of the electronic mirror system.
- the meter display 21 and the CID 22 are mainly composed of, for example, a liquid crystal display or an OLED (Organic Light Emitting Diode) display.
- the CID 22 has a touch panel function and detects a touch operation on the display screen by a driver or the like.
- the HUD 23 causes the driver to visually recognize a virtual image overlapping the foreground of the vehicle A by projecting the light of the image formed in front of the driver onto a projection area AP defined on the windshield WS or the like.
- the audio device 24 has a plurality of speakers installed inside the vehicle so as to surround the driver's seat.
- the audio device 24 reproduces notification sounds, voice messages, and the like in the vehicle interior through a speaker.
- the operation device 26 is an input unit that receives user operations by a driver or the like.
- the operation device 26 receives, for example, user operations related to activation and deactivation of the automatic driving function.
- the operation device 26 includes a steer switch provided on the spoke portion of the steering wheel, an operation lever provided on the steering column portion, a voice input device for recognizing the utterance content of the driver, and the like.
- the HMI control block 70 has a plurality of functional units that integrally control information presentation to the driver by executing the display control program stored in the storage unit 13 in the processing unit 11 .
- the HMI control block 70 includes functional units such as an information acquisition unit 71 , a 3D rendering unit 73 , a navigation function unit 74 and a presentation control unit 77 .
- the information acquisition unit 71 acquires various information necessary for presenting information to passengers such as drivers. Specifically, the information acquisition unit 71 obtains vehicle speed information, abnormality detection information, vehicle position information, road type information and shape information, automatic driving information, sensor reliability information, target detection information, warning target information, and the like. get.
- the vehicle speed information is information indicating the current running speed of the own vehicle A.
- the vehicle position information is information indicating the position of the vehicle lane.
- the abnormality detection information is information indicating an abnormality in the physical condition of the driver of the vehicle A, as described above.
- the road type information includes at least information indicating whether the road on which the vehicle is traveling is a general road or a highway (or parking lot), and information indicating the traveling direction of each lane of the road on which the vehicle is traveling.
- the expressway here includes a motorway.
- the road shape information is information that indicates the shape of each lane of the road on which the vehicle is traveling, in other words, information that indicates the shape of the division lines or road edges that divide each lane.
- the road shape information may be map data provided by the locator 35 as well as information based on the recognition results of lane markings or road edges provided by the environment recognition section 61 .
- the automatic driving information is information indicating whether or not there is an obligation to monitor surroundings in automatic driving executed by the driving control block 60.
- the sensor reliability information is information indicating the reliability of sensing by the camera unit 31 and millimeter wave radar 32 .
- information such as "high”, “medium”, and “low” reliability is provided to the information acquisition unit 71 as sensor reliability information.
- the target detection information includes information indicating the types of targets located around the own vehicle A, and information indicating the relative position and relative speed of each target.
- target types are identified, for example, general vehicles, large vehicles, motorcycles, pedestrians, cyclists, and the like.
- information indicating whether or not there is a forward vehicle traveling in the same lane as the host vehicle A is defined as forward vehicle information.
- the target detection information may include target size information and the like.
- the warning target information is information that specifies a target (hereinafter referred to as a warning target) that poses a high risk to the vehicle A among the targets located around the vehicle A.
- the warning target is specified from among the recognized targets based on the relative distance, relative speed, moving direction, etc., from the host vehicle A, for example.
- the process of specifying the warning target may be performed by the environment recognition unit 61 or by the information acquisition unit 71 .
- a pedestrian or the like located in the vicinity of the own vehicle A is specified as a warning target.
- road information related to roads around the own vehicle A such as type information and shape information.
- vehicle speed information, the forward vehicle information, the type information, and the like are vehicle-related information related to the vehicle A.
- FIG. Furthermore, among the acquired information, the vehicle position information, type information, shape information, sensor reliability information, target detection information, warning target information, and the like are recognition information based on the recognition result of the driving environment.
- the 3D rendering unit 73 renders the peripheral image Dpm (see FIGS. 6 to 12) as one of the multiple images to be displayed on the display device.
- the peripheral image Dpm is an image obtained by visualizing the driving environment around the vehicle recognized by the environment recognition unit 61 in real time, and is an image that reproduces the driving environment around the vehicle.
- the peripheral image Dpm is an image that looks like the host vehicle A is viewed from behind.
- the 3D drawing unit 73 lays out objects corresponding to the own vehicle A and other vehicles in a virtual modeling space, and generates a 2D image of the object group photographed from a virtual camera position as a peripheral image Dpm.
- a plurality of line icons Pln (see FIG. 6), own vehicle icon Pv (see FIG. 6), other vehicle icon Po (see FIG. 6), pedestrian icon Pa (see FIG. 9), and the like are drawn in peripheral image Dpm. be.
- Each line icon Pln is drawn using road shape information and indicates a plurality of division lines provided on the road on which the vehicle is traveling.
- the vehicle lane VLs in which the vehicle A travels is reproduced by the line icons Pln drawn to the left and right of the vehicle icon Pv.
- the line icons Pln displayed on the left and right ends of the peripheral image Dpm are road edge icons Pre indicating left and right road edges, respectively.
- the line icon Pln reproduces each lane of the road on which the vehicle is running in the peripheral image Dpm.
- the line icon Pln includes a recognized line Li1 and a non-recognized line Li2.
- the recognition line Li1 is a line icon Pln corresponding to a demarcation line (or road edge) recorded in map data and recognized by the perimeter monitoring sensor 30 .
- the unrecognized line Li2 is a line icon Pln corresponding to a demarcation line recorded in the map data but not recognized by the perimeter monitoring sensor 30 .
- a line icon Pln arranged near the own vehicle icon Pv becomes a recognition line Li1.
- the line icon Pln drawn at a position distant from the host vehicle icon Pv becomes the unrecognized line Li2.
- the recognized line Li1 and the non-recognized line Li2 are drawn in the peripheral image Dpm in different manners.
- the recognized line Li1 and the non-recognized line Li2 are drawn with different display colors or different line types.
- the recognition line Li1 is displayed in a display color with higher brightness or saturation than the non-recognition line Li2.
- the recognition line Li1 is drawn with a solid line
- the non-recognition line Li2 is drawn with a dashed line.
- the own vehicle icon Pv is an own vehicle image part that imitates the external shape of the upper surface and the rear surface of the own vehicle A.
- the host vehicle icon Pv is drawn in the host vehicle lane VLs reproduced in the peripheral image Dpm by a pair of line icons Pln.
- the own vehicle icon Pv is arranged slightly below the center of the peripheral image Dpm, and indicates the state of the own vehicle A.
- the other vehicle icon Po is an image portion of the other vehicle that imitates the external shape of the other vehicle.
- the other vehicle icon Po is drawn based on the target object detection information obtained by the camera unit 31 or the like that actually detects the other vehicle.
- the drawn shape of the other vehicle icon Po may be changed according to the type, size, etc. of the other vehicle recognized by the environment recognition unit 61 .
- the other vehicle icon Po is arranged around the own vehicle icon Pv so that the actual positional relationship between the own vehicle A and the other vehicle is reproduced in the peripheral image Dpm.
- the other vehicle icon Po notifies the driver of the presence of other vehicles located around the own vehicle.
- the pedestrian icon Pa is an image simulating a pedestrian, and is drawn based on the target object detection information obtained by the camera unit 31 or the like that has detected the actual pedestrian.
- the pedestrian icon Pa is arranged around the vehicle icon Pv so that the actual positional relationship between the vehicle A and the pedestrian is reproduced in the peripheral image Dpm.
- the pedestrian icon Pa warns the driver of the presence of a pedestrian that poses a risk to the own vehicle A.
- the 3D rendering unit 73 renders the above peripheral image Dpm by executing the 3D rendering process (see FIG. 3).
- the display mode of the peripheral image Dpm is sequentially changed based on the information acquired by the information acquisition unit 71 .
- the number and mode of the line icons Pln drawn on the peripheral image Dpm, and the scale and depression angle of the peripheral image Dpm are changed based on the acquired information.
- the 3D drawing process is started when the automatic operation computer 100 is activated, and is repeatedly performed by the information acquiring unit 71 and the 3D drawing unit 73 until the power of the automatic operation computer 100 is turned off.
- the information acquisition unit 71 sequentially acquires vehicle speed information, recognition information, and automatic driving information.
- the acquisition order of each information may be changed as appropriate.
- the number (quantity) of other vehicles around the own vehicle recognized by the surroundings monitoring sensor 30, whether or not the lane markings around the own vehicle registered in the map data are recognized by the surroundings monitoring sensor 30, etc. is grasped.
- evacuation control information indicating the state of transition to automatic evacuation control (degenerate operation) and the execution state may be acquired as the automatic operation information.
- the information acquisition unit 71 further acquires the abnormality detection information from the dead man determination block 50 in S34.
- the abnormality detection information corresponds to execution information of the degeneracy operation (automatic driving by emergency evacuation control) executed by the own vehicle A.
- the information acquisition unit 71 grasps whether or not an abnormal state of the physical condition of the driver is grasped based on the abnormality detection information. If the information acquisition unit 71 has acquired the abnormality detection information indicating the determination of the difficult-to-drive state and the abnormal state of the driver has been grasped (S35: YES), the 3D rendering unit 73 performs emergency evacuation control in S36. Activate the display settings for (see FIG. 10). Then, in S42, a peripheral image Dpm having a scale and depression angle reflecting the display settings for emergency evacuation control is drawn.
- the 3D rendering unit 73 determines whether the display and non-display of the line icons Pln in the peripheral image Dpm are repeated based on the information acquired by the information acquisition unit 71. In other words, the number of the line icons Pln is frequently Predict whether an increase or decrease will occur.
- the 3D drawing unit 73 predicts that the display and non-display of some line icons Pln will be repeated according to the road type, traffic volume, etc. (S37: YES)
- the display setting of the peripheral image Dpm is set. Immobilize.
- the peripheral image Dpm is drawn based on the fixed display settings.
- the 3D rendering unit 73 may fix the display settings of the peripheral image Dpm by switching the number and mode of the line icons Pln and the scale and depression angle of the peripheral image Dpm to predetermined settings. Alternatively, fixation of display settings may be implemented by prohibiting changes to the current display settings.
- the 3D drawing unit 73 sets the mode of the line icon Pln to be drawn on the peripheral image Dpm based on the information acquired by the information acquisition unit 71. Specifically, in S39, the number of line icons Pln and whether each line icon Pln is to be displayed in the recognition line Li1 or the non-recognition line Li2 are determined.
- the 3D rendering unit 73 sets targets to be notified or warned using the other vehicle icon Po and the pedestrian icon Pa based on the recognition information acquired by the information acquisition unit 71 .
- objects corresponding to the section line, own vehicle A, other vehicles, pedestrians, etc. are arranged in the virtual layout space.
- the 3D rendering unit 73 sets a virtual camera position based on the information obtained by the information obtaining unit 71 in S41.
- the depression angle, scale, etc. of the peripheral image Dpm are set.
- the 3D drawing unit 73 gives priority to information having a preset high priority among the forward vehicle information, the vehicle speed information, the type information, and the like, and sets the scale of the peripheral image Dpm.
- a peripheral image Dpm of a bird's-eye viewpoint is drawn with the host vehicle icon Pv as a reference.
- the navigation function unit 74 has a navigation function that provides route guidance from the current position to the destination.
- the navigation function unit 74 draws a route image Drt (see FIGS. 11 and 12) for route guidance.
- the route image Drt is composed of a background map image portion Pm, a planned route Prt, a vehicle mark Ps (see FIG. 11), and the like.
- the planned route Prt indicates the route to the destination on the map image portion Pm.
- the host vehicle mark Ps indicates the position of the host vehicle A on the map image portion Pm.
- a route image Drt is displayed on at least one of the meter display 21 and the CID 22 .
- a passenger such as a driver can switch the display area of the route image Drt between the meter display 21 and the CID 22 .
- the navigation function unit 74 performs map drawing processing (see FIG. 4) for drawing the route image Drt.
- the map drawing process is started based on the setting of the destination by the driver or the like, and is continued by the information acquisition section 71 and the navigation function section 74 until the route guidance to the destination is completed.
- the navigation function unit 74 reads the setting information of the route image Drt. Specifically, the navigation function unit 74 reads information such as which of the meter display 21 and the CID 22 displays the route image Drt and in what size the route image Drt is displayed as setting information. Furthermore, in S42 to S44, the navigation function unit 74 sequentially acquires vehicle position information, route information to the destination, and map data around the vehicle. These acquisition orders may be changed as appropriate. Then, in S45, the navigation function unit 74 combines the setting information, the vehicle position information, the route information, the map data, and the like, and draws a map image of the surroundings of the vehicle with a predetermined resolution (drawing size).
- the presentation control unit 77 integrally controls the provision of information to the driver using each display device and audio device 24 .
- the presentation control unit 77 has an arbitration function for arbitrating information to be presented to the driver, and a data generation function for generating video data and audio data based on the arbitration result.
- the presentation control unit 77 sets a priority to each content that is a provision candidate based on various pieces of information acquired by the information acquisition unit 71 .
- the presentation control unit 77 selects the content determined to have a high priority as an object to be provided to the driver.
- As a data generation function the presentation control unit 77 generates video data to be provided to each display device, audio data to be provided to the audio device 24, and the like based on the content selection result.
- the presentation control unit 77 When a display mode (composite display mode, see FIG. 11, etc.) for displaying both the peripheral image Dpm and the route image Drt on the meter display 21 is selected, the presentation control unit 77 performs image composition processing (see FIG. 5). do. In the image synthesizing process, an output image Dci (see FIG. 11, etc.) is generated by arranging the peripheral image Dpm and the root image Drt in the horizontal direction (right and left). Furthermore, in the image synthesizing process, the area ratio between the peripheral image Dpm and the root image Drt is sequentially changed based on the information acquired by the information acquisition unit 71 .
- the image synthesizing process is started based on a user operation for selecting a synthesizing display mode, and is continued by the information acquiring unit 71 and the presentation control unit 77 and the like until the synthesizing display mode is canceled or the route guidance is completed.
- the information acquisition unit 71 sequentially acquires vehicle speed information, recognition information, and automatic driving information. The acquisition order of each information in this case may also be changed as appropriate.
- the presentation control unit 77 sets the area ratio between the peripheral image Dpm and the root image Drt on display based on the information acquired by the information acquisition unit 71.
- FIG. in S75 and S76 the presentation control unit 77 takes in the image data of the route image Drt and the peripheral image Dpm from the navigation function unit 74 and the 3D rendering unit 73, respectively. Then, in S77, the presentation control unit 77 synthesizes the root image Drt and the peripheral image Dpm according to the set area ratio to generate the output image Dci.
- FIGS. 1 and 2 Details of specific scenes in which the number of line icons Pln is increased or decreased (see S39 in FIG. 3), and the angle of depression, scale, etc. of the peripheral image Dpm are changed (see S41 in FIG. 3) are shown in FIGS. Based on this, further description will be made with reference to FIGS. 1 and 2.
- FIG. 3 Details of specific scenes in which the number of line icons Pln is increased or decreased (see S39 in FIG. 3), and the angle of depression, scale, etc. of the peripheral image Dpm are changed (see S41 in FIG. 3) are shown in FIGS. Based on this, further description will be made with reference to FIGS. 1 and 2.
- the peripheral image Dpm shown in FIG. 6 is an image that is displayed in a scene in which the vehicle is traveling on a general road in automatic driving without an obligation to monitor the surroundings.
- the 3D drawing unit 73 changes the number of line icons Pln drawn in the peripheral image Dpm depending on whether or not there is an obligation to monitor the surroundings in the automatic driving being executed (see S39 in FIG. 3).
- the 3D rendering unit 73 when the self-vehicle A performs the automatic driving without the obligation to monitor the surroundings, is more sensitive to the surroundings than when the self-vehicle A performs the automatic driving with the obligation to monitor the surroundings (see FIG. 7).
- the number of line icons Pln drawn on the image Dpm is increased.
- the 3D drawing unit 73 changes the number of line icons Pln to be drawn on the peripheral image Dpm based on the road type information (see S39 in FIG. 3).
- the 3D drawing unit 73 draws more line icons Pln in the peripheral image Dpm when the road on which the vehicle is traveling is a general road than when the road on which the vehicle is traveling is an expressway (see FIG. 7).
- the 3D drawing unit 73 changes the number of line icons Pln to be drawn in the peripheral image Dpm based on the recognition information of the other vehicles, depending on the number of other vehicles traveling around the host vehicle A (Fig. 3 S39 reference).
- the 3D drawing unit 73 refers to the recognition information and grasps the number of side vehicles that are traveling in adjacent lanes on the left and right, among other vehicles around the own vehicle.
- the 3D rendering unit 73 increases the number of line icons Pln to be rendered in the peripheral image Dpm as the number of other vehicles (particularly side vehicles) traveling around the own vehicle A increases.
- the 3D rendering unit 73 displays the line icons Pln corresponding to all the lane markings and road edges recognized based on the detection information of the surroundings monitoring sensor 30 and the map data.
- the 3D rendering unit 73 changes the scale of the peripheral image Dpm depending on whether or not there is an obligation to monitor the surroundings in the automatic driving being executed (see S41 in FIG. 3).
- the 3D rendering unit 73 when the self-vehicle A performs the automatic driving without the obligation to monitor the surroundings, is more sensitive to the surroundings than when the self-vehicle A performs the automatic driving with the obligation to monitor the surroundings (see FIG. 7).
- the scale of the image Dpm is reduced, and a wide range of conditions seen from a high viewpoint position is displayed in the peripheral image Dpm.
- the 3D rendering unit 73 changes the scale of the peripheral image Dpm based on the vehicle-related information (see S41 in FIG. 3).
- the 3D rendering unit 73 reduces the scale of the surrounding image Dpm when there is a vehicle ahead, based on the vehicle information ahead, which is the vehicle-related information, compared to when there is no vehicle ahead (see FIG. 7).
- the peripheral image Dpm can present not only the conditions of lanes adjacent to the vehicle lane VLs, but also the conditions of lanes distant from the vehicle lane VLs. Furthermore, the peripheral image Dpm can provide the driver with a situation farther away than the vehicle ahead.
- the peripheral image Dpm shown in FIG. 7 is an image that is displayed in a scene in which the vehicle is driven on a highway with an obligation to monitor the surroundings.
- the 3D drawing unit 73 Based on the automatic driving information, the 3D drawing unit 73 renders the surrounding image Dpm more than when the automatic driving without the obligation to monitor the surroundings is executed (see FIG. 6) when the automatic driving with the obligation to monitor the surroundings is executed. Reduce the number of line icons Pln to be displayed (see S39 in FIG. 3).
- the 3D drawing unit 73 draws more lines in the peripheral image Dpm than when the road on which the vehicle is traveling is a general road (see FIG. 6) when the road on which the vehicle is traveling is an expressway. Decrease the number of icons Pln (see S39 in FIG. 3).
- the 3D drawing unit 73 draws only the line icons Pln corresponding to part of the lane markings recognized based on the detection information and the map data in the peripheral image Dpm.
- the drawing of the road edge icon Pre (see FIG. 6) indicating the road edge is stopped, and only the pair of line icons Pln that divide the host vehicle lane VLs and the line icons Pln that reproduce the adjacent lanes on both left and right sides are displayed. , is drawn in the peripheral image Dpm.
- the 3D rendering unit 73 when the self-vehicle A performs the automatic driving with the obligation to monitor the surroundings, is more efficient than the case where the self-vehicle A carries out the automatic driving with the obligation to monitor the surroundings (see FIG. 7).
- Increase the scale of the peripheral image Dpm see S41 in FIG. 3.
- the 3D drawing unit 73 enlarges the scale of the peripheral image Dpm when there is no forward vehicle (see FIG. 7) than when there is a forward vehicle (see S41 in FIG. 3).
- the peripheral image Dpm As described above, in the driving scene shown in FIG. 7, the detailed situation in the vicinity of the own vehicle seen from a low viewpoint position is reproduced in the peripheral image Dpm. As a result, for example, the positional relationship between the own vehicle icon Pv and each other vehicle icon Po in the peripheral image Dpm can present the situation of other vehicles traveling in adjacent lanes in an easy-to-understand manner.
- the 3D rendering unit 73 completes the mode change of the peripheral image Dpm before the presence or absence of the peripheral monitoring obligation in automatic driving is changed. For example, when shifting from automatic driving with an obligation to monitor the surroundings to automatic driving without an obligation to monitor the surroundings, the 3D rendering unit 73 zooms out rearward and upward from the own vehicle icon Pv, and increases the number of drawn line icons Pln. Implement change first. And after the mode change of the peripheral image Dpm is completed, level switching of automatic driving control is implemented. Similarly, when the automatic driving without the obligation to monitor the surroundings shifts to the automatic driving with the obligation to monitor the surroundings, the 3D rendering unit 73 zooms in toward the host vehicle icon Pv while reducing the number of drawn line icons Pln. Implement change first. And after the mode change of the peripheral image Dpm is completed, level switching of automatic driving control is implemented.
- the peripheral image Dpm shown in FIG. 8 is an image that is displayed in another scene in which the vehicle travels on a general road under automatic driving without the obligation to monitor the surroundings.
- the 3D drawing unit 73 stops drawing the line icon Pln indicating the lane whose traveling direction is different from that of the vehicle A when the number of lanes on the road on which the vehicle is traveling exceeds a predetermined number.
- the 3D rendering unit 73 sets the branch lane Lnx branching from the host vehicle lane VLs and the opposing lane VLo facing the host vehicle lane VLs as lanes with different traveling directions, and hides the line icons Pln on both the left and right sides. . In this case, the 3D rendering unit 73 also hides the roadside icon Pre.
- the 3D rendering unit 73 enlarges the periphery of the own vehicle icon Pv in the peripheral image Dpm.
- the 3D rendering unit 73 maintains the number of other vehicle icons Po in the peripheral image Dpm even when reducing the number of line icons Pln to be rendered in the peripheral image Dpm. Therefore, even in a scene in which the line icons Pln defining the branch lane Lnx and the oncoming lane VLo are not displayed, the other vehicle icon Po of the branch lane Lnx and the oncoming lane VLo continues to be displayed.
- the 3D drawing unit 73 hides the line icon Pln or the roadside icon Pre that is away from the own vehicle lane VLs, when the warning target information indicating the detection of the warning target such as a pedestrian is acquired, A person icon Pa (see FIG. 9) is displayed.
- the 3D drawing unit 73 increases the number of line icons Pln drawn in the peripheral image Dpm in accordance with the start of display of the pedestrian icon Pa.
- the 3D rendering unit 73 redisplays the roadside icon Pre or the line icon Pln in the vicinity of the pedestrian icon Pa.
- the peripheral image Dpm shown in FIG. 9 is an image displayed in a scene in which the vehicle is driven in the lane closest to the sidewalk on a general road in automatic driving or manual driving with a duty to monitor the surroundings.
- the 3D drawing unit 73 further draws a pedestrian icon Pa indicating the presence of a warning target such as a pedestrian on the peripheral image Dpm using the warning target information.
- the 3D rendering unit 73 displays multiple pedestrian icons Pa in the peripheral image Dpm according to the relative positions of the pedestrians.
- the 3D rendering unit 73 increases the scale of the surrounding image Dpm when the vehicle A is traveling in the sidewalk-side lane closest to the sidewalk. Furthermore, based on the vehicle speed information, which is the vehicle-related information, the 3D rendering unit 73 determines that when the vehicle A is temporarily stopped or when the running speed is less than a predetermined low speed threshold, the speed is higher than when the running speed exceeds the low speed threshold. The scale of the peripheral image Dpm is increased. As described above, the surroundings of the own vehicle icon Pv are enlarged in the surrounding image Dpm. As a result, the positional relationship between the pedestrian icon Pa and the own vehicle icon Pv is emphasized, and the approach of the pedestrian to the own vehicle A is warned by the peripheral image Dpm.
- the 3D rendering unit 73 draws the vehicle in a scene where the vehicle lane is adjacent to the merging lane, based on the vehicle position information and the road type information indicating whether the vehicle lane is adjacent to the merging lane.
- the scale of the peripheral image Dpm is made smaller than that of the scene in which the lane is not adjacent to the merging lane.
- the 3D drawing unit 73 also changes the scale of the peripheral image Dpm according to the reliability of recognition by the peripheral monitoring sensor 30 . Specifically, even if the scale of the peripheral image Dpm is set to be small, the 3D rendering unit 73 narrows the range around the vehicle that is reproduced in the peripheral image Dpm when the reliability of the sensor recognition is low. On the other hand, when the reliability of sensor recognition is high, the 3D rendering unit 73 sets a wide range around the vehicle to be reproduced in the peripheral image Dpm.
- the peripheral image Dpm shown in FIG. 10 is an image displayed based on the display settings for emergency evacuation control (S36 in FIG. 3) when an abnormal physical condition of the driver is detected (S35 in FIG. 3: YES). .
- the 3D drawing unit 73 enlarges the scale of the peripheral image Dpm until the maximum bird's-eye view in which all the line icons Pln are drawn is obtained based on the information about the division lines recorded in the map data.
- the 3D rendering unit 73 causes the meter display 21 to display the posture collapse icon Pdw based on the abnormality detection information indicating the occurrence of the posture collapse of the driver.
- the 3D rendering unit 73 starts moving the virtual viewpoint at the timing when it is decided to implement degenerate driving (emergency evacuation control) based on the abnormality detection information indicating determination of the difficult driving state, and maximizes the scale of the peripheral image Dpm. change up to Then, based on the start of degenerate operation, the 3D rendering unit 73 sequentially performs a display change to increase the number of line icons Pln and a display change to add other vehicle icons Po according to other vehicles around the own vehicle.
- degenerate driving emergency evacuation control
- the output image Dci shown in FIG. 11 is an image that is displayed in a scene in which the vehicle travels on a general road in automatic driving without the obligation to monitor the surroundings.
- the presentation control unit 77 changes the area ratio between the peripheral image Dpm and the route image Drt based on the automatic driving information and depending on whether or not there is an obligation to monitor the surroundings in the automatic driving being executed (see S74 in FIG. 5).
- presentation control unit 77 outputs more than when self-vehicle A performs automatic driving with perimeter monitoring duty (see FIG. 12 ).
- the area ratio of the peripheral image Dpm in the image Dci is increased.
- the presentation control unit 77 changes the area ratio between the peripheral image Dpm and the route image Drt on the display based on the vehicle-related information (see S74 in FIG. 5). Based on the vehicle speed information, the presentation control unit 77 increases the area ratio of the peripheral image Dpm in the output image Dci when the own vehicle A travels below the low speed threshold. The presentation control unit 77 also increases the area ratio of the peripheral image Dpm in the output image Dci based on the road type information when the vehicle A is traveling on a general road. The presentation control unit 77 can increase the area ratio of the surrounding image Dpm in the output image Dci even when it is determined that the vehicle A is traveling in the parking lot based on the road type information.
- the presentation control unit 77 sets the display area of the peripheral image Dpm to be larger than the display area of the root image Drt.
- Peripheral image Dpm is displayed in the central portion of the display screen of meter display 21 .
- the route image Drt is displayed on the periphery of the display screen of the meter display 21 in such a manner as not to obstruct the visibility of the peripheral image Dpm.
- the output image Dci shown in FIG. 12 is an image that is displayed in a scene in which the vehicle is driven on a highway with an obligation to monitor the surroundings.
- the presentation control unit 77 When self-vehicle A performs automatic driving with a duty to monitor the surroundings, the presentation control unit 77 outputs more than when self-vehicle A performs automatic driving without a duty to monitor the surroundings (see FIG. 11).
- the area ratio of the peripheral image Dpm in the image Dci is set low.
- the presentation control unit 77 reduces the area ratio of the peripheral image Dpm in the output image Dci when the vehicle A is traveling on the highway.
- the presentation control unit 77 sets the display area of the peripheral image Dpm and the display area of the root image Drt to be approximately the same.
- the peripheral image Dpm is displayed on the right half of the display screen of the meter display 21 .
- the route image Drt is displayed on the left half of the display screen of the meter display 21 .
- the number of line icons Pln drawn in the peripheral image Dpm is changed based on the road type information. Therefore, the contents of the peripheral image Dpm can be simplified according to the driving scene. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the 3D rendering unit 73 when the type information indicating the direction of travel of each lane of the road is acquired, and the number of lanes of the road exceeds a predetermined number, the 3D rendering unit 73 indicates a lane whose direction of travel is different from that of the vehicle A. Stop drawing the line icon Pln. As described above, if the drawing of the line icons Pln of low importance is stopped, the content of the peripheral image Dpm can be simplified. Therefore, it is possible to present an easy-to-understand peripheral image Dpm.
- the type information indicating whether the road is a general road or an expressway is acquired, and when the road on which the vehicle is traveling is an expressway, the 3D rendering unit 73 renders the surrounding image Dpm more than when the road is a general road. Reduce the number of line icons Pln. According to the above, the side distant information whose importance decreases on the expressway can be omitted from the peripheral image Dpm. As a result, the peripheral image Dpm becomes an easy-to-understand display capable of selectively providing necessary information.
- a road edge icon Pre as a line icon Pln indicating the road edge is drawn in the peripheral image Dpm.
- the drawing of the roadside icon Pre is stopped when the vehicle travels on the highway.
- the number of line icons Pln drawn in the peripheral image Dpm is changed according to whether or not there is an obligation to monitor the surroundings in the automatic driving being executed. Therefore, even if the information recognized by the sensors increases for automatic driving, the content of the peripheral image Dpm can be simplified to suit the operating conditions of automatic driving. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the 3D drawing unit 73 of the present embodiment completes changing the number of line icons Pln to be drawn in the peripheral image Dpm before the presence or absence of the obligation to monitor the surroundings in automatic driving is changed.
- the driver can quickly grasp necessary peripheral information from the peripheral image Dpm at the time of driving change.
- an own vehicle icon Pv representing the own vehicle A is further drawn in the own vehicle lane VLs reproduced in the peripheral image Dpm by the line icon Pln.
- the 3D drawing unit 73 enlarges the periphery of the own vehicle icon Pv in the peripheral image Dpm. According to the above, the 3D rendering unit 73 can maintain the scale of the peripheral image Dpm in an easy-to-see state by zooming in or out according to the increase or decrease in the number of line icons Pln.
- another vehicle icon Po indicating the presence of another vehicle is further drawn on the peripheral image Dpm by using the target detection information of the sensor that detects the target such as another vehicle located around the own vehicle A. be done. Then, the 3D drawing unit 73 maintains the number of other vehicle icons Po even when reducing the number of line icons Pln drawn in the peripheral image Dpm. In this way, by not reducing the other vehicle icon Po for notifying the other vehicle, even when the peripheral image Dpm is simplified, it is possible to continue presenting useful information to the driver.
- a pedestrian icon Pa indicating the presence of a pedestrian or the like is further drawn in the peripheral image Dpm using the warning target information of the sensor that detects the warning target such as a pedestrian positioned around the own vehicle A. be.
- the 3D drawing unit 73 increases the number of line icons Pln drawn in the peripheral image Dpm. With such an increase in the number of line icons Pln, it becomes easier to grasp the relative positions of pedestrians and the like linked to the pedestrian icon Pa through the peripheral image Dpm.
- the number of line icons Pln drawn in the peripheral image Dpm is changed according to the number of other vehicles traveling around the own vehicle. Therefore, the peripheral image Dpm is changed in a manner that facilitates recognition of other vehicles in accordance with changes in the traffic volume around the own vehicle. As a result, the peripheral image Dpm can present the positional relationship between the own vehicle A and other vehicles around the own vehicle in an easy-to-understand manner.
- the more other vehicles are traveling around the own vehicle A, the more line icons Pln are drawn in the peripheral image Dpm.
- the peripheral image Dpm As a result, a wide range of driving environment around the own vehicle is reproduced in the peripheral image Dpm, so that even if there are many other vehicles, the positional relationship between the own vehicle A and the other vehicles can be presented in an easy-to-understand manner.
- the change of the number of line icons Pln is stopped.
- the detection environment of the surroundings monitoring sensor 30 is not favorable, such as when the white lines on the road surface are blurred or the weather is bad, it is predicted that the contents of the surroundings image Dpm will change repeatedly.
- the number of line icons Pln or the like is fixed, it is possible to avoid a situation in which the driver feels annoyed by changes in the display content of the peripheral image Dpm.
- the recognized line Li1 corresponding to the lane marking recognized by the periphery monitoring sensor 30 and the unrecognized line Li2 corresponding to the lane marking not recognized by the periphery monitoring sensor 30 are different. be drawn. According to such a display, it can be made clear to the driver that the line icons Pln do not increase or decrease depending on whether or not the periphery image Dpm is recognized by the periphery monitoring sensor 30 . Therefore, it is possible to prevent the driver from misunderstanding that the perimeter monitoring sensor 30 has a low ability to recognize the environment.
- the scale of the peripheral image Dpm in which the vehicle A is viewed from above is changed based on the road type information. Therefore, the range around the own vehicle reproduced in the peripheral image Dpm can be appropriately adjusted according to the driving scene. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the 3D rendering unit 73 based on the vehicle speed information, when the own vehicle A stops or when the traveling speed is less than a predetermined low speed threshold, the 3D rendering unit 73 produces a peripheral image rather than when the traveling speed exceeds the low speed threshold. Increase the scale of Dpm. According to the above, details around the vehicle can be displayed in the peripheral image Dpm when the vehicle is stopped or traveling at low speed. As a result, the peripheral image Dpm can preferentially present important information according to the driving scene.
- the 3D rendering unit 73 reduces the scale of the surrounding image Dpm when there is a forward vehicle compared to when there is no forward vehicle. According to the above, when there is a forward vehicle, the surrounding image Dpm becomes an image as if a wide range is seen from a high place. By expanding the range of information presentation in this manner, the peripheral image Dpm can present, in an easy-to-understand manner, to the driver, etc., the situation in the range ahead of the forward vehicle, which is difficult to directly confirm in the actual scene.
- the 3D rendering unit 73 based on the type information indicating whether the vehicle lane is adjacent to the merging lane, the 3D rendering unit 73 reduces the scale of the surrounding image Dpm in a scene where the vehicle lane is adjacent to the merging lane. Make smaller.
- the peripheral image Dpm looks like a wide range seen from a high position, so that the state of other vehicles in the merging lane, which is difficult to see directly, can be presented to the driver in an easy-to-understand manner.
- the 3D rendering unit 73 of the present embodiment prioritizes information with a preset high priority among forward vehicle information, vehicle speed information, and type information, and sets the scale of the peripheral image Dpm. According to the above, the peripheral image Dpm can present the situation around the vehicle to the driver on a reduced scale suitable for the driving scene.
- the scale of the peripheral image Dpm in which the host vehicle A is viewed from above is changed depending on whether or not there is an obligation to monitor the surroundings in the automatic driving being executed. Therefore, even if the amount of information recognized by the sensor increases for automatic driving, the range around the vehicle reproduced in the peripheral image Dpm can be appropriately adjusted in accordance with the operating state of automatic driving. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the 3D rendering unit 73 when self-vehicle A performs automatic driving with a duty to monitor the surroundings, the 3D rendering unit 73 is more sensitive to the surroundings than when self-vehicle A performs automatic driving without a duty to monitor the surroundings.
- the surrounding image Dpm is displayed as if a narrow range is being viewed from a low viewpoint while the vehicle is traveling in automatic driving with a duty to monitor the surroundings. With such a peripheral image Dpm, detailed information about the vicinity of the vehicle A can be presented, making it easy to confirm a pedestrian or the like approaching the vehicle A.
- the 3D rendering unit 73 enlarges the scale of the peripheral image Dpm. According to the above, since the peripheral image Dpm that can present detailed information about the vicinity of the vehicle is displayed, it becomes easy to confirm pedestrians and the like on the sidewalk.
- the scale of the peripheral image Dpm is changed according to the reliability of recognition by the peripheral monitoring sensor 30 . Specifically, when the reliability of sensor recognition is low, the range around the host vehicle reproduced in the peripheral image Dpm is narrowed. On the other hand, when the reliability of sensor recognition is high, the range around the own vehicle reproduced in the peripheral image Dpm is widened. As a result, it is possible to both ensure the reliability of the information presented in the peripheral image Dpm and simplify the content.
- the scale of the peripheral image Dpm in which the vehicle A is viewed from above is enlarged, and the range around the vehicle reproduced in the peripheral image Dpm is expanded. be. Therefore, even in a situation where it is difficult for the driver to directly check the surroundings of the vehicle, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the number of line icons Pln drawn in the peripheral image Dpm is increased. Specifically, the number of line icons Pln is increased to the maximum number, that is, the number of all lane markings recorded in the map data. According to such a display change, the peripheral image Dpm can fully present the situation in a wide range around the vehicle when the driver is in an abnormal state.
- the area ratio of the peripheral image Dpm and the route image Drt displayed side by side in the output image Dci is changed based on the own vehicle-related information. Therefore, the display size of the peripheral image Dpm on the meter display 21 can be appropriately adjusted according to the driving scene. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the area ratio of the peripheral image Dpm and the route image Drt displayed side by side with the output image Dci is changed according to whether or not there is an obligation to monitor the surroundings in the automatic driving being executed. Therefore, even if the amount of information recognized by the sensor increases for automatic driving, the display size of the peripheral image Dpm can be appropriately adjusted according to the operating state of automatic driving. As a result, the peripheral image Dpm can present the driving environment around the vehicle in an easy-to-understand manner.
- the presentation control unit 77 when the self-vehicle executes automatic driving without the obligation to monitor the surroundings, the presentation control unit 77 The area ratio of the peripheral image Dpm is increased. According to the above, when the automatic driving of level 3 or higher without the obligation to monitor the surroundings is executed, the range around the own vehicle reproduced in the surroundings image Dpm can be expanded. As a result, even if the driver does not directly see the actual scenery around the vehicle, the driver can collectively grasp the information around the vehicle from the peripheral image Dpm. Therefore, the convenience of the periphery image Dpm during automatic driving without the duty of monitoring the periphery is improved.
- the peripheral monitoring sensor 30 corresponds to the "sensor”
- the dead man determination block 50 corresponds to the "physical condition abnormality grasping unit”
- the 3D drawing unit 73 and the presentation control unit 77 correspond to the "display control unit”.
- the automatic driving computer 100 corresponds to the "display control device”.
- the line icon Pln corresponds to the "line image portion”
- the recognition line Li1 corresponds to the "recognized image portion”
- the non-recognized line Li2 corresponds to the "non-recognized image portion”.
- the own vehicle icon Pv corresponds to the "own vehicle image portion”
- the other vehicle icon Po corresponds to the "target image portion”
- the pedestrian icon Pa corresponds to the "warning image portion”
- the route image Drt corresponds to Corresponds to "another image”.
- each function of the dead man determination block 50, the operation control block 60, and the HMI control block 70 is implemented in individual vehicle-mounted ECUs.
- a deadman determination ECU that implements the function of the deadman determination block 50, an automatic driving ECU that implements the function of the operation control block 60, and an HMI-ECU that implements the function of the HMI control block 70 are installed in the vehicle. Connected to a network.
- the function of the deadman determination block 50 may be implemented in the automatic driving ECU or may be implemented in the HMI-ECU.
- the information acquisition section 71 of the HMI-ECU corresponds to the "physical condition abnormality grasping section".
- a driving support ECU that implements driving support functions of Level 2 or lower may be provided separately from an autonomous driving ECU that implements autonomous driving functions of Level 3 or higher.
- the driving control block 60 or the automatic driving ECU may be capable of implementing autonomous driving control of automatic driving level 4 or higher. In autonomous driving control of automatic driving level 4, for example, sleep is permitted as a second task.
- the dead man determination block 50 of the above embodiment uses the face image of the driver captured by the driver monitoring unit 38 to determine the abnormal state of the driver.
- the dead man determination block 50 may be able to determine the driver's physical condition abnormality using driver information other than the face image.
- the dead man determination block 50 may use steering grip information indicating whether or not the steering wheel is being gripped, steering operation information indicating whether or not the steering operation is being performed, and the like to grasp the abnormal state.
- the dead man determination block 50 may use vital data received from the wearable terminal worn by the driver, specifically information such as pulse, blood pressure and body temperature, to grasp the abnormal state.
- each lane is reproduced by being separated by a pair of line icons Pln.
- a plurality of line image portions having a band-like shape extending along the vertical direction of the screen reproduces the host vehicle lane, adjacent lanes, and the like in the peripheral image Dpm.
- the own vehicle icon Pv and the other vehicle icon Po are drawn superimposed on each line image portion.
- the drawing shape of the line image portion for reproducing each lane in the peripheral image Dpm may be changed as appropriate.
- the timing for starting the display change based on the abnormal state of the driver may be changed as appropriate.
- the scale of the peripheral image Dpm is changed at the timing when the driver's posture collapse is detected, before the determination of the difficult-to-drive state is finalized.
- the scale of the surrounding image Dpm is changed based on the start of running under the emergency evacuation control.
- the reduced driving in which the scale of the peripheral image Dpm is changed is not limited to emergency evacuation control when the driver is in a difficult driving state.
- Degenerate operation (fallback) is control that continues automatic operation without relying on driver control, even if regulations are temporarily ignored.
- display control that greatly changes the scale of the peripheral image Dpm may be performed even when degenerate driving is performed to avoid obstacles in front of the vehicle by automatic steering control.
- the display device that displays the peripheral image Dpm is not limited to the meter display 21.
- the peripheral image Dpm may be displayed on the display screen of the CID 22 or may be displayed as a virtual image by the HUD 23 .
- an image different from the root image Drt is displayed in the output image Dci together with the peripheral image Dpm.
- the separate image may be, for example, status information of the own vehicle, or may be fuel consumption data or electricity consumption data of the own vehicle.
- a target object image portion that notifies a target object different from other vehicles, such as traffic signs and road markings, may be displayed in the peripheral image.
- a warning image portion may be displayed in the peripheral image to alert or warn of warning targets other than pedestrians, such as cyclists and falling objects.
- Each function provided by the automatic driving computer in the above embodiment can be provided by software and hardware that executes it, software only, hardware only, or a complex combination thereof. Furthermore, if such functions are provided by electronic circuits as hardware, each function can also be provided by digital circuits, including numerous logic circuits, or analog circuits.
- the processing units described above may be individually mounted on a printed circuit board, or may be mounted on an ASIC (Application Specific Integrated Circuit), FPGA, or the like.
- ASIC Application Specific Integrated Circuit
- FPGA Field-programmable gate array
- the form of a storage medium non-transitory tangible storage medium that stores a program or the like capable of implementing the display control method may be changed as appropriate.
- the storage medium is not limited to the configuration provided on the circuit board, but may be provided in the form of a memory card or the like, inserted into the slot, and electrically connected to the control circuit of the automatic operation computer. you can Furthermore, the storage medium may be an optical disk or a hard disk drive, etc., from which the program is copied to the autonomous driving computer.
- Vehicles equipped with the HMI system are not limited to general private passenger cars, but may be rental cars, manned taxi vehicles, ride-sharing vehicles, freight vehicles, buses, and the like. Furthermore, driverless vehicles used for mobility services may be equipped with a system including an autonomous driving computer.
- a vehicle equipped with an automated driving computer may be a right-hand drive vehicle or a left-hand drive vehicle.
- the traffic environment in which the vehicle travels may be a traffic environment assuming left-hand traffic or a traffic environment assuming right-hand traffic.
- Each content display according to the present disclosure is appropriately optimized according to the road traffic laws of each country and region, the steering wheel position of the vehicle, and the like.
- the controller and techniques described in the present disclosure may be implemented by a dedicated computer comprising a processor programmed to perform one or more functions embodied by a computer program.
- the apparatus and techniques described in this disclosure may be implemented by dedicated hardware logic circuitry.
- the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured in combination with a processor executing a computer program and one or more hardware logic circuits.
- the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Abstract
自動運転コンピュータは、自車両の走行環境を認識する周辺監視センサの情報を用いて、走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置として作動する。自動運転コンピュータでは、自車両の周囲の道路に関連する道路情報として、道路の種別を示す種別情報及び道路のレーン形状を示す形状情報が少なくとも取得され、周辺画像(Dpm)には、道路を再現するラインアイコン(Pln)が形状情報を用いて描画される。そして、周辺画像(Dpm)に描画されるラインアイコン(Pln)の数は、種別情報に基づき変更される。
Description
この出願は、2021年2月8日に日本に出願された特許出願第2021-18351号、及び、2021年10月28日に日本に出願された特許出願第2021-176833号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
この明細書における開示は、表示制御装置及び表示制御プログラムに関する。
特許文献1には、自車両アイコン及び複数のラインアイコンをディスプレイに表示する車両用表示装置が開示されている。ディスプレイには、カメラ及びレーダ等に認識された自車両周囲の走行環境に基づき、例えば隣接車線への車線変更が可能であることを示す矢印アイコンや、隣接車線の他車両を示す他車両アイコン等がさらに表示される。
近年、カメラ等によって認識可能となる自車周囲の範囲は、急速に拡大してきている。そのため、特許文献1に開示の車両用表示装置のように、カメラ等によって認識できた区画線及び障害物等をすべて表示させてしまうと、走行シーンによっては煩雑な内容となり、ドライバにとって分かり難い表示となる虞があった。
本開示は、自車周囲の走行環境を分かり易く提示可能な表示制御装置及び表示制御プログラムの提供を目的とする。
上記目的を達成するため、開示された一つの態様は、自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、自車両の周囲の道路に関連する道路情報として、道路の種別を示す種別情報及び道路のレーン形状を示す形状情報を少なくとも取得する情報取得部(71)と、形状情報を用いて、道路を再現するライン画像部(Pln)を周辺画像に描画する表示制御部(73,77)と、を備え、表示制御部は、種別情報に基づき、周辺画像に描画するライン画像部の数を変更する表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両の周囲の道路に関連する道路情報として、道路の種別を示す種別情報及び道路のレーン形状を示す形状情報を少なくとも取得し、形状情報を用いて、道路を再現するライン画像部を周辺画像に描画し、種別情報に基づき、周辺画像に描画するライン画像部の数を変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様では、周辺画像に描画されるライン画像部の数が道路の種別情報に基づき変更されるため、周辺画像の内容が走行シーンに応じて簡素化され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両の周囲の道路のレーン形状を示す形状情報、及び自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部と、形状情報を用いて、道路を再現するライン画像部を周辺画像に描画する表示制御部と、を備え、表示制御部は、実行中の自動運転における周辺監視義務の有無に応じて、周辺画像に描画するライン画像部の数を変更する表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両の周囲の道路のレーン形状を示す形状情報、及び自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し、形状情報を用いて、道路を再現するライン画像部を周辺画像に描画し、実行中の自動運転における周辺監視義務の有無に応じて、周辺画像に描画するライン画像部の数を変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、周辺画像に描画されるライン画像部の数が実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像の内容は、自動運転の作動状態に合わせて簡素化され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両の周囲の道路のレーン形状を示す形状情報、及び自車両の周囲を走行する他車両の認識情報を取得する情報取得部と、形状情報を用いて、道路を再現するライン画像部を周辺画像に描画する表示制御部と、を備え、表示制御部は、認識情報に基づき、自車両の周囲を走行する他車両の多寡に応じて周辺画像に描画するライン画像部の数を変更する表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両の周囲の道路のレーン形状を示す形状情報、及び自車両の周囲を走行する他車両の認識情報を取得し、形状情報を用いて、道路を再現するライン画像部を周辺画像に描画し、認識情報に基づき、自車両の周囲を走行する他車両の多寡に応じて周辺画像に描画するライン画像部の数を変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、周辺画像に描画されるライン画像部の数が自車周囲を走行する他車両の多寡に応じて変更される。故に、周辺画像は、自車周囲の交通量の変化に合わせて、他車両を把握し易い様態に変更される。その結果、周辺画像は、自車両と自車周囲の他車両との位置関係を分り易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両に関連する自車関連情報として、前方車両の有無を示す前方車両情報、自車両の走行速度を示す車速情報及び自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得する情報取得部と、自車両を俯瞰する様態の周辺画像を描画し、周辺画像の縮尺を自車関連情報に基づき変更する表示制御部と、を備える表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両に関連する自車関連情報として、前方車両の有無を示す前方車両情報、自車両の走行速度を示す車速情報及び自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得し、自車両を俯瞰する様態の周辺画像を描画し、周辺画像の縮尺を自車関連情報に基づき変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、自車両を俯瞰する様態の周辺画像の縮尺が道路の種別情報に基づき変更されるため、周辺画像に再現される自車周囲の範囲は、走行シーンに応じて適切に調整され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部と、自車両を俯瞰する様態の周辺画像を描画し、実行中の自動運転における周辺監視義務の有無に応じて周辺画像の縮尺を変更する表示制御部と、を備える表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し、自車両を俯瞰する様態の周辺画像を描画し、実行中の自動運転における周辺監視義務の有無に応じて周辺画像の縮尺を変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、自車両を俯瞰する様態の周辺画像の縮尺が実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像に再現される自車周囲の範囲は、自動運転の作動状態に合わせて適切に調整され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両のドライバに生じた体調の異常状態を把握する体調異常把握部と、自車両を俯瞰する様態の周辺画像を描画し、ドライバの体調の異常状態が把握された場合に、周辺画像の縮尺を大きくする表示制御部と、を備える表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両のドライバに生じた体調の異常状態を把握し、自車両を俯瞰する様態の周辺画像を描画し、ドライバの体調の異常状態が把握された場合に、周辺画像の縮尺を大きくする、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、ドライバの体調の異常状態が把握された場合、自車両を俯瞰する様態の周辺画像の縮尺が大きくされ、周辺画像に再現される自車周囲の範囲が拡大される。故に、ドライバによる自車周囲の直接的な確認が困難な状況下でも、周辺画像が、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両に関連する自車関連情報として、自車両の走行速度を示す車速情報及び自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得する情報取得部と、自車両を俯瞰する様態の周辺画像を描画し、周辺画像と並ぶ別画像を取得し、表示上における周辺画像と別画像の面積比率を、自車関連情報に基づき変更する表示制御部と、を備える表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両に関連する自車関連情報として、自車両の走行速度を示す車速情報及び自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得し、自車両を俯瞰する様態の周辺画像及び周辺画像と並ぶ別画像を取得し、表示上における周辺画像と別画像との面積比率を自車関連情報に基づき変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、並んで表示される周辺画像及び別画像の面積比率が、自車関連情報に基づき変更される。以上によれば、周辺画像の表示サイズは、走行シーンに応じて適切に調整され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御装置であって、自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部と、自車両を俯瞰する様態の周辺画像を描画し、周辺画像と並ぶ別画像を取得し、表示上における周辺画像と別画像との面積比率を、実行中の自動運転における周辺監視義務の有無に応じて変更する表示制御部と、を備える表示制御装置とされる。
また開示された一つの態様は、自車両の走行環境を認識するセンサの情報を用いて、走行環境を示す周辺画像の表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し、自車両を俯瞰する様態の周辺画像及び周辺画像と並ぶ別画像を取得し、表示上における周辺画像と別画像との面積比率を、実行中の自動運転における周辺監視義務の有無に応じて変更する、ことを含む処理を実施させる表示制御プログラムとされる。
これらの態様によれば、並んで表示される周辺画像及び別画像の面積比率が、実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像の表示サイズは、自動運転の作動状態に合わせて適切に調整され得る。その結果、周辺画像は、自車周囲の走行環境を分かり易く提示可能となる。
尚、請求の範囲における括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
本開示の一実施形態による表示制御装置の機能は、図1に示す自動運転コンピュータ100に実装されている。自動運転コンピュータ100は、ドライバの運転操作を支援する運転支援機能と、ドライバの運転操作を代行可能な自動運転機能とを実現させる高性能な車載コンピュータである。自動運転コンピュータ100の搭載により、車両(以下、自車両A)は、自動運転機能を備えた自動運転車両となる。
上記の運転支援機能は、米国自動車技術会の規定する自動運転レベルにおいて、レベル2以下の自動運転機能に相当する。レベル2以下の自動運転では、ドライバによる周辺監視義務が存在する。一方、上述の自動運転機能は、システムが制御主体となるレベル3以上の自動運転機能に相当する。レベル3以上の自動運転は、ドライバによる周辺監視義務のないアイズオフ自動運転となる。レベル3以上の自動運転機能によって自車両Aが自動走行する期間では、予め規定された運転以外の特定行為(以下、セカンドタスク)がドライバに許可され得る。
自動運転コンピュータ100は、車載ネットワークの通信バス99に一つのノードとして接続されている。通信バス99には、周辺監視センサ30、ロケータ35、ドライバ監視ユニット38、V2X通信機39、走行制御ECU(Electronic Control Unit)40等が接続されている。車載ネットワークの通信バス99に接続されたこれらのノードは、相互に通信可能である。これら装置及びECUのうちの特定のノード同士は、相互に直接的に電気接続され、通信バス99を介することなく通信可能であってもよい。
周辺監視センサ30は、自車両Aの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から予め規定された移動物体及び静止物体を検出可能である。周辺監視センサ30は、自車周囲を走行する他車両として、前方車両、後方車両及び側方車両等を検出可能である。周辺監視センサ30は、歩行者及びサイクリスト等の移動物体をさらに検出可能である。さらに、周辺監視センサ30は、道路標識、路面標示及び道路の区画線等の静止物体を検出可能である。周辺監視センサ30は、自車周囲の物体の検出情報を、通信バス99を通じて自動運転コンピュータ100等に提供する。
周辺監視センサ30には、例えば複数のカメラユニット31及びミリ波レーダ32が含まれている。カメラユニット31は、単眼カメラを含む構成であってもよく、又は複眼カメラを含む構成であってもよい。各カメラユニット31は、自車両Aの前方範囲、後方範囲及び左右の各側方範囲を撮影可能なように自車両Aに搭載されている。カメラユニット31は、自車周囲を撮影した撮像データ及び撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ32は、ミリ波又は準ミリ波を自車周囲(例えば前方範囲)へ向けて照射する。ミリ波レーダ32は、移動物体及び静止物体等で反射された反射波を受信する処理によって生成した検出情報を出力する。周辺監視センサ30は、ライダ及びソナー等の検出構成をさらに備えていてもよい。
ロケータ35は、GNSS(Global Navigation Satellite System)受信機及び慣性センサ等を含む構成である。ロケータ35は、GNSS受信機で受信する測位信号、慣性センサの計測結果、及び通信バス99に出力された車速情報等を組み合わせ、自車両Aの自車位置及び進行方向等を逐次測位する。ロケータ35は、測位結果に基づく自車両Aの位置情報及び方角情報を、ロケータ情報として通信バス99に逐次出力する。
ロケータ35は、地図データベース(以下、地図DB)36をさらに有している。地図DB36は、多数の3次元地図データ及び2次元地図データを格納した大容量の記憶媒体を主体とする構成である。3次元地図データは、いわゆるHD(High Definition)マップのデータであり、道路の3次元での形状情報及び各レーンの詳細情報等、運転支援及び自動運転に必要な情報を含んでいる。ロケータ35は、現在位置周辺の地図データを地図DB36から読み出し、自動運転コンピュータ100等にロケータ情報と共に提供する。
ドライバ監視ユニット38は、近赤外光源及び近赤外カメラと、これらを制御するコントローラとを含む構成である。ドライバ監視ユニット38は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部の上面又はインスツルメントパネルの上面等に設置されている。近赤外光源及び近赤外カメラは、後述するメータディスプレイ21又はセンターインフォメーションディスプレイ(以下、CID)22等と一体的に構成され、いずれかの画面に設けられていてもよい。ドライバ監視ユニット38は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、ドライバの状態を示すドライバステータス情報として、コントローラから自動運転コンピュータ100等に提供される。
V2X(Vehicle to Everything)通信機39は、自車両Aに搭載された車外通信ユニットである。V2X通信機39は、例えば車車間通信、路車間通信及びセルラー通信等を実施可能である。V2X通信機39は、路車間通信により、例えば自車周囲の物標(例えば、他車両等)及び警告対象(例えば、歩行者及びサイクリスト等)の相対位置を示す情報を受信する。V2X通信機39は、セルラー通信により、例えば自車周囲の地図データを受信する。
走行制御ECU40は、マイクロコントローラを主体として含む電子制御装置である。走行制御ECU40は、ブレーキ制御ECU、駆動制御ECU及び操舵制御ECUの機能を少なくとも有している。走行制御ECU40は、ドライバの運転操作に基づく操作指令、及び自動運転コンピュータ100の制御指令のいずれか一つに基づき、各輪のブレーキ力制御、車載動力源の出力制御、及び操舵角制御等を継続的に実施する。走行制御ECU40は、各輪のハブ部分に設けられた車輪速センサ41の検出信号を取得する。走行制御ECU40は、車輪速センサ41の検出信号に基づき、自車両Aの現在の走行速度を示す車速情報を生成し、生成した車速情報を通信バス99に逐次出力する。
自動運転コンピュータ100は、処理部11、RAM12、記憶部13、入出力インターフェース14及びこれらを接続するバス等を備えた制御回路を主体として含む構成である。処理部11は、RAM12と結合された演算処理のためのハードウェアである。処理部11は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部11は、FPGA(Field-Programmable Gate Array)、NPU(Neural network Processing Unit)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。RAM12は、映像データ生成のためのビデオRAMを含む構成であってよい。処理部11は、RAM12へのアクセスにより、本開示の自動運転制御方法及び表示制御方法を実現するための種々の処理を実行する。記憶部13は、不揮発性の記憶媒体を含む構成である。記憶部13には、処理部11によって実行される自動運転プログラム及び表示制御プログラム等が格納されている。
自動運転コンピュータ100には、デッドマン判定ブロック50、運転制御ブロック60、及びHMI制御ブロック70が設けられている。デッドマン判定ブロック50、運転制御ブロック60、及びHMI制御ブロック70は、ハードウェア的に互いに独立した回路構成であってもよく、又は少なくとも一部がハードウェア的に一体の回路構成であってもよい。
デッドマン判定ブロック50は、自車両Aのドライバに生じた体調の異常状態を把握する制御ブロックである。デッドマン判定ブロック50は、ドライバ監視ユニット38から取得するドライバステータス情報に基づき、急病等の予め予測困難な理由によってドライバが運転困難な状態となったことを自動で検知する。デッドマン判定ブロック50は、ドライバが運転困難状態に陥ったことを診断するため、ドライバの上体の傾き及び頭部の上体に対する傾き等を検出し、ドライバの姿勢崩れを検知する。デッドマン判定ブロック50は、ドライバの姿勢崩れを検知した後、このドライバの姿勢崩れが所定時間継続した場合に、運転困難な状態であると判断する。
デッドマン判定ブロック50は、ドライバの姿勢が運転に不適切な姿勢にまで崩れた状態を把握すると、ドライバの姿勢崩れの発生を示す異常検知情報を、運転制御ブロック60及びHMI制御ブロック70に提供する。さらに、姿勢崩れの検知が所定時間継続すると、デッドマン判定ブロック50は、運転困難状態(異常状態)の確定を示す異常検知情報を、運転制御ブロック60及びHMI制御ブロック70に提供する。
デッドマン判定ブロック50は、ドライバの姿勢が運転に不適切な姿勢にまで崩れた状態を把握すると、ドライバの姿勢崩れの発生を示す異常検知情報を、運転制御ブロック60及びHMI制御ブロック70に提供する。さらに、姿勢崩れの検知が所定時間継続すると、デッドマン判定ブロック50は、運転困難状態(異常状態)の確定を示す異常検知情報を、運転制御ブロック60及びHMI制御ブロック70に提供する。
運転制御ブロック60は、運転支援機能及び自動運転機能を実現させる制御ブロックである。運転制御ブロック60は、ACC(Adaptive Cruise Control)LTC(Lane Trace Control)及びLCA(Lane Change Assist)等の運転支援機能を実現する。加えて運転制御ブロック60は、自動運転機能の作動により、ACC、LTC及びLCA等に相当する運転制御を複合的に実施する。運転制御ブロック60は、自動運転プログラムに基づく機能部として、環境認識部61、行動判断部62及び制御実行部63を有する。
環境認識部61は、ロケータ35より取得するロケータ情報及び地図データと、周辺監視センサ30より取得する検出情報とに基づき、自車両Aの走行環境を認識する。具体的に、環境認識部61は、複数レーンのうちで自車が走行する自車レーンの位置、各レーンのレーン形状及び進行方向、並びに自車周囲の他車両及び歩行者等の相対位置及び相対速度等を把握する。環境認識部61は、これらの認識結果と、周辺監視センサ30による検出の信頼度を示す情報(以下、センサ信頼度情報)とをHMI制御ブロック70に提供する。
行動判断部62は、ドライバ及びシステム間にて運転操作の制御主体を切り替える。加えて行動判断部62は、運転操作の制御権がシステム側にある場合、環境認識部61による走行環境の認識結果に基づき、自車両Aを走行させる走行プランを生成する。行動判断部62は、自動運転の作動状態を示す自動運転情報をHMI制御ブロック70に提供する。自動運転情報には、自動運転が実行中か否かを示す情報と、実行中の自動運転に周辺監視義務があるか否かを示す情報とが少なくとも含まれている。
行動判断部62は、デッドマン判定ブロック50によって提供される異常検知情報に基づき、ドライバの運転困難状態が確定判定された場合に、緊急退避制御の実施を決定する。緊急退避制御は、MRM(Minimal Risk Maneuver)制御及び縮退運転制御に相当し、システム側が制御権を持って自車両Aを退避場所に停車させる自動運転制御である。退避場所は、走行中のレーン内又は走行中の道路の道路脇(路肩)等に設定される。例えば、非常駐車帯、路側帯及びパーキングエリア等が退避場所として設定可能であってもよい。
制御実行部63は、運転操作の制御権がシステム側にある場合、走行制御ECU40との連携により、行動判断部62にて生成された走行プランに従って、自車両Aの加減速制御及び操舵制御等を実行する。具体的に、制御実行部63は、走行プランに基づく制御指令を生成し、生成した制御指令を走行制御ECU40へ向けて逐次出力する。
HMI制御ブロック70は、ドライバ等の乗員による操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを実現させる制御ブロックである。HMI制御ブロック70は、図1及び図2に示すメータディスプレイ21、CID22及びヘッドアップディスプレイ(以下、HUD)23等の表示デバイス、オーディオ装置24並びに操作デバイス26等と電気的に接続されている。自車両Aの表示デバイスには、電子ミラーシステムの各ディスプレイEMB,EML及びEMR(図2参照)がさらに含まれていてもよい。
メータディスプレイ21及びCID22は、例えば液晶ディスプレイ又はOLED(Organic Light Emitting Diode)ディスプレイ等を主体とする構成である。CID22は、タッチパネルの機能を有しており、ドライバ等による表示画面へのタッチ操作を検出する。HUD23は、ドライバ前方に結像される画像の光を、ウィンドシールドWS等に規定された投影領域APに投影することで、自車両Aの前景と重なる虚像をドライバに視認させる。
オーディオ装置24は、運転席を囲む配置にて車室内に設置された複数のスピーカを有している。オーディオ装置24は、報知音及び音声メッセージ等をスピーカによって車室内に再生させる。
操作デバイス26は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス26には、例えば自動運転機能の作動及び停止に関連するユーザ操作等が入力される。ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、及びドライバの発話内容を認識する音声入力装置等が、操作デバイス26に含まれる。
HMI制御ブロック70は、記憶部13に記憶された表示制御プログラムを処理部11にて実行することにより、ドライバへの情報提示を統合的に制御する複数の機能部を有する。具体的に、HMI制御ブロック70には、情報取得部71、3D描画部73、ナビ機能部74及び提示制御部77等の機能部が構築される。
情報取得部71は、ドライバ等の乗員へ向けた情報提示に必要となる種々の情報を取得する。具体的に、情報取得部71は、車速情報、異常検知情報、自車位置情報、道路の種別情報及び形状情報、自動運転情報、センサ信頼度情報、物標検出情報、並びに警告対象情報等を取得する。上述したように、車速情報は、自車両Aの現在の走行速度を示す情報である。自車位置情報は、自車レーンの位置を示す情報である。また異常検知情報は、上述したように、自車両Aのドライバに生じた体調異常を示す情報である。
道路の種別情報は、走行中の道路が一般道か高速道路か(又は駐車場か)を示す情報と、走行中の道路の各レーンの進行方向を示す情報とを少なくとも含んでいる。ここでいう高速道路には、自動車専用道が含まれている。道路の形状情報は、走行中の道路の各レーンの形状を示す情報であり、言い替えれば、各レーンを区画している区画線又は道路端の形状を示す情報である。道路の形状情報は、ロケータ35から提供される地図データに加えて、環境認識部61から提供される区画線又は道路端の認識結果に基づく情報であってよい。
自動運転情報は、上述したように、運転制御ブロック60にて実行される自動運転での周辺監視義務の有無を示す情報である。センサ信頼度情報は、カメラユニット31及びミリ波レーダ32によるセンシングの信頼度を示す情報である。一例として、信頼度「高」、「中」、「低」等の情報が、センサ信頼度情報として情報取得部71に提供される。
物標検出情報は、自車両Aの周囲に位置する物標の種別を示す情報と、各物標の相対位置及び相対速度等を示す情報とを含んでいる。物標検出情報では、例えば一般車両、大型車両、モーターサイクル、歩行者及びサイクリスト等に物標の種別が識別されている。物標検出情報のうちで、自車両Aと同一のレーンを走行する前方車両の有無を示す情報が、前方車両情報とされる。物標検出情報には、物標のサイズ情報等が含まれていてもよい。
警告対象情報は、自車両Aの周囲に位置する物標のうちで、自車両Aに対するリスクの高い物標(以下、警告対象)を特定した情報である。警告対象は、例えば自車両Aとの相対距離、相対速度及び移動方向等に基づき、認識された物標の中から特定される。警告対象を特定する処理は、環境認識部61にて実施されてもよく、情報取得部71によって実施されてもよい。一例として、自車両Aの近傍に位置する歩行者等が、警告対象として特定される。
ここで、上記の取得情報のうち、種別情報及び形状情報等、自車両Aの周囲の道路に関連する道路情報である。また各取得情報のうち、車速情報、前方車両情報及び種別情報等は、自車両Aに関連する自車関連情報である。さらに、各取得情報のうち、自車位置情報、種別情報、形状情報、センサ信頼度情報、物標検出情報及び警告対象情報等は、走行環境の認識結果に基づく認識情報である。
3D描画部73は、表示デバイスに表示させる複数の画像の一つとして、周辺画像Dpm(図6~図12参照)を描画する。周辺画像Dpmは、環境認識部61にて認識される自車周囲の走行環境をリアルタイム可視化した画像であり、自車周囲の走行環境を再現した画像である。周辺画像Dpmは、自車両Aを後方から俯瞰したような様態の画像となる。3D描画部73は、自車両A及び他車両等に相当するオブジェクトを仮想のモデリング空間にレイアウトし、仮想のカメラ位置からオブジェクト群を撮影した2D画像を周辺画像Dpmとして生成する。
周辺画像Dpmには、複数のラインアイコンPln(図6参照)、自車アイコンPv(図6参照)、他車アイコンPo(図6参照)及び歩行者アイコンPa(図9参照)等が描画される。
各ラインアイコンPlnは、道路の形状情報を用いて描画され、走行中の道路に設けられた複数の区画線をそれぞれ示している。自車アイコンPvの左右に描画されたラインアイコンPlnにより、自車両Aの走行する自車レーンVLsが再現される。周辺画像Dpmにおいて左右両端に表示される各ラインアイコンPlnは、それぞれ左右の道路端を示す道路端アイコンPreである。ラインアイコンPlnは、走行中の道路の各レーンを周辺画像Dpmに再現している。
ラインアイコンPlnには、認識ラインLi1及び非認識ラインLi2が含まれている。認識ラインLi1は、地図データに記録されており、かつ、周辺監視センサ30によって認識されている区画線(又は道路端)に対応するラインアイコンPlnである。非認識ラインLi2は、地図データに記録されている一方で、周辺監視センサ30によっては認識されていない区画線に対応するラインアイコンPlnである。自車アイコンPvの近傍に配置されるラインアイコンPlnは、認識ラインLi1となる。一方で、自車アイコンPvから離れた位置に描画されるラインアイコンPlnは、非認識ラインLi2となる。
認識ラインLi1及び非認識ラインLi2は、互いに異なる様態で周辺画像Dpmに描画される。一例として、認識ラインLi1及び非認識ラインLi2は、異なる表示色又は異なる線種で描画される。具体的に、認識ラインLi1は、非認識ラインLi2よりも明度又は彩度の高い表示色にて表示される。また別の様態では、認識ラインLi1は、実線で描画され、非認識ラインLi2は、破線で描画される。
自車アイコンPvは、自車両Aの上面及び後面の外観形状を模した自車画像部である。自車アイコンPvは、一対のラインアイコンPlnによって周辺画像Dpmに再現された自車レーンVLsに描画される。自車アイコンPvは、周辺画像Dpmの中央からやや下寄りに配置され、自車両Aの状態を示す。
他車アイコンPoは、他車両の外観形状を模した他車画像部である。他車アイコンPoは、実際の他車両を検出したカメラユニット31等による物標検出情報に基づき描画される。他車アイコンPoの描画形状は、環境認識部61によって認識される他車両の種別及びサイズ等に応じて変更されてよい。他車アイコンPoは、実際の自車両A及び他車両の位置関係が周辺画像Dpm内にて再現されるように、自車アイコンPvの周囲に配置される。他車アイコンPoは、自車周囲に位置する他車両の存在をドライバに報知する。
歩行者アイコンPaは、歩行者を模した画像であり、実際の歩行者を検出したカメラユニット31等による物標検出情報に基づき描画される。歩行者アイコンPaは、実際の自車両A及び歩行者の位置関係が周辺画像Dpm内にて再現されるように、自車アイコンPvの周囲に配置される。歩行者アイコンPaは、自車両Aに対してリスクとなるような歩行者の存在をドライバに警告する。
3D描画部73は、3D描画処理(図3参照)の実施によって上述の周辺画像Dpmを描画する。3D描画処理では、情報取得部71の取得情報に基づき、周辺画像Dpmの表示態様が逐次変更される。具体的に、3D描画処理では、周辺画像Dpmに描画するラインアイコンPlnの本数及び様態と、周辺画像Dpmの縮尺及び俯角とが、取得情報に基づいて変更される。3D描画処理は、自動運転コンピュータ100の起動によって開始され、自動運転コンピュータ100の電源がオフ状態となるまで、情報取得部71及び3D描画部73によって繰り返し実施される。
3D描画処理のS31~S33にて、情報取得部71は、車速情報、認識情報及び自動運転情報を順次取得する。各情報の取得順序は、適宜変更されてよい。S32では、周辺監視センサ30によって認識されている自車周囲の他車両の数(量)、地図データに登録された自車周囲の各区画線が周辺監視センサ30によって認識されているか否か等が把握される。S33では、自動退避制御(縮退運転)への移行状況及び実行状況を示す退避制御情報が、自動運転情報として取得されてもよい。
情報取得部71は、S34にて、デッドマン判定ブロック50から異常検知情報をさらに取得する。異常検知情報は、自車両Aにて実行される縮退運転(緊急退避制御による自動走行)の実施情報に相当する。情報取得部71は、S35にて、異常検知情報に基づき、ドライバの体調の異常状態が把握されているか否かを把握する。運転困難状態の確定を示す異常検知情報を情報取得部71が取得しており、ドライバの異常状態が把握されている場合(S35:YES)、3D描画部73は、S36にて、緊急退避制御用の表示設定(図10参照)を有効化する。そして、S42にて、緊急退避制御用の表示設定を反映した縮尺及び俯角の周辺画像Dpmが描画される。
3D描画部73は、S37にて、情報取得部71の取得情報に基づき、周辺画像DpmにおけるラインアイコンPlnの表示及び非表示が繰り返されるか否か、言い替えれば、ラインアイコンPlnの数の頻繁な増減が生じるか否かを予測する。3D描画部73は、道路種別及び交通量等に応じて一部のラインアイコンPlnの表示及び非表示が繰り返されると予測した場合(S37:YES)、S38にて、周辺画像Dpmの表示設定を固定化する。そして、S42にて、固定化した表示設定に基づく周辺画像Dpmが描画される。
この場合、ラインアイコンPlnの数の変更が中止され、周辺画像Dpmに描画されるラインアイコンPlnの数は、所定の数以下に固定される。3D描画部73は、ラインアイコンPlnの本数及び様態と、周辺画像Dpmの縮尺及び俯角とを、予め規定された設定に切り替えることで、周辺画像Dpmの表示設定を固定化してもよい。又は、現在の表示設定の変更を禁止することにより、表示設定の固定化が実施されてもよい。
3D描画部73は、S39にて、情報取得部71の取得情報に基づき、周辺画像Dpmに描画するラインアイコンPlnの様態を設定する。具体的に、S39では、ラインアイコンPlnの本数と、各ラインアイコンPlnを認識ラインLi1及び非認識ラインLi2のいずれの様態で表示するのかと、が決定される。
3D描画部73は、S40にて、情報取得部71の取得する認識情報に基づき、他車アイコンPo及び歩行者アイコンPa等を用いて報知又は警告する物標を設定する。S40では、仮想のレイアウト空間に、区間線、自車両A、他車両及び歩行者等に対応するオブジェクトが配置される。さらに、3D描画部73は、S41にて、情報取得部71の取得情報に基づき、仮想のカメラ位置を設定する。S41では、周辺画像Dpmの俯角及び縮尺等が設定される。3D描画部73は、前方車両情報、車速情報及び種別情報等のうちで予め設定された優先度の高い情報を優先し、周辺画像Dpmの縮尺を設定する。そして、S42にて、自車アイコンPvを基準とした俯瞰視点の周辺画像Dpmが描画される。
ナビ機能部74は、現在位置から目的地までの経路案内を行うナビゲーション機能を有している。ナビ機能部74は、経路案内のためのルート画像Drt(図11及び図12参照)を描画する。ルート画像Drtは、背景となるマップ画像部Pmと、予定経路Prt及び自車マークPs(図11参照)等とによって構成されている。予定経路Prtは、マップ画像部Pm上での目的地までの経路を示している。自車マークPsは、マップ画像部Pm上での自車両Aの位置を示している。ルート画像Drtは、メータディスプレイ21及びCID22の少なくとも一方に表示される。ドライバ等の乗員は、ルート画像Drtの表示エリアを、メータディスプレイ21及びCID22のうちで切り替えることができる。
ナビ機能部74は、ルート画像Drtを描画するマップ描画処理(図4参照)を実施する。マップ描画処理は、ドライバ等による目的地の設定に基づいて開始され、目的地への経路案内が終了するまで、情報取得部71及びナビ機能部74によって継続実施される。
マップ描画処理のS41にて、ナビ機能部74は、ルート画像Drtの設定情報を読み込む。具体的に、ナビ機能部74は、メータディスプレイ21及びCID22のどちらがルート画像Drtを表示するのか、及びどのようなサイズでルート画像Drtが表示されるのかといった情報を、設定情報として読み込む。さらに、ナビ機能部74は、S42~S44にて、自車位置情報、目的地までのルート情報、及び自車周囲の地図データを順次取得する。これらの取得順序は、適宜変更されてよい。そして、ナビ機能部74は、S45にて、設定情報、自車位置情報、ルート情報及び地図データ等を組み合わせて、所定の解像度(描画サイズ)の自車周囲のマップ画像を描画する。
提示制御部77は、各表示デバイス及びオーディオ装置24を用いたドライバへの情報の提供を統合制御する。提示制御部77は、ドライバへ向けて提示する情報を調停する調停機能と、調停結果に基づき映像データ及び音声データを生成するデータ生成機能とを有している。提示制御部77は、調停機能として、情報取得部71にて取得される種々の取得情報に基づき、提供候補となる各コンテンツに優先度を設定する。提示制御部77は、優先度が高いと判断したコンテンツを、ドライバへの提供対象に選定する。提示制御部77は、データ生成機能として、コンテンツの選定結果に基づき、各表示デバイスに提供する映像データ及びオーディオ装置24に提供する音声データ等を生成する。
提示制御部77は、周辺画像Dpm及びルート画像Drtを共にメータディスプレイ21に表示させる表示モード(合成表示モード,図11等参照)が選択されている場合、画像合成処理(図5参照)を実施する。画像合成処理では、周辺画像Dpm及びルート画像Drtを水平方向(左右)に並べてなる出力画像Dci(図11等参照)が生成される。さらに、画像合成処理では、情報取得部71の取得情報に基づき、周辺画像Dpmとルート画像Drtとの面積比率が逐次変更される。画像合成処理は、合成表示モードを選択するユーザ操作に入力に基づき開始され、合成表示モードの解除又は経路案内の終了まで、情報取得部71及び提示制御部77等によって継続される。
出力画像DciのS71~S73にて、情報取得部71は、車速情報、認識情報及び自動運転情報を順次取得する。この場合の各情報の取得順序も、適宜変更されてよい。提示制御部77は、S74にて、情報取得部71の取得情報に基づき、表示上における周辺画像Dpmとルート画像Drtとの面積比率を設定する。提示制御部77は、S75及びS76にて、ルート画像Drt及び周辺画像Dpmの各画像データを、それぞれナビ機能部74及び3D描画部73から取り込む。そして、提示制御部77は、S77にて、設定した面積比率に応じてルート画像Drt及び周辺画像Dpmを合成し、出力画像Dciを生成する。
次に、ラインアイコンPlnの本数の増減(図3 S39参照)、並びに周辺画像Dpmの俯角及び縮尺等を変更(図3 S41参照)が生じる具体的なシーンの詳細を、図6~図10に基づき、図1及び図2を参照しつつ、さらに説明する。
図6に示す周辺画像Dpmは、周辺監視義務のない自動運転で一般道を走行するシーンにて表示される画像である。3D描画部73は、実行中の自動運転における周辺監視義務の有無に応じて、周辺画像Dpmに描画するラインアイコンPlnの数を変更する(図3 S39参照)。3D描画部73は、周辺監視義務のない自動運転が自車両Aにて実行される場合、周辺監視義務のある自動運転が自車両Aにて実行される場合(図7参照)よりも、周辺画像Dpmに描画するラインアイコンPln数を多くする。
加えて3D描画部73は、道路の種別情報に基づき、周辺画像Dpmに描画するラインアイコンPlnの数を変更する(図3 S39参照)。3D描画部73は、走行中の道路が一般道である場合、走行中の道路が高速道路である場合(図7参照)よりも周辺画像Dpmに描画するラインアイコンPlnの数を多くする。
さらに、3D描画部73は、他車両の認識情報に基づき、自車両Aの周囲を走行する他車両の多寡に応じて、周辺画像Dpmに描画するラインアイコンPlnの数を変更する(図3 S39参照)。3D描画部73は、認識情報を参照し、自車周囲の他車両のうちで、左右の特に隣接レーンを走行する側方車両の数量を把握する。3D描画部73は、自車両Aの周囲を走行する他車両(特に、側方車両)が多くなるほど、周辺画像Dpmに描画するラインアイコンPlnの数を多くする。
以上により、図6に示す走行シーンにて、3D描画部73は、周辺監視センサ30の検出情報及び地図データ等に基づいて認識された全ての区画線及び道路端に対応するラインアイコンPlnを周辺画像Dpmに描画する。即ち、アイズオフ自動運転中は、ラインアイコンPlnの表示が省略されない。その結果、道路端アイコンPreを含めた多数のラインアイコンPlnにより、全てのレーンが周辺画像Dpmに再現される。
また3D描画部73は、実行中の自動運転における周辺監視義務の有無に応じて、周辺画像Dpmの縮尺を変更する(図3 S41参照)。3D描画部73は、周辺監視義務のない自動運転が自車両Aにて実行される場合、周辺監視義務のある自動運転が自車両Aにて実行される場合(図7参照)よりも、周辺画像Dpmの縮尺を小さくし、高い視点位置から見た広範囲の状況を周辺画像Dpmに表示する。加えて3D描画部73は、自車関連情報に基づき、周辺画像Dpmの縮尺を変更する(図3 S41参照)。3D描画部73は、自車関連情報である前方車両情報に基づき、前方車両が存在する場合、前方車両が存在しない場合(図7参照)よりも、周辺画像Dpmの縮尺を小さくする。
以上により、図6に示す走行シーンにて、多数の他車アイコンPoが、ラインアイコンPlnによって再現された各レーンに配置される。その結果、周辺画像Dpmにおける自車アイコンPv及び各他車アイコンPoの位置関係から、自車周囲の広範囲の情報が把握可能になる。例えば、周辺画像Dpmは、自車レーンVLsの隣接レーンの状況だけでなく、自車レーンVLsから離れたレーンの状況を提示し得る。さらに、周辺画像Dpmは、前方車両よりもさらに遠方の状況をドライバに提供できる。
図7に示す周辺画像Dpmは、周辺監視義務のある自動運転で高速道路を走行するシーンにて表示される画像である。3D描画部73は、自動運転情報に基づき、周辺監視義務のある自動運転が実行される場合、周辺監視義務のない自動運転が実行される場合(図6参照)よりも、周辺画像Dpmに描画するラインアイコンPln数を少なくする(図3 S39参照)。加えて3D描画部73は、道路の種別情報に基づき、走行中の道路が高速道路である場合、走行中の道路が一般道である場合(図6参照)よりも周辺画像Dpmに描画するラインアイコンPlnの数を少なくする(図3 S39参照)。
以上により、図7に示す走行シーンにて、3D描画部73は、検出情報及び地図データ等に基づいて認識された区画線の一部に対応したラインアイコンPlnのみを周辺画像Dpmに描画する。一例として、道路端を示す道路端アイコンPre(図6参照)の描画が中止され、自車レーンVLsを区画する一対のラインアイコンPlnと、左右両側の隣接レーンを再現する各ラインアイコンPlnのみが、周辺画像Dpmに描画される。
また3D描画部73は、周辺監視義務のある自動運転が自車両Aにて実行される場合、周辺監視義務のある自動運転が自車両Aにて実行される場合(図7参照)よりも、周辺画像Dpmの縮尺を大きくする(図3 S41参照)。加えて3D描画部73は、前方車両情報に基づき、前方車両が存在しない場合、前方車両が存在する場合(図7参照)よりも、周辺画像Dpmの縮尺を大きくする(図3 S41参照)。
以上により、図7に示す走行シーンでは、低い視点位置から見た自車近傍の詳細な状況が周辺画像Dpmに再現される。その結果、例えば周辺画像Dpmにおける自車アイコンPv及び各他車アイコンPoの位置関係により、隣接レーンを走行する他車両の状況が分かり易く提示され得る。
ここで3D描画部73は、自動運転における周辺監視義務の有無が変更されるよりも前に、周辺画像Dpmの様態変更を完了させる。例えば、周辺監視義務のある自動運転から周辺が監視義務のない自動運転に移行する場合、3D描画部73が、自車アイコンPvから後ろ上方にズームアウトしつつラインアイコンPlnの描画数を増やす表示変化をまず実施する。そして、周辺画像Dpmの様態変化が完了した後に、自動運転制御のレベル切り替えが実施される。同様に、周辺監視義務のない自動運転から周辺が監視義務のある自動運転に移行する場合も、3D描画部73は、自車アイコンPvへ向けてズームインしつつラインアイコンPlnの描画数を減らす表示変化をまず実施する。そして、周辺画像Dpmの様態変化が完了した後に、自動運転制御のレベル切り替えが実施される。
図8に示す周辺画像Dpmは、周辺監視義務のない自動運転で一般道を走行する別のシーンにて表示される画像である。3D描画部73は、走行中の道路のレーン数が所定数を超える場合に、進行方向が自車両Aと異なるレーンを示すラインアイコンPlnの描画を中止する。一例として、3D描画部73は、自車レーンVLsから分岐する分岐レーンLnxと自車レーンVLsと対向する対向レーンVLoとを進行方向が異なるレーンとし、左右両側のラインアイコンPlnを非表示とする。この場合、3D描画部73は、道路端アイコンPreも非表示とする。3D描画部73は、周辺画像Dpmに描画するラインアイコンPlnの数を減らす場合に、周辺画像Dpmにて自車アイコンPvの周囲を拡大する。
加えて3D描画部73は、周辺画像Dpmに描画するラインアイコンPlnの数を減らす場合でも、周辺画像Dpmにおける他車アイコンPoの数を維持する。そのため、分岐レーンLnx及び対向レーンVLoを区画するラインアイコンPlnが非表示となるシーンでも、分岐レーンLnx及び対向レーンVLoの他車アイコンPoの表示は、継続される。
また3D描画部73は、自車レーンVLsから離れたラインアイコンPln又は道路端アイコンPreを非表示とした後、歩行者等の警告対象を検出した警告対象情報が取得された場合には、歩行者アイコンPa(図9参照)を表示する。3D描画部73は、歩行者アイコンPaの表示開始に合わせて、周辺画像Dpmに描画するラインアイコンPlnの数を増やす。3D描画部73は、歩行者アイコンPa近傍の道路端アイコンPre又はラインアイコンPlnを再表示させる。
図9に示す周辺画像Dpmは、周辺監視義務のある自動運転又は手動運転で一般道の最も歩道側のレーンを走行するシーンにて表示される画像である。3D描画部73は、警告対象情報を用いて歩行者等の警告対象の存在を示す歩行者アイコンPaを周辺画像Dpmにさらに描画する。複数の歩行者が検出されている場合、3D描画部73は、各歩行者の相対位置に応じて、複数の歩行者アイコンPaを周辺画像Dpmに表示させる。
加えて3D描画部73は、自車位置情報に基づき、自車両Aが最も歩道側となる歩道側レーンを走行している場合に、周辺画像Dpmの縮尺を大きくする。さらに、3D描画部73は、自車関連情報である車速情報に基づき、自車両Aが一時停止した場合又は走行速度が所定の低速閾値未満である場合、走行速度が低速閾値を超える場合よりも周辺画像Dpmの縮尺を大きくする。以上により、周辺画像Dpmにて自車アイコンPvの周囲が拡大される。その結果、歩行者アイコンPaと自車アイコンPvの位置関係が強調され、歩行者の自車両Aへの接近が周辺画像Dpmにて警告される。
さらに3D描画部73は、自車位置情報と自車レーンが合流レーンに隣接するか否かを示す道路の種別情報とに基づき、自車レーンが合流レーンとの隣接するシーンにて、自車レーンが合流レーンと隣接しないシーンよりも周辺画像Dpmの縮尺を小さくする。これにより、高い視点位置から見た広範囲の状況が周辺画像Dpmに表示されるため、合流レーンを走行する他車両が他車アイコンPoによって早期に注意喚起される。
また3D描画部73は、周辺監視センサ30による認識の信頼度に応じて周辺画像Dpmの縮尺を変更する。具体的には、周辺画像Dpmの縮尺が小さく設定されていても、センサ認識の信頼度が低い場合、3D描画部73は、周辺画像Dpmに再現される自車周囲の範囲を狭く変更する。一方で、センサ認識の信頼度が高い場合、3D描画部73は、周辺画像Dpmに再現される自車周囲の範囲を広く設定する。
図10に示す周辺画像Dpmは、ドライバの体調の異常状態が把握された場合(図3 S35:YES)に、緊急退避制御用の表示設定(図3 S36)に基づいて表示される画像である。3D描画部73は、地図データに記録された区画線の情報に基づき、全てのラインアイコンPlnが描画される最大の鳥瞰となるまで周辺画像Dpmの縮尺を大きくする。3D描画部73は、ドライバの姿勢崩れの発生を示す異常検知情報に基づき、姿勢崩れアイコンPdwをメータディスプレイ21に表示させる。さらに、3D描画部73は、運転困難状態の確定を示す異常検知情報に基づき、縮退運転(緊急退避制御)の実施が決定されタイミングで仮想視点の移動を開始し、周辺画像Dpmの縮尺を最大まで変化させる。そして、縮退運転の開始に基づき、3D描画部73は、ラインアイコンPlnの数を増やす表示変化と、自車周囲の他車両に応じた他車アイコンPoを追加する表示変化とを順に実施する。
次に、出力画像Dciの面積比率の変更が生じる具体的なシーンの詳細を、図11及び図12に基づき、図1及び図2を参照しつつ、さらに説明する。
図11に示す出力画像Dciは、周辺監視義務のない自動運転で一般道を走行するシーンにて表示される画像である。提示制御部77は、自動運転情報に基づき、実行中の自動運転における周辺監視義務の有無に応じて、周辺画像Dpmとルート画像Drtとの面積比率を変更する(図5 S74参照)。提示制御部77は、周辺監視義務のない自動運転が自車両Aにて実行される場合、周辺監視義務のある自動運転が自車両Aにて実行される場合(図12参照)よりも、出力画像Dciにおける周辺画像Dpmの面積比率を高める。
加えて提示制御部77は、自車関連情報に基づき、表示上における周辺画像Dpmとルート画像Drtとの面積比率を変更する(図5 S74参照)。提示制御部77は、車速情報に基づき、自車両Aが低速閾値未満で走行する場合に、出力画像Dciにおける周辺画像Dpmの面積比率を高める。また提示制御部77は、道路の種別情報に基づき、自車両Aが一般道を走行している場合に、出力画像Dciにおける周辺画像Dpmの面積比率を高める。提示制御部77は、道路の種別情報に基づき、自車両Aが駐車場内を走行していると判定された場合にも、出力画像Dciにおける周辺画像Dpmの面積比率を高めることができる。
以上により、提示制御部77は、周辺画像Dpmの表示面積を、ルート画像Drtの表示面積よりも広く設定する。周辺画像Dpmは、メータディスプレイ21の表示画面の中央部分に表示される。一方、ルート画像Drtは、メータディスプレイ21の表示画面の周縁部分に、周辺画像Dpmの視認を妨げない様態で表示される。
図12に示す出力画像Dciは、周辺監視義務のある自動運転で高速道路を走行するシーンにて表示される画像である。提示制御部77は、周辺監視義務のある自動運転が自車両Aにて実行される場合、周辺監視義務のない自動運転が自車両Aにて実行される場合(図11参照)よりも、出力画像Dciにおける周辺画像Dpmの面積比率を低く設定する。加えて提示制御部77は、車速情報に基づき、自車両Aが高速道路を走行している場合には、出力画像Dciにおける周辺画像Dpmの面積比率を低くする。
以上により、提示制御部77は、周辺画像Dpmの表示面積と、ルート画像Drtの表示面積とを概ね同程度に設定する。例えば周辺画像Dpmは、メータディスプレイ21の表示画面の右半分に表示される。一方、ルート画像Drtは、メータディスプレイ21の表示画面の左半分に表示される。
ここまで説明した本実施形態では、周辺画像Dpmに描画されるラインアイコンPlnの数が道路の種別情報に基づき変更される。故に、周辺画像Dpmの内容が走行シーンに応じて簡素化され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
加えて本実施形態では、道路の各レーンの進行方向を示す種別情報が取得され、道路のレーン数が所定数を超える場合、3D描画部73は、進行方向が自車両Aと異なるレーンを示すラインアイコンPlnの描画を中止する。以上のように、重要性の低いラインアイコンPlnの描画を中止すれば、周辺画像Dpmの内容が簡素化され得る。したがって、分かり易い周辺画像Dpmの提示が可能になる。
また本実施形態では、一般道か高速道路かを示す種別情報が取得され、走行中の道路が高速道路である場合、3D描画部73は、一般道である場合よりも周辺画像Dpmに描画するラインアイコンPlnの数を少なくする。以上によれば、高速道路にて重要度の低下する側方遠方の情報が、周辺画像Dpmから省略され得る。その結果、周辺画像Dpmは、必要な情報を選択的に提供可能な分かり易い表示となる。
さらに本実施形態では、走行中の道路が一般道である場合、道路端を示すラインアイコンPlnとしての道路端アイコンPreが周辺画像Dpmに描画される。そして、道路端アイコンPreは、高速道路を走行する場合には、描画を中止される。以上によれば、歩行者等が道路脇に存在する一般道では、道路端を明示して、自車周囲の詳細がドライバに報知され得る。対して、歩行者等が存在しない高速道路では、周辺画像Dpmの簡素化が可能になる。
加えて本実施形態では、周辺画像Dpmに描画されるラインアイコンPlnの数が実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像Dpmの内容は、自動運転の作動状態に合わせて簡素化され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
また本実施形態では、周辺監視義務のあるレベル2以下の自動運転が自車両Aにて実行される場合、周辺監視義務のある自動運転が自車両Aにて実行される場合よりも、周辺画像Dpmに描画されるラインアイコンPlnの数が少なくされる。周辺監視義務がある自動運転中では、ドライバは、自車周囲を実際に監視しているはずである。故に、周辺監視義務のある場合では、一部のラインアイコンPlnを消すことで、周辺画像Dpmを適切に簡素化することが可能になる。
さらに本実施形態の3D描画部73は、自動運転における周辺監視義務の有無が変更されるよりも前に、周辺画像Dpmに描画するラインアイコンPlnの数の変更を完了する。このように、自動運転の状態が切り替わる前に周辺画像Dpm情報量を増減させておけば、運転交代に際して、ドライバは、必要な周辺の情報を周辺画像Dpmから早期に把握することができる。
加えて本実施形態では、ラインアイコンPlnによって周辺画像Dpmに再現された自車レーンVLsに自車両Aを示す自車アイコンPvがさらに描画される。そして、周辺画像Dpmに描画するラインアイコンPlnの数を減らす場合、3D描画部73は、周辺画像Dpmにて自車アイコンPvの周囲を拡大する。以上によれば、3D描画部73は、ラインアイコンPlnの数の増減に応じたズームイン又はズームアウトにより、周辺画像Dpmのスケールを見易い状態に維持できる。
また本実施形態では、自車両Aの周囲に位置する他車両等の物標を検出したセンサの物標検出情報を用いて他車両等の存在を示す他車アイコンPoが周辺画像Dpmにさらに描画される。そして、3D描画部73は、周辺画像Dpmに描画するラインアイコンPlnの数を減らす場合でも、他車アイコンPoの数を維持する。このように、他車両を報知する他車アイコンPoを減らさないことで、周辺画像Dpmは、簡素化された場合でも、ドライバに有益な情報の提示を継続できる。
さらに本実施形態では、自車両Aの周囲に位置する歩行者等の警告対象を検出したセンサの警告対象情報を用いて歩行者等の存在を示す歩行者アイコンPaが周辺画像Dpmにさらに描画される。そして、3D描画部73は、歩行者アイコンPaを描画する場合、周辺画像Dpmに描画するラインアイコンPlnの数を増やす。こうしたラインアイコンPlnの増加によれば、歩行者アイコンPaに紐づく歩行者等の相対位置が周辺画像Dpmを通して把握し易くなる。
加えて本実施形態では、周辺画像Dpmに描画されるラインアイコンPlnの数が自車周囲を走行する他車両の多寡に応じて変更される。故に、周辺画像Dpmは、自車周囲の交通量の変化に合わせて、他車両を把握し易い様態に変更される。その結果、周辺画像Dpmは、自車両Aと自車周囲の他車両との位置関係を分り易く提示可能となる。
また本実施形態では、自車両Aの周囲を走行する他車両が多くなるほど、周辺画像Dpmに描画されるラインアイコンPlnの数が多くなる。その結果、自車周囲の広範囲の走行環境が周辺画像Dpmに再現されるため、他車両が多く存在しても、自車両Aと他車両との位置関係が分り易く提示され得る。
さらに本実施形態では、周辺画像Dpmに描画されるラインアイコンPlnの数の増減が繰り返されると予測された場合に、ラインアイコンPlnの数の変更が中止される。例えば、路面上の白線がかすれている又は天候が悪い等、周辺監視センサ30の検出環境が良好でない場合、周辺画像Dpmの内容変化が繰り返されると予測される。こうした走行シーンにおいて、ラインアイコンPlnの数等が固定されれば、周辺画像Dpmの表示内容の変化がドライバに煩わしく感じられる事態は、回避され得る。
加えて本実施形態では、周辺監視センサ30によって認識されている区画線に対応する認識ラインLi1と、周辺監視センサ30によって認識されていない区画線に対応する非認識ラインLi2とが、異なる様態で描画される。こうした表示によれば、周辺画像Dpmは、周辺監視センサ30によって認識できているか否かに応じてラインアイコンPlnの増減が生じているわけではないことを、ドライバに明示できる。故に、周辺監視センサ30の環境認識能力が低いとの誤解をドライバに与える事態が回避される。
また本実施形態では、自車両Aを俯瞰する様態の周辺画像Dpmの縮尺が道路の種別情報に基づき変更される。故に、周辺画像Dpmに再現される自車周囲の範囲は、走行シーンに応じて適切に調整され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
さらに本実施形態では、車速情報に基づき、自車両Aが停止した場合又は走行速度が所定の低速閾値未満である場合、走行速度が低速閾値を超える場合よりも、3D描画部73は、周辺画像Dpmの縮尺を大きくする。以上によれば、停止時又は低速走行時には、自車周囲の詳細が周辺画像Dpmに表示され得る。その結果、周辺画像Dpmは、走行シーンに応じて重要となる情報を優先的に提示できる。
加えて本実施形態では、前方車両情報に基づき、前方車両が存在する場合、前方車両が存在しない場合よりも、3D描画部73は、周辺画像Dpmの縮尺を小さくする。以上によれば、前方車両が存在する場合、周辺画像Dpmは、高いところから広い範囲を見ているような画像になる。こうした情報提示の範囲拡張によれば、周辺画像Dpmは、実景にて直接的に確認し難くなっている前方車両よりも前方範囲の状況を、ドライバ等に分かり易く提示できる。
また本実施形態では、自車レーンが合流レーンに隣接するか否かを示す種別情報に基づき、自車レーンが合流レーンとの隣接するシーンにおいて、3D描画部73は、周辺画像Dpmの縮尺を小さくする。以上によれば、合流シーンにおいて、周辺画像Dpmは、高い位置から広範囲を見たような様態となるため、直接的な視認が難しい合流レーンの他車両の様子を分かり易くドライバ等に提示できる。
さらに本実施形態の3D描画部73は、前方車両情報、車速情報及び種別情報のうちで予め設定された優先度の高い情報を優先し、周辺画像Dpmの縮尺を設定する。以上によれば、周辺画像Dpmは、走行シーンに適合する縮尺で自車周囲の状況をドライバに提示できるようになる。
加えて本実施形態では、自車両Aを俯瞰する様態の周辺画像Dpmの縮尺が実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像Dpmに再現される自車周囲の範囲は、自動運転の作動状態に合わせて適切に調整され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
また本実施形態では、周辺監視義務のある自動運転が自車両Aにて実行される場合、周辺監視義務のない自動運転が自車両にて実行される場合よりも、3D描画部73は、周辺画像Dpmの縮尺を大きくする。以上によれば、周辺監視義務のある自動運転での走行中では、低い視点から狭い範囲を見ているような周辺画像Dpmが表示される。こうした周辺画像Dpmであれば、自車近傍の情報が詳細に提示されるため、自車両Aに接近している歩行者等の確認が容易となる。
さらに本実施形態によれば、複数レーンのうちで自車両Aが走行する位置を示す自車位置情報に基づき、自車両Aが最も歩道側となる歩道側レーンを走行している場合には、3D描画部73は、周辺画像Dpmの縮尺を大きくする。以上によれば、自車近傍の情報を詳細に提示可能な周辺画像Dpmが表示されるため、歩道にいる歩行者等の確認が容易となる。
加えて本実施形態では、周辺監視センサ30による認識の信頼度に応じて周辺画像Dpmの縮尺が変更される。具体的には、センサ認識の信頼度が低い場合、周辺画像Dpmに再現される自車周囲の範囲が狭くされる。一方で、センサ認識の信頼度が高い場合、周辺画像Dpmに再現される自車周囲の範囲が広くされる。その結果、周辺画像Dpmに提示する情報の信頼性確保と内容の簡素化とが両立され得る。
また本実施形態では、ドライバの体調の異常状態が把握された場合、自車両Aを俯瞰する様態の周辺画像Dpmの縮尺が大きくされ、周辺画像Dpmに再現される自車周囲の範囲が拡大される。故に、ドライバによる自車周囲の直接的な確認が困難な状況下でも、周辺画像Dpmが、自車周囲の走行環境を分かり易く提示可能となる。
さらに本実施形態では、ドライバの体調の異常状態が把握された場合、言い替えれば、縮退運転の実施情報に相当する異常検知情報が取得された場合、周辺画像Dpmに描画されるラインアイコンPlnの数が増やされる。具体的に、ラインアイコンPlnの数は、最大の数、即ち、地図データに記録された全区画線の数まで、多くされる。こうした表示変化によれば、周辺画像Dpmは、ドライバの異常時において、自車周囲の広い範囲の状況をもれなく提示することができる。
加えて本実施形態によれば、出力画像Dciに並んで表示される周辺画像Dpm及びルート画像Drtの面積比率が、自車関連情報に基づき変更される。故に、メータディスプレイ21における周辺画像Dpmの表示サイズが、走行シーンに応じて適切に調整され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
また本実施形態によれば、出力画像Dci並んで表示される周辺画像Dpm及びルート画像Drtの面積比率が、実行中の自動運転における周辺監視義務の有無に応じて変更される。故に、自動運転のためにセンサによって認識される情報が増加しても、周辺画像Dpmの表示サイズは、自動運転の作動状態に合わせて適切に調整され得る。その結果、周辺画像Dpmは、自車周囲の走行環境を分かり易く提示可能となる。
さらに本実施形態によれば、周辺監視義務のない自動運転が自車両にて実行される場合、周辺監視義務のある自動運転が自車両にて実行される場合よりも、提示制御部77は、周辺画像Dpmの面積比率を高める。以上によれば、周辺監視義務のないレベル3以上の自動運転が実行される場合に、周辺画像Dpmに再現される自車周囲の範囲が拡張され得る。その結果、ドライバは、自車周囲の実景を直接的に見ていなくても、周辺画像Dpmから自車周囲の情報を纏めて把握できる。したがって、周辺監視義務のない自動運転中での周辺画像Dpmの利便性が向上する。
尚、上記実施形態において、周辺監視センサ30が「センサ」に相当し、デッドマン判定ブロック50が「体調異常把握部」に相当し、3D描画部73及び提示制御部77が「表示制御部」に相当し、自動運転コンピュータ100が「表示制御装置」に相当する。また、ラインアイコンPlnが「ライン画像部」に相当し、認識ラインLi1が「認識画像部」に相当し、非認識ラインLi2が「非認識画像部」に相当する。さらに、自車アイコンPvが「自車画像部」に相当し、他車アイコンPoが「物標画像部」に相当し、歩行者アイコンPaが「警告画像部」に相当し、ルート画像Drtが「別画像」に相当する。
(他の実施形態)
以上、本開示の一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
以上、本開示の一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態の変形例1では、デッドマン判定ブロック50、運転制御ブロック60及びHMI制御ブロック70の各機能がそれぞれ個別の車載ECUに実装されている。変形例1では、デッドマン判定ブロック50の機能を実現するデッドマン判定ECUと、運転制御ブロック60の機能を実現する自動運転ECUと、HMI制御ブロック70の機能を実現するHMI-ECUとが、それぞれ車載ネットワークに接続されている。
またデッドマン判定ブロック50の機能は、自動運転ECUに実装されていてもよく、又はHMI-ECUに実装されていてもよい。尚、デッドマン判定ブロック50の機能が、HMI-ECUとは別の車載ECUに実装されている形態では、HMI-ECUの情報取得部71が「体調異常把握部」に相当する。
さらに、レベル2以下の運転支援機能を実現する運転支援ECUが、自動運転レベル3以上の自律走行機能を実現する自動運転ECUとは別に設けられていてもよい。加えて、運転制御ブロック60又は自動運転ECUは、自動運転レベル4以上の自律走行制御を実施可能であってもよい。自動運転レベル4の自律走行制御では、例えば睡眠がセカンドタスクとして許可される。
上記実施形態のデッドマン判定ブロック50は、ドライバ監視ユニット38によって撮像されたドライバの顔画像を用いて、ドライバの異常状態を判定していた。しかし、デッドマン判定ブロック50は、顔画像以外のドライバ情報を用いて、ドライバの体調異常を判定可能であってもよい。例えば、デッドマン判定ブロック50は、ステアリングホイールを把持しているか否かを示すステア把持情報、操舵操作が行われているか否かを示す操舵操作情報等を、異常状態の把握に用いてもよい。さらに、デッドマン判定ブロック50は、ドライバの装着するウェアラブル端末から受信するバイタルデータ、具体的には、脈拍、血圧及び体温等の情報を、異常状態の把握に用いてもよい。
上記実施形態の変形例2では、ラインアイコンPlnの数を変更する機能が省略される一方で、周辺画像Dpmの縮尺を変更する機能は実装されている。対して、上記実施形態の変形例3では、周辺画像Dpmの縮尺を変更する機能が省略される一方で、ラインアイコンPlnの数を変更する機能は実装されている。
上記実施形態の変形例4では、周辺監視義務の有無が変更される場合に、自動運転の制御が切り替わった所定時間後に、周辺画像Dpmの様態変更が開始される。また、上記実施形態の変形例5では、周辺画像Dpmの仮想視点位置が自車アイコンPvの左右方向にも移動する。
上記実施形態の周辺画像Dpmでは、一対のラインアイコンPlnによって区切られることで、各レーンが再現されていた。一方、上記実施形態の変形例6では、画面の上下方向に沿って帯状に延伸する形状の複数のライン画像部が、周辺画像Dpmにおいて自車レーン及び隣接レーン等を再現している。自車アイコンPv及び他車アイコンPoは、各ライン画像部に重ねて描画される。以上の変形例6のように、周辺画像Dpmにおいて各レーンを再現するためのライン画像部の描画形状は、適宜変更されてよい。
上記実施形態では、ドライバの異常状態として、運転困難状態の確定判定が行われた場合に、周辺画像Dpmの縮尺を変更する表示変化が開始されていた。しかし、ドライバの異常状態に基づく表示変化を開始させるタイミングは、適宜変更されてよい。一例として、上記実施形態の変形例7では、ドライバの姿勢崩れが検知されたタイミングで、運転困難状態の確定判定よりも前に、周辺画像Dpmの縮尺が変更される。また、上記実施形態の変形例8では、緊急退避制御による走行が開始されたことに基づき、周辺画像Dpmの縮尺が変更される。
さらに、周辺画像Dpmの縮尺が変更される縮退運転は、ドライバが運転困難状態となった場合の緊急退避制御に限定されない。縮退運転(フォールバック)は、ドライバの制御に依らないで、法規を一時的に無視するかたちとなっても、自動運転を継続させる制御である。一例として、自車前方の障害物を自動操舵制御によって回避する縮退運転が実施される場合でも、周辺画像Dpmの縮尺を大きく変更する表示制御が実施されてよい。
周辺画像Dpmを表示する表示デバイスは、メータディスプレイ21に限定されない。周辺画像Dpmは、CID22の表示画面に表示されてもよく、又はHUD23によって虚像表示されてもよい。
上記実施形態の変形例8では、ルート画像Drtとは異なる別画像が周辺画像Dpmと共に出力画像Dciに表示される。別画像は、例えば自車のステータス情報等であってもよく、自車の燃費データ又は電費データ等であってもよい。さらに、他車両とは異なる物標、例えば交通標識及び路面標示等を報知する物標画像部が周辺画像に表示されてもよい。加えて、歩行者とは異なる警告対象、例えばサイクリスト及び落下物等を注意喚起又は警告する警告画像部が周辺画像に表示されてもよい。
上記実施形態にて、自動運転コンピュータによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
上述の処理部は、プリント基板に個別に実装された構成であってもよく、又はASIC(Application Specific Integrated Circuit)及びFPGA等に実装された構成であってもよい。また、表示制御方法を実現可能なプログラム等を記憶する記憶媒体(持続的有形コンピュータ読み取り媒体,non-transitory tangible storage medium)の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、自動運転コンピュータの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、自動運転コンピュータへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
HMIシステムを搭載する車両は、一般的な自家用の乗用車に限定されず、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。さらに、モビリティサービスに用いられるドライバーレス車両に、自動運転コンピュータを含むシステムが搭載されてもよい。
自動運転コンピュータを搭載する車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。さらに、車両が走行する交通環境は、左側通行を前提とした交通環境であってもよく、右側通行を前提とした交通環境であってもよい。本開示による各コンテンツ表示は、それぞれの国及び地域の道路交通法、さらに車両のハンドル位置等に応じて適宜最適化される。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
Claims (40)
- 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両の周囲の道路に関連する道路情報として、前記道路の種別を示す種別情報及び前記道路のレーン形状を示す形状情報を少なくとも取得する情報取得部(71)と、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画する表示制御部(73,77)と、を備え、
前記表示制御部は、前記種別情報に基づき、前記周辺画像に描画する前記ライン画像部の数を変更する表示制御装置。 - 前記情報取得部は、前記道路の各レーンの進行方向を示す前記種別情報を取得し、
前記表示制御部は、前記道路のレーン数が所定数を超える場合に、前記進行方向が前記自車両と異なるレーンを示す前記ライン画像部の描画を中止する請求項1に記載の表示制御装置。 - 前記情報取得部は、前記道路が一般道か高速道路かを示す前記種別情報を取得し、
前記表示制御部は、走行中の前記道路が前記高速道路である場合、前記道路が前記一般道である場合よりも前記周辺画像に描画する前記ライン画像部の数を少なくする請求項1又は2に記載の表示制御装置。 - 前記表示制御部は、
走行中の前記道路が前記一般道である場合、前記道路の道路端を示す前記ライン画像部を前記周辺画像に描画し、
走行中の前記道路が前記高速道路である場合、前記道路端を示す前記ライン画像部の描画を中止する請求項3に記載の表示制御装置。 - 前記情報取得部は、前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報をさらに取得し、
前記表示制御部は、実行中の前記自動運転における周辺監視義務の有無に応じて、前記周辺画像に描画する前記ライン画像部の数を変更する請求項1~4のいずれか一項に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両の周囲の道路のレーン形状を示す形状情報、及び前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部(71)と、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画する表示制御部(73,77)と、を備え、
前記表示制御部は、実行中の前記自動運転における周辺監視義務の有無に応じて、前記周辺画像に描画する前記ライン画像部の数を変更する表示制御装置。 - 前記表示制御部は、周辺監視義務のある前記自動運転が前記自車両にて実行される場合、周辺監視義務のない前記自動運転が前記自車両にて実行される場合よりも前記周辺画像に描画する前記ライン画像部の数を少なくする請求項5又は6に記載の表示制御装置。
- 前記表示制御部は、前記自動運転における周辺監視義務の有無が変更されるよりも前に、前記周辺画像に描画する前記ライン画像部の数の変更を完了する請求項5~7のいずれか一項に記載の表示制御装置。
- 前記表示制御部は、
前記ライン画像部によって前記周辺画像に再現された自車レーン(VLs)に前記自車両を示す自車画像部(Pv)をさらに描画し、
前記周辺画像に描画する前記ライン画像部の数を減らす場合に、前記周辺画像にて前記自車画像部の周囲を拡大する請求項1~8のいずれか一項に記載の表示制御装置。 - 前記情報取得部は、前記自車両の周囲に位置する物標を検出した前記センサの物標検出情報をさらに取得し、
前記表示制御部は、
前記物標検出情報を用いて前記物標の存在を示す物標画像部(Po)を前記周辺画像にさらに描画し、
前記周辺画像に描画する前記ライン画像部の数を減らす場合でも、前記周辺画像における前記物標画像部の数を維持する請求項1~9のいずれか一項に記載の表示制御装置。 - 前記情報取得部は、前記自車両の周囲に位置する警告対象を検出した前記センサの警告対象情報をさらに取得し、
前記表示制御部は、
前記警告対象情報を用いて前記警告対象の存在を示す警告画像部(Pa)を前記周辺画像にさらに描画し、
前記警告画像部を描画する場合、前記周辺画像に描画する前記ライン画像部の数を増やす請求項1~10のいずれか一項に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両の周囲の道路のレーン形状を示す形状情報、及び前記自車両の周囲を走行する他車両の認識情報を取得する情報取得部(71)と、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画する表示制御部(73,77)と、を備え、
前記表示制御部は、前記認識情報に基づき、前記自車両の周囲を走行する前記他車両の多寡に応じて前記周辺画像に描画する前記ライン画像部の数を変更する表示制御装置。 - 前記表示制御部は、前記自車両の周囲を走行する前記他車両が多くなるほど、前記周辺画像に描画する前記ライン画像部の数を多くする請求項12に記載の表示制御装置。
- 前記表示制御部は、前記周辺画像に描画する前記ライン画像部の数の増減が繰り返されると予測した場合に、前記ライン画像部の数の変更を中止する請求項1~13のいずれか一項に記載の表示制御装置。
- 前記表示制御部は、前記周辺画像に描画する前記ライン画像部のうちで、前記センサによって認識されている区画線に対応する認識画像部(Li1)と、前記センサによって認識されていない区画線に対応する非認識画像部(Li2)とを、異なる様態で描画する請求項1~14のいずれか一項に記載の表示制御装置。
- 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両に関連する自車関連情報として、前方車両の有無を示す前方車両情報、前記自車両の走行速度を示す車速情報及び前記自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得する情報取得部(71)と、
前記自車両を俯瞰する様態の前記周辺画像を描画し、前記周辺画像の縮尺を前記自車関連情報に基づき変更する表示制御部(73,77)と、
を備える表示制御装置。 - 前記情報取得部は、前記車速情報を少なくとも取得し、
前記表示制御部は、前記車速情報に基づき、前記自車両が停止した場合又は前記走行速度が所定の低速閾値未満である場合に、前記走行速度が前記低速閾値を超える場合よりも前記周辺画像の縮尺を大きくする請求項16に記載の表示制御装置。 - 前記情報取得部は、前記前方車両情報を少なくとも取得し、
前記表示制御部は、前記前方車両情報に基づき、前記前方車両が存在する場合、前記前方車両が存在しない場合よりも前記周辺画像の縮尺を小さくする請求項16又は17に記載の表示制御装置。 - 前記情報取得部は、自車レーンが合流レーンに隣接するか否かを示す前記種別情報を少なくとも取得し、
前記表示制御部は、前記種別情報に基づき、前記自車レーンが前記合流レーンとの隣接するシーンにて、前記自車レーンが前記合流レーンと隣接しないシーンよりも前記周辺画像の縮尺を小さくする請求項16~18のいずれか一項に記載の表示制御装置。 - 前記表示制御部は、前記前方車両情報、前記車速情報及び前記種別情報のうちで予め設定された優先度の高い情報を優先し、前記周辺画像の縮尺を設定する請求項16~19のいずれか一項に記載の表示制御装置。
- 前記情報取得部は、前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報をさらに取得し、
前記表示制御部は、実行中の前記自動運転における周辺監視義務の有無に応じて、前記周辺画像の縮尺を変更する請求項16~20のいずれか一項に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部(71)と、
前記自車両を俯瞰する様態の前記周辺画像を描画し、実行中の前記自動運転における周辺監視義務の有無に応じて前記周辺画像の縮尺を変更する表示制御部(73,77)と、
を備える表示制御装置。 - 前記表示制御部は、周辺監視義務のある前記自動運転が前記自車両にて実行される場合、周辺監視義務のない前記自動運転が前記自車両にて実行される場合よりも前記周辺画像の縮尺を大きくする請求項21又は22に記載の表示制御装置。
- 前記情報取得部は、複数レーンのうちで前記自車両が走行する位置を示す自車位置情報をさらに取得し、
前記表示制御部は、前記自車位置情報に基づき、前記自車両が最も歩道側となる歩道側レーンを走行している場合に前記周辺画像の縮尺を大きくする請求項16~23のいずれか一項に記載の表示制御装置。 - 前記情報取得部は、前記センサによる認識の信頼度を示す信頼度情報をさらに取得し、
前記表示制御部は、前記信頼度情報の示す前記信頼度に応じて前記周辺画像の縮尺を変更する請求項16~24のいずれか一項に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両のドライバに生じた体調の異常状態を把握する体調異常把握部(50)と、
前記自車両を俯瞰する様態の前記周辺画像を描画し、前記ドライバの体調の異常状態が把握された場合に、前記周辺画像の縮尺を大きくする表示制御部(73,77)と、
を備える表示制御装置。 - 前記表示制御部は、
前記自車両の周囲の道路を再現するライン画像部(Pln)を前記周辺画像に描画し、
前記ドライバの体調の異常状態が把握された場合、前記周辺画像に描画する前記ライン画像部の数を増やす請求項26に記載の表示制御装置。 - 前記自車両にて実行される縮退運転の実施情報を取得する情報取得部(71)、をさらに備え、
前記表示制御部は、
前記自車両の周囲の道路を再現するライン画像部(Pln)を前記周辺画像に描画し、
前記縮退運転の実施情報が取得された場合、前記周辺画像に描画する前記ライン画像部の数を増やす請求項26に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両に関連する自車関連情報として、前記自車両の走行速度を示す車速情報及び前記自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得する情報取得部(71)と、
前記自車両を俯瞰する様態の前記周辺画像を描画し、前記周辺画像と並ぶ別画像(Drt)を取得し、表示上における前記周辺画像と前記別画像の面積比率を、前記自車関連情報に基づき変更する表示制御部(73,77)と、
を備える表示制御装置。 - 前記情報取得部は、前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報をさらに取得し、
前記表示制御部は、実行中の前記自動運転における周辺監視義務の有無に応じて、前記周辺画像と前記別画像との面積比率を変更する請求項29に記載の表示制御装置。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御装置であって、
前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得する情報取得部(71)と、
前記自車両を俯瞰する様態の前記周辺画像を描画し、前記周辺画像と並ぶ別画像(Drt)を取得し、表示上における前記周辺画像と前記別画像との面積比率を、実行中の前記自動運転における周辺監視義務の有無に応じて変更する表示制御部(73,77)と、
を備える表示制御装置。 - 前記表示制御部は、周辺監視義務のない前記自動運転が前記自車両にて実行される場合、周辺監視義務のある前記自動運転が前記自車両にて実行される場合よりも前記周辺画像の面積比率を高める請求項30又は31に記載の表示制御装置。
- 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両の周囲の道路に関連する道路情報として、前記道路の種別を示す種別情報及び前記道路のレーン形状を示す形状情報を少なくとも取得し(S32)、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画し(S41)、
前記種別情報に基づき、前記周辺画像に描画する前記ライン画像部の数を変更する(S39)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両の周囲の道路のレーン形状を示す形状情報、及び前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し(S33)、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画し(S41)、
実行中の前記自動運転における周辺監視義務の有無に応じて、前記周辺画像に描画する前記ライン画像部の数を変更する(S39)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両の周囲の道路のレーン形状を示す形状情報、及び前記自車両の周囲を走行する他車両の認識情報を取得し(S32)、
前記形状情報を用いて、前記道路を再現するライン画像部(Pln)を前記周辺画像に描画し(S41)、
前記認識情報に基づき、前記自車両の周囲を走行する前記他車両の多寡に応じて前記周辺画像に描画する前記ライン画像部の数を変更する(S39)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両に関連する自車関連情報として、前方車両の有無を示す前方車両情報、前記自車両の走行速度を示す車速情報及び前記自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得し(S31,S32)、
前記自車両を俯瞰する様態の前記周辺画像を描画し(S41)、
前記周辺画像の縮尺を前記自車関連情報に基づき変更する(S40)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し(S33)、
前記自車両を俯瞰する様態の前記周辺画像を描画し(S41)、
実行中の前記自動運転における周辺監視義務の有無に応じて前記周辺画像の縮尺を変更する(S40)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両のドライバに生じた体調の異常状態を把握し(S34)、
前記自車両を俯瞰する様態の前記周辺画像を描画し(S41)、
前記ドライバの体調の異常状態が把握された場合に、前記周辺画像の縮尺を大きくする(S40)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両に関連する自車関連情報として、前記自車両の走行速度を示す車速情報及び前記自車両の周囲の道路の種別を示す種別情報のうち少なくとも一つを取得し(S71,S72)、
前記自車両を俯瞰する様態の前記周辺画像及び前記周辺画像と並ぶ別画像(Drt)を取得し(S75,S76)、
表示上における前記周辺画像と前記別画像との面積比率を前記自車関連情報に基づき変更する(S74)、
ことを含む処理を実施させる表示制御プログラム。 - 自車両(A)の走行環境を認識するセンサ(30)の情報を用いて、前記走行環境を示す周辺画像(Dpm)の表示を制御する表示制御プログラムであって、
少なくとも一つの処理部(11)に、
前記自車両にて実行される自動運転での周辺監視義務の有無を示す自動運転情報を取得し(S73)、
前記自車両を俯瞰する様態の前記周辺画像及び前記周辺画像と並ぶ別画像(Drt)を取得し(S75,S76)、
表示上における前記周辺画像と前記別画像との面積比率を、実行中の前記自動運転における周辺監視義務の有無に応じて変更する(S74)、
ことを含む処理を実施させる表示制御プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202280013465.3A CN116868251A (zh) | 2021-02-08 | 2022-01-12 | 显示控制装置以及显示控制程序 |
| DE112022000986.1T DE112022000986T5 (de) | 2021-02-08 | 2022-01-12 | Anzeigesteuervorrichtung und anzeigesteuerprogramm |
| US18/358,900 US12469307B2 (en) | 2021-02-08 | 2023-07-25 | Display control device |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021-018351 | 2021-02-08 | ||
| JP2021018351 | 2021-02-08 | ||
| JP2021176833A JP7342926B2 (ja) | 2021-02-08 | 2021-10-28 | 表示制御装置及び表示制御プログラム |
| JP2021-176833 | 2021-10-28 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/358,900 Continuation US12469307B2 (en) | 2021-02-08 | 2023-07-25 | Display control device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022168540A1 true WO2022168540A1 (ja) | 2022-08-11 |
Family
ID=82741135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/000644 Ceased WO2022168540A1 (ja) | 2021-02-08 | 2022-01-12 | 表示制御装置及び表示制御プログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12469307B2 (ja) |
| JP (1) | JP7613521B2 (ja) |
| DE (1) | DE112022000986T5 (ja) |
| WO (1) | WO2022168540A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024188580A1 (de) * | 2023-03-14 | 2024-09-19 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle, fortbewegungsmittel sowie verfahren zur anzeige einer verkehrssituation |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7767738B2 (ja) * | 2021-06-01 | 2025-11-12 | マツダ株式会社 | ヘッドアップディスプレイ装置 |
| JP7582092B2 (ja) | 2021-06-25 | 2024-11-13 | 株式会社デンソー | 車両用表示制御装置及び車両用表示制御プログラム |
| USD1083981S1 (en) | 2022-11-03 | 2025-07-15 | Volvo Car Corporation | Display panel with graphical user interface |
| USD1073723S1 (en) * | 2022-11-03 | 2025-05-06 | Volvo Car Corporation | Display panel with graphical user interface |
| USD1078790S1 (en) | 2022-11-03 | 2025-06-10 | Volvo Car Corporation | Display panel with graphical user interface |
| JP2025117860A (ja) * | 2024-01-31 | 2025-08-13 | トヨタ自動車株式会社 | 表示システム及び表示方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06321011A (ja) * | 1993-05-17 | 1994-11-22 | Mitsubishi Electric Corp | 周辺視野表示装置 |
| WO2017068692A1 (ja) * | 2015-10-22 | 2017-04-27 | 日産自動車株式会社 | 表示制御方法および表示制御装置 |
| US20190281235A1 (en) * | 2016-12-06 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Camera Device and Method for Capturing a Surrounding Region of a Vehicle in a Situation-Adapted Manner |
| CN110775070A (zh) * | 2018-07-30 | 2020-02-11 | 现代自动车株式会社 | 用于在车辆之间交换信息的系统及其控制方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4428134B2 (ja) | 2004-05-13 | 2010-03-10 | アイシン・エィ・ダブリュ株式会社 | 車両制御装置 |
| JP2007323178A (ja) | 2006-05-30 | 2007-12-13 | Nissan Motor Co Ltd | 合流支援装置及び合流支援方法 |
| JP6439667B2 (ja) | 2015-12-11 | 2018-12-19 | トヨタ自動車株式会社 | 車載警告システム |
| JP6394687B2 (ja) | 2016-03-08 | 2018-09-26 | 株式会社デンソー | 運転交代制御装置及び運転交代制御方法 |
| WO2017154396A1 (ja) | 2016-03-08 | 2017-09-14 | 株式会社デンソー | 運転交代制御装置及び運転交代制御方法 |
| JP6831190B2 (ja) | 2016-08-15 | 2021-02-17 | トヨタ自動車株式会社 | 自動運転車両の制御システム及び制御方法 |
| JP6466899B2 (ja) | 2016-12-01 | 2019-02-06 | 株式会社Subaru | 車両用表示装置 |
| JP6825710B2 (ja) | 2017-08-25 | 2021-02-03 | 日産自動車株式会社 | 周囲車両表示方法及び周囲車両表示装置 |
| JP7269124B2 (ja) | 2019-07-22 | 2023-05-08 | キヤノン株式会社 | レンズ装置および撮像装置 |
| KR20220163416A (ko) | 2020-05-08 | 2022-12-09 | 엠. 테크닉 가부시키가이샤 | 생리 활성 물질이 균일하게 분산된 마이크로스피어 및 그것을 함유하는 서방성 제제 |
-
2022
- 2022-01-12 DE DE112022000986.1T patent/DE112022000986T5/de active Pending
- 2022-01-12 WO PCT/JP2022/000644 patent/WO2022168540A1/ja not_active Ceased
-
2023
- 2023-07-25 US US18/358,900 patent/US12469307B2/en active Active
- 2023-08-30 JP JP2023140466A patent/JP7613521B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06321011A (ja) * | 1993-05-17 | 1994-11-22 | Mitsubishi Electric Corp | 周辺視野表示装置 |
| WO2017068692A1 (ja) * | 2015-10-22 | 2017-04-27 | 日産自動車株式会社 | 表示制御方法および表示制御装置 |
| US20190281235A1 (en) * | 2016-12-06 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Camera Device and Method for Capturing a Surrounding Region of a Vehicle in a Situation-Adapted Manner |
| CN110775070A (zh) * | 2018-07-30 | 2020-02-11 | 现代自动车株式会社 | 用于在车辆之间交换信息的系统及其控制方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024188580A1 (de) * | 2023-03-14 | 2024-09-19 | Volkswagen Aktiengesellschaft | Anwenderschnittstelle, fortbewegungsmittel sowie verfahren zur anzeige einer verkehrssituation |
Also Published As
| Publication number | Publication date |
|---|---|
| US12469307B2 (en) | 2025-11-11 |
| JP2023165721A (ja) | 2023-11-17 |
| JP7613521B2 (ja) | 2025-01-15 |
| US20230373309A1 (en) | 2023-11-23 |
| DE112022000986T5 (de) | 2023-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7613521B2 (ja) | 表示制御装置 | |
| US10663315B2 (en) | Vehicle display control device and vehicle display control method | |
| JP7010221B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
| JP7342926B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP6665605B2 (ja) | 表示制御装置及び表示制御方法 | |
| JP2023112082A (ja) | 車両用表示装置 | |
| CN108140318A (zh) | 显示控制方法及显示控制装置 | |
| JP7616359B2 (ja) | 車両用表示システム、車両用表示方法、及び車両用表示プログラム | |
| JP2021193020A (ja) | 表示制御装置および表示制御プログラム | |
| JP7635808B2 (ja) | 車両用表示装置、および車両用表示プログラム | |
| JP7318431B2 (ja) | 表示制御装置及び表示制御プログラム | |
| JP2024133244A (ja) | 車両用表示装置、表示方法及びプログラム | |
| CN113060156B (zh) | 车辆周围监视装置、车辆、车辆周围监视方法和程序 | |
| JP2020095044A (ja) | 表示制御装置及び表示制御方法 | |
| JP2025178387A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法及びプログラム | |
| JP7310851B2 (ja) | 車両用表示装置 | |
| US12283123B2 (en) | Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program | |
| KR20250165620A (ko) | 주행 모드 표시 장치 및 주행 모드 표시 방법 | |
| CN116868251A (zh) | 显示控制装置以及显示控制程序 | |
| US20250218065A1 (en) | Information processing apparatus and information processing method | |
| US20250292473A1 (en) | Vehicle display control device | |
| JP7276255B2 (ja) | 画像処理装置、プログラム、及び画像処理システム | |
| JP7423388B2 (ja) | 情報提供装置 | |
| JP2025158362A (ja) | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法、及び車両用表示制御プログラム | |
| JP2025036890A (ja) | 表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22749417 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 202280013465.3 Country of ref document: CN |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112022000986 Country of ref document: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22749417 Country of ref document: EP Kind code of ref document: A1 |