[go: up one dir, main page]

WO2025187397A1 - 車両制御装置及び車両制御方法 - Google Patents

車両制御装置及び車両制御方法

Info

Publication number
WO2025187397A1
WO2025187397A1 PCT/JP2025/005359 JP2025005359W WO2025187397A1 WO 2025187397 A1 WO2025187397 A1 WO 2025187397A1 JP 2025005359 W JP2025005359 W JP 2025005359W WO 2025187397 A1 WO2025187397 A1 WO 2025187397A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
notification
approach
emergency
emergency vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/005359
Other languages
English (en)
French (fr)
Other versions
WO2025187397A8 (ja
Inventor
拓弥 久米
一輝 和泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of WO2025187397A1 publication Critical patent/WO2025187397A1/ja
Publication of WO2025187397A8 publication Critical patent/WO2025187397A8/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Definitions

  • This specification relates to vehicle control technology used in autonomously driven vehicles.
  • the automated driving assistance device disclosed in Patent Document 1 includes an emergency vehicle detection unit that detects the approach of an emergency vehicle.
  • the emergency vehicle detection unit detects the approach of an emergency vehicle
  • the automated driving assistance device alerts the driver of the approaching emergency vehicle and uses an alerting device to wake the driver up.
  • the purpose of this disclosure is to provide a vehicle control device and vehicle control method that enables passengers to respond to emergency vehicles in a convenient manner.
  • one disclosed aspect is a vehicle control device used in a vehicle capable of autonomous driving that allows a passenger seated in the driver's seat to sleep, and that includes an approach detection unit that detects the approach of an emergency vehicle to the vehicle, a state detection unit that detects whether the passenger is asleep, and a notification unit that issues an emergency approach notification to the passenger of an approaching emergency vehicle.
  • the notification unit is a vehicle control device that, when an emergency vehicle approaches the vehicle while the passenger is asleep during an autonomous driving period, issues a limited approach notification that notifies the passenger of the approach of the emergency vehicle by displaying a message while limiting a wake-up notification to wake the passenger.
  • Another disclosed aspect is a vehicle control method used in a host vehicle capable of autonomous driving that allows a passenger seated in the driver's seat to sleep, the vehicle control method including, in processing performed by at least one processing unit, the steps of: detecting the approach of an emergency vehicle to the host vehicle; determining whether the passenger is asleep; and, if an emergency vehicle approaches the host vehicle while the passenger is asleep during an autonomous driving period, limiting a wake-up notification to wake the passenger, while implementing a limited approach notification that notifies the passenger of the approach of the emergency vehicle by display.
  • the wake-up alert to wake the occupant is limited, allowing the occupant to continue sleeping.
  • the approaching emergency vehicle is indicated to the occupant by a display, even if the occupant wakes up suddenly, they can understand from the display that an emergency vehicle is approaching. This makes it possible for the occupant to respond to an emergency vehicle in a convenient manner.
  • FIG. 1 is a diagram showing an overall view of an in-vehicle network including an HMI control device and an autonomous driving ECU according to a first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing details of an autonomous driving ECU together with related configurations.
  • FIG. 2 is a block diagram showing details of an HMI control device together with related configurations.
  • FIG. 2 is a diagram showing a list of notification devices used to notify of the approach of an emergency vehicle.
  • 6 is a flowchart showing details of an emergency vehicle notification process performed by the HMI control device.
  • 4 is a flowchart showing details of an outside vehicle notification process performed by the HMI control device.
  • 10 is a flowchart showing details of an awakening response process performed by the HMI control device.
  • 10 is a flowchart showing details of an emergency vehicle notification process performed by an HMI control device according to a second embodiment of the present disclosure. 10 is a flowchart showing details of an emergency vehicle notification process performed by an HMI control device according to a third embodiment of the present disclosure.
  • the functions of the vehicle control device according to the first embodiment of the present disclosure are realized by an HMI (Human Machine Interface) control device 100 shown in FIG. 1 .
  • the HMI control device 100 is an interface control device used in a vehicle (hereinafter, referred to as the host vehicle Am).
  • the HMI control device 100 configures an HMI (Human Machine Interface) system 10 of the host vehicle Am together with a plurality of input/output devices, etc.
  • the HMI system 10 has an input interface function that accepts operations by an occupant, such as a driver, of the host vehicle Am, and an output interface function that presents information to the driver.
  • the HMI control device 100 is communicatively connected to a communication bus 99 of an in-vehicle network 1 installed in the host vehicle Am.
  • the HMI control device 100 is one of multiple nodes provided in the in-vehicle network 1.
  • An autonomous driving ECU (Electronic Control Unit) 50 is connected to the communication bus 99 of the in-vehicle network 1.
  • the autonomous driving ECU 50 is installed in the host vehicle Am together with the HMI control device 100. By installing the autonomous driving ECU 50, the host vehicle Am becomes an autonomous driving vehicle or an autonomously driven vehicle equipped with autonomous driving functions.
  • the autonomous driving levels in this disclosure are based on the standards established by the Society of Automotive Engineers. In this disclosure, autonomous driving control by the autonomous driving ECU 50 at autonomous driving level 3 or higher is referred to as "autonomous driving control.”
  • Level 3 autonomous driving is eyes-off autonomous driving, where there is no need to monitor the area around the vehicle and there is no obligation to monitor the surroundings.
  • the autonomous driving ECU 50 is capable of performing level 4 fully autonomous driving, where the system performs all driving tasks under certain conditions.
  • Level 4 autonomous driving is brain-off autonomous driving, where there is essentially no request for the driver to take over driving.
  • the autonomous driving ECU 50 may also be capable of performing level 5 fully autonomous driving, where the system performs all driving tasks under all conditions.
  • Level 5 autonomous driving is driverless autonomous driving, where there is no need for a driver on board.
  • the driver may be permitted to perform specific actions other than pre-defined driving (hereinafter referred to as the second task).
  • the driver is legally permitted to perform the second task until a take-over request (TOR) is made by the autonomous driving ECU 50 in cooperation with the HMI control device 100.
  • TOR take-over request
  • viewing entertainment content such as videos, operating devices such as a smartphone, and eating are conceivable as second tasks.
  • the passenger (driver) seated in the driver's seat is permitted to sleep.
  • a driver monitor 29 Further connected to the communication bus 99 are a driver monitor 29, a surroundings monitoring sensor 30, a locator 35, a navigation ECU 38, an on-board communication device 39, a driving control ECU 40, a body ECU 43, and an exterior display 45.
  • the numerous nodes connected to the communication bus 99 can communicate with each other. Certain nodes among these ECUs, etc. may be electrically connected directly to each other and be able to communicate without going through the communication bus 99.
  • the driver monitor 29 continuously monitors the status of the occupant seated in the driver's seat.
  • the driver monitor 29 includes a near-infrared light source, a near-infrared camera, and a control unit that controls them.
  • the driver monitor 29 is installed, for example, on the top surface of the steering column or the top surface of the instrument panel, with the near-infrared camera facing the headrest of the driver's seat.
  • the driver monitor 29 uses the near-infrared camera to capture an image of the driver's head illuminated with near-infrared light from the near-infrared light source. The image captured by the near-infrared camera is analyzed by the control unit.
  • the control unit extracts information such as the driver's facial orientation, eye point position, gaze direction, and eye opening degree from the captured image.
  • the control unit generates alertness information indicating whether the driver is asleep based on the extracted information from the captured image.
  • the driver monitor 29 provides the facial orientation information, eye point position information, gaze direction information, eye opening degree information, etc. extracted by the control unit, as well as alertness information based on this information, to the HMI control device 100, etc., as driver status information.
  • the perimeter monitoring sensor 30 is an autonomous sensor mounted on the host vehicle Am and monitors the environment surrounding the host vehicle Am.
  • the perimeter monitoring sensor 30 is capable of detecting moving and stationary objects within a detection range around the host vehicle.
  • the perimeter monitoring sensor 30 provides detection information about objects around the host vehicle to the autonomous driving ECU 50, etc.
  • the perimeter monitoring sensor 30 includes a camera unit 31, a millimeter-wave radar 32, a lidar 33, and an exterior acoustic sensor 34.
  • the perimeter monitoring sensor 30 may further include a sonar sensor, etc.
  • the camera unit 31 includes a front camera module, a rear camera module, a left side camera module, and a right side camera module. By including multiple camera modules, the camera unit 31 is able to capture images of the entire surroundings of the vehicle Am.
  • the camera unit 31 provides the autonomous driving ECU 50 with the image data captured by each camera module or analysis information of the image data as detection information.
  • the millimeter-wave radar 32 emits millimeter waves or quasi-millimeter waves toward the area around the vehicle.
  • the millimeter-wave radar 32 receives reflected waves from moving and stationary objects, and generates detection information that it then provides to the autonomous driving ECU 50.
  • the LIDAR 33 emits laser light toward the area around the vehicle.
  • the LIDAR 33 receives the laser light reflected by moving and stationary objects within the irradiation range, and provides the generated detection information (point cloud data) to the autonomous driving ECU 50.
  • the exterior acoustic sensor 34 is primarily composed of a microphone element that converts sound into an electrical signal.
  • the exterior acoustic sensor 34 is held on the external structure of the vehicle Am with the sound collection surface of the microphone element facing the external structure.
  • Multiple exterior acoustic sensors 34 are provided on the front, rear, left and right sides, and ceiling of the vehicle Am.
  • the exterior acoustic sensors 34 provided at each location can detect incoming sounds coming from all around the vehicle Am and collect environmental sounds around the vehicle Am. As an example, when an emergency vehicle is approaching the vehicle Am, the exterior acoustic sensor 34 collects environmental sounds including a specific siren sound sounded by the emergency vehicle and the sound from a loudspeaker.
  • the exterior acoustic sensor 34 provides the autonomous driving ECU 50 with detection information, such as sound data of the environmental sounds generated by each microphone element or analysis information of the sound data (such as information that a siren sound has been extracted).
  • detection information such as sound data of the environmental sounds generated by each microphone element or analysis information of the sound data (such as information that a siren sound has been extracted).
  • emergency vehicles include police vehicles, fire engines, ambulances, etc., and unless otherwise specified, refer to emergency vehicles traveling on emergency business and sounding a siren.
  • the locator 35 is configured to include a GNSS (Global Navigation Satellite System) receiver and an inertial sensor.
  • the locator 35 combines positioning signals received from multiple positioning satellites by the GNSS receiver, the measurement results of the inertial sensor, and vehicle speed information output to the communication bus 99, to sequentially determine the position and direction of travel of the host vehicle Am.
  • the locator 35 sequentially outputs position information and direction information of the host vehicle Am based on the positioning results to the communication bus 99 as locator information.
  • GNSS Global Navigation Satellite System
  • the locator 35 also has a map database that stores map data.
  • the map database is primarily composed of a large-capacity storage medium that stores a large amount of 3D and 2D map data.
  • the 3D map data is a so-called HD (High Definition) map, and includes road information necessary for autonomous driving. Specifically, the 3D map data includes 3D road shape information and detailed information about each lane.
  • the locator 35 can update the 3D and 2D map data to the latest information through external communication via the on-board communication device 39.
  • the locator 35 reads map data for the area around the current location from the map database, and provides it along with locator information to the autonomous driving ECU 50, HMI control device 100, etc.
  • the navigation ECU 38 acquires destination information specified by the driver or other passengers based on operation information acquired from the HMI control device 100.
  • the navigation ECU 38 acquires vehicle position information and direction information from the locator 35 and sets a route from the current position to the destination.
  • the navigation ECU 38 provides route information indicating the set route to the destination to the autonomous driving ECU 50, HMI control device 100, etc.
  • the navigation ECU 38 works in conjunction with the HMI control device 100 to provide route guidance to the destination by combining screen displays and voice messages, etc., and notifying the driver of the direction of travel of the vehicle Am at intersections, branching points, etc.
  • user terminals such as smartphones and tablets may be connected to the in-vehicle network 1 or the HMI control device 100.
  • Such user terminals may provide the autonomous driving ECU 50 with information such as vehicle position information, direction information, and map data in place of the locator 35.
  • the user terminal may provide the autonomous driving ECU 50 and HMI control device 100 with information such as route information to the destination in place of the navigation ECU 38.
  • the user terminal may also play video content in place of the HMI system 10 or together with the HMI system 10.
  • the on-board communication device 39 is an external communication unit mounted on the host vehicle Am.
  • the on-board communication device 39 functions as a V2X (Vehicle to Everything) communication device.
  • the on-board communication device 39 transmits and receives information via wireless communication with roadside devices installed on the side of the road and with on-board communication devices 39 of other vehicles.
  • the on-board communication device 39 acquires detection information on stopped vehicles, parked vehicles, pedestrians, cyclists, etc. from the roadside devices.
  • the on-board communication device 39 may be able to acquire emergency vehicle approach information indicating the approach of an emergency vehicle from the roadside devices or other vehicles.
  • the on-board communication device 39 provides the detection information and emergency vehicle approach information acquired by reception as received traffic information to the navigation ECU 38, autonomous driving ECU 50, HMI control device 100, etc.
  • the driving control ECU 40 is an electronic control device that primarily includes a microcontroller.
  • the driving control ECU 40 has at least the functions of a brake control ECU, drive control ECU, and steering control ECU.
  • the driving control ECU 40 continuously controls the braking force of each wheel, powertrain output, and steering angle based on either operation commands based on the driver's driving operations or control commands from the autonomous driving ECU 50.
  • the body ECU 43 is an electronic control device that primarily includes a microcontroller.
  • the body ECU 43 has the function of controlling various on-board devices (e.g., lighting devices) installed in the host vehicle Am.
  • the lighting devices include turn signals and emergency flashers (hereinafter referred to as hazard lights 44).
  • the body ECU 43 starts flashing the hazard lights 44 based on the detection of a user operation input to a hazard switch provided on the instrument panel or the like.
  • the body ECU 43 causes the hazard lights 44 to flash based on a control command from the autonomous driving ECU 50.
  • the exterior display 45 is provided on the outer surface of the host vehicle Am.
  • the exterior display 45 is an exterior alarm that displays information to the outside of the host vehicle Am.
  • the exterior display 45 is configured to be able to display text.
  • the host vehicle Am is equipped with at least one of a front display, a side display, a rear display, etc. as the exterior display 45.
  • the exterior display 45 notifies pedestrians, cyclists, drivers of other vehicles, etc. around the host vehicle of the operating status of the autonomous driving of the host vehicle Am and various information grasped by the host vehicle Am.
  • the host vehicle Am may also be provided with an exterior speaker as an exterior alarm that plays an alarm sound or voice message to the outside of the vehicle.
  • the exterior display 45 may also be a light-emitting device that indicates information by changing the light-emitting pattern.
  • [Configuration of the Autonomous Driving ECU] 1 and 2 is a computer that mainly includes a processing unit 51, a RAM 52, a storage unit 53, an input/output interface 54, and a control circuit that includes a bus connecting these components.
  • the processing unit 51 accesses the RAM 52 to execute various processes (instructions) for implementing the autonomous driving control method and vehicle control method according to the present disclosure.
  • the storage unit 53 stores various programs (autonomous driving control program, vehicle control program, etc.) executed by the processing unit 51.
  • the autonomous driving ECU 50 is configured with an information linkage unit 61, an environment recognition unit 62, a behavior determination unit 63, a control execution unit 64, etc. as functional units for implementing the autonomous driving function and vehicle control function.
  • the information linking unit 61 provides information to the information linking unit 82 (see Figure 3) of the HMI control device 100, and acquires information from the information linking unit 82. Through the collaboration between these information linking units 61 and 82, the autonomous driving ECU 50 and the HMI control device 100 share the information they each acquire.
  • the information linking unit 61 generates control status information indicating the operating status of the autonomous driving function, and provides the generated control status information to the information linking unit 82.
  • the information linking unit 61 provides the information linking unit 82 with the results of recognition of the surroundings of the vehicle by the environment recognition unit 62.
  • the information linking unit 61 also outputs a request to the information linking unit 82 to issue a notification, enabling the HMI control device 100 to issue a notification that is synchronized with the operating status of the autonomous driving function.
  • the information linking unit 61 obtains operation information and control requests related to autonomous driving from the information linking unit 82.
  • the environment recognition unit 62 recognizes the driving environment of the host vehicle Am by combining the locator information and map data acquired from the locator 35 with the detection information acquired from the perimeter monitoring sensor 30.
  • the environment recognition unit 62 may also use the detection information received by the on-board communication device 39 to recognize the driving environment.
  • the environment recognition unit 62 acquires road information related to the road on which the host vehicle Am is traveling or is scheduled to travel, and grasps the size, relative position, relative speed, etc. of dynamic targets located on the road around the host vehicle.
  • the environment recognition unit 62 provides the recognition results of the driving environment, including the grasped road information and target information, and route information acquired from the navigation ECU 38, to the action determination unit 63.
  • the environment recognition unit 62 detects the approach of an emergency vehicle based on acoustic recognition technology using detection information from the exterior acoustic sensor 34.
  • the environment recognition unit 62 further detects the type, relative position, and direction of movement of the emergency vehicle that it recognizes as approaching. Specifically, the environment recognition unit 62 determines whether the emergency vehicle is traveling on the same road and in the same direction as the host vehicle Am. Furthermore, the environment recognition unit 62 estimates whether the host vehicle Am is obstructing the emergency vehicle's travel. As an example, if an emergency vehicle approaching the host vehicle Am from behind is unable to overtake (or pass) the host vehicle Am and continues to remain behind the host vehicle Am, the environment recognition unit 62 estimates that the host vehicle Am is obstructing the emergency vehicle's travel.
  • the environment recognition unit 62 estimates that the host vehicle Am is obstructing the emergency vehicle's travel if an audio announcement indicating that the vehicle should give way is detected, or if the approaching state of the emergency vehicle continues for a predetermined period of time (e.g., approximately 10 to several tens of seconds) or longer.
  • the environment recognition unit 62 provides recognition results related to emergency vehicles to the HMI control device 100 via the information linkage unit 61.
  • the behavior determination unit 63 determines the behavior of the host vehicle Am based on the results of recognition of the driving environment by the environment recognition unit 62.
  • the behavior determination unit 63 generates a planned driving line along which the host vehicle Am will travel, and outputs the generated planned driving line to the control execution unit 64.
  • the behavior determination unit 63 has a control switching unit 77 and an evacuation control unit 78 as sub-functional units.
  • the control switching unit 77 works in conjunction with the cruise control ECU 40 to switch the control state of the host vehicle Am between autonomous driving and manual driving. Additionally, the control switching unit 77 switches the autonomous driving level of the autonomous driving control implemented by the host vehicle Am. For example, if the information linkage unit 61 detects an input for a transition operation to level 3 or level 4, the control switching unit 77 switches the driving control state of the host vehicle Am from manual driving or driving assistance control of level 2 or lower to autonomous driving control of level 3 or higher. Furthermore, if the control switching unit 77 determines to terminate autonomous driving control, it switches the driving control state from autonomous driving control to driving assistance control or manual driving.
  • control switching unit 77 restricts (prohibits) switching from autonomous driving to manual driving (override).
  • control switching unit 77 works in conjunction with the cruise control ECU 40 to prohibit the driver from operating the driving controls by not reflecting the driving operations input to the driving controls in the behavior of the host vehicle Am.
  • the evacuation control unit 78 When the environment recognition unit 62 detects an emergency vehicle approaching the host vehicle Am, the evacuation control unit 78 performs adaptive driving control to accommodate the emergency vehicle. In adaptive driving control, the evacuation control unit 78 controls the behavior of the host vehicle Am to avoid the emergency vehicle while understanding the status of other vehicles traveling around the host vehicle Am. The evacuation control unit 78 performs at least one of stop control, low-speed driving control, departure control, and reroute control as adaptive driving control. Stop control is control to stop the host vehicle Am at a position more than a predetermined distance away from the emergency vehicle. Low-speed driving control is control to suppress the driving speed of the host vehicle Am.
  • Departure control is control to change lanes to cause the host vehicle Am to depart from the lane in which it is traveling when the host vehicle Am is traveling in the same lane as the emergency vehicle.
  • Reroute control is control to reset the planned driving route of the host vehicle Am to avoid the estimated driving route of the emergency vehicle.
  • Changing the planned driving route through reroute control may be achieved by the behavior determination unit 63 changing the planned driving line, or by outputting a reroute request to the navigation ECU 38.
  • Information indicating the start and end of such adaptive driving control, as well as information indicating the type of adaptive driving control currently being performed, is provided to the HMI control device 100 from the information linkage unit 61 as part of the control status information.
  • control execution unit 64 works in conjunction with the cruise control ECU 40 to execute acceleration/deceleration control, steering control, and other control of the host vehicle Am in accordance with the planned driving line generated by the behavior determination unit 63. Specifically, the control execution unit 64 generates control commands based on the planned driving line and sequentially outputs the generated control commands to the cruise control ECU 40.
  • the HMI control device 100 shown in Figures 1 to 3 constitutes an HMI system 10 together with multiple display devices, an audio device 24, ambient light 25, and an operation device 26.
  • the display devices present information to the driver's visual perception by displaying images or the like.
  • the display devices include a meter display 21, a center information display (hereinafter referred to as CID) 22, and a head-up display (hereinafter referred to as HUD) 23.
  • the CID 22 has a touch panel function and detects touch operations on the display screen by the driver or the like.
  • the audio device 24 has multiple speakers installed within the vehicle cabin.
  • the audio device 24 plays alert sounds, voice messages, etc. within the vehicle cabin using the speakers.
  • the ambient lights 25 are installed on the instrument panel, center console, steering wheel, door trim, etc. The ambient lights 25 present information using the driver's peripheral vision through ambient displays that change the light color.
  • the operation device 26 is an input unit that accepts user operations by the driver, etc. User operations related to activating and deactivating the autonomous driving function, and user operations related to setting a destination for route guidance, for example, are input to the operation device 26.
  • the operation device 26 includes a steering switch mounted on the spokes of the steering wheel, an operation lever mounted on the steering column, and a voice input device that recognizes what the passengers are saying.
  • the HMI control device 100 functions as a presentation control device, and comprehensively controls the presentation of information using multiple display devices, audio device 24, ambient light 25, etc.
  • the HMI control device 100 presents information related to autonomous driving in cooperation with the autonomous driving ECU 50. For example, when the autonomous driving ECU 50 plans to end autonomous driving control, the HMI control device 100 issues a notification requesting the driver to take over driving.
  • the HMI control device 100 is a computer that mainly includes a processing unit 11, RAM 12, storage unit 13, input/output interface 14, and a control circuit equipped with a bus connecting these.
  • the processing unit 11 accesses the RAM 12 to execute various processes (instructions) for implementing the presentation control method and vehicle control method disclosed herein.
  • the storage unit 13 stores various programs (presentation control program, vehicle control program, etc.) executed by the processing unit 11.
  • the HMI control device 100 configures an information acquisition unit 81, information linkage unit 82, presentation control unit 88, etc. as functional units for implementing the presentation control function and vehicle control function.
  • the information acquisition unit 81 acquires vehicle information (e.g., vehicle speed information, etc.) indicating the state of the host vehicle Am from the communication bus 99. Based on the vehicle speed information, the information acquisition unit 81 determines whether the host vehicle Am is stopped. In addition, the information acquisition unit 81 acquires operation information indicating the content of driver operations from the CID 22, the operation device 26, etc. Furthermore, the information acquisition unit 81 acquires driver status information from the driver monitor 29. Based on the alertness information included in the driver status information, the information acquisition unit 81 continuously determines whether the driver is awake or asleep.
  • vehicle information e.g., vehicle speed information, etc.
  • the driver's seat is a seat suitable for operating the driving controls, such as the accelerator pedal, brake pedal, and steering wheel, and is located near the driving controls.
  • the information linking unit 82 links with the information linking unit 61 of the autonomous driving ECU 50, enabling information sharing between the autonomous driving ECU 50 and the HMI control device 100.
  • the information linking unit 82 acquires, from the autonomous driving ECU 50, information requests for presenting information related to the autonomous driving function, recognition results for the vehicle's surroundings, and control status information indicating the operating status of the autonomous driving function.
  • the information linking unit 82 provides the acquired implementation requests, recognition results, control status information, etc. to the presentation control unit 88.
  • the information linking unit 82 provides information related to autonomous driving, from the operation information acquired by the information acquisition unit 81, to the autonomous driving ECU 50.
  • the information linking unit 82 has a control understanding unit 83 and a request output unit 84 as sub-functional units for information linking with the autonomous driving ECU 50.
  • the control recognition unit 83 recognizes the autonomous driving level of the driving control implemented by the autonomous driving ECU 50 based on the control status information acquired by the information linkage unit 82.
  • the control recognition unit 83 recognizes the approach of an emergency vehicle to the host vehicle Am based on the recognition results of the surroundings of the host vehicle acquired by the information linkage unit 82.
  • the control recognition unit 83 further recognizes whether the emergency vehicle is traveling in the same direction as the host vehicle Am based on the recognition results.
  • first situation a situation in which the approach of an emergency vehicle is recognized, but it is unclear whether the emergency vehicle is traveling in the same direction, is referred to as a "first situation.” Furthermore, a situation in which the approach of an emergency vehicle is recognized and it is further recognized that the emergency vehicle is traveling in the same direction is referred to as a "second situation.”
  • control understanding unit 83 When the control understanding unit 83 recognizes that an emergency vehicle is approaching, it determines, based on the recognition result, the possibility that the emergency vehicle will not be able to pass through its own vehicle Am, in other words, whether or not its own vehicle Am is obstructing the emergency vehicle's travel. In addition, when the control understanding unit 83 recognizes that an emergency vehicle is approaching, it determines, based on the control status information, whether or not adaptive cruise control is being performed by the evacuation control unit 78. When adaptive cruise control is being performed, the control understanding unit 83 further recognizes the type of adaptive cruise control being performed.
  • the request output unit 84 outputs control requests related to autonomous driving to the autonomous driving ECU 50. Specifically, if the driver is asleep during an autonomous driving period at autonomous driving level 4 or higher, the request output unit 84 outputs a control request to the autonomous driving ECU 50 requesting prohibition of transition to manual driving. The request output unit 84 continues to output a control request to the autonomous driving ECU 50 requesting prohibition of transition to manual driving even after the driver changes from an asleep state to an awake state. As described above, the request output unit 84 works in cooperation with the control switching unit 77 to prohibit (restrict) manual driving by a driver who is asleep and a driver who has just woken up.
  • the request output unit 84 continues to restrict manual driving until the driver who has become awake assumes a position (driving posture) that allows him or her to take over driving, or until a preset time (e.g., approximately 10 seconds) has elapsed after the driver became awake.
  • the request output unit 84 or driver monitor 29 determines that the driver is ready to take over driving when the driver performs an action such as gripping the steering wheel or returning the driver's seat to its original position.
  • the request output unit 84 temporarily suspends the adaptive cruise control that is currently being performed.
  • the request output unit 84 outputs a control request to the autonomous driving ECU 50 to request that the adaptive cruise control be suspended.
  • the evacuation control unit 78 suspends the stop control, low-speed cruise control, and departure control that are currently being performed.
  • the evacuation control unit 78 performs control such as temporarily suspending lateral movement and temporarily suspending deceleration and continuing to drive at the current vehicle speed.
  • the presentation control unit 88 comprehensively provides information to the driver using each display device, audio device 24, and ambient light 25 (hereinafter referred to as information presentation devices).
  • the presentation control unit 88 provides content and presents information tailored to the operating state of autonomous driving based on the implementation request, recognition results, and control status information provided by the information linkage unit 82.
  • the presentation control unit 88 enables the playback of video content, etc. when it is determined that autonomous driving control of autonomous driving level 3 or higher is being implemented.
  • the presentation control unit 88 requests the driver to take over driving, etc.
  • the information linkage unit 82 determines that an emergency vehicle is approaching the host vehicle Am
  • the presentation control unit 88 issues an emergency approach alert to inform the driver and other occupants of the approaching emergency vehicle.
  • the presentation control unit 88 issues an external alert using the hazard lights 44 and the exterior display 45.
  • the presentation control unit 88 uses the exterior display 45 to notify vehicles outside the vehicle that an emergency vehicle is approaching. If the host vehicle Am is equipped with multiple exterior displays 45, the presentation control unit 88 uses at least the rear display to notify following vehicles of the approach of the emergency vehicle.
  • the presentation control unit 88 not only issues an external alert using the exterior display 45, but also starts flashing the hazard lights 44 of the host vehicle Am. Note that the flashing of the hazard lights 44 may start when the evacuation control unit 78 starts response driving control.
  • the presentation control unit 88 performs a limited approach notification as a presentation of approach information when an emergency vehicle approaches the vehicle Am while the driver is asleep during an automated driving period with automated driving at level 4 or higher.
  • a limited approach notification is an emergency approach notification that is only performed when the driver is asleep.
  • a normal emergency approach notification is a notification indicating an approaching emergency vehicle by both display and audio
  • a limited approach notification is a notification that notifies occupants of an approaching emergency vehicle by display only.
  • a limited approach notification limits (cancels) the awakening notification that encourages occupants to wake up, specifically the audio notification indicating an approaching emergency vehicle.
  • a text message such as "An emergency approach is approaching" and at least one still image or animation indicating the approach of the emergency approach are displayed on at least one display device.
  • the evacuation control unit 78 begins adaptive cruise control, at least one still image or animation indicating the content (type) of adaptive cruise control being performed is displayed on at least one display device.
  • the presentation control unit 88 issues a normal emergency approach warning using both a visual and audio signal, regardless of the driver's state of alertness (see Figure 4, Level 3 and below). Similarly, during manual driving periods, the presentation control unit 88 issues an emergency approach warning using both a visual and audio signal.
  • the presentation control unit 88 will provide a limited approach notification by display only, regardless of the driver's state of alertness (see Figure 4, Level 4, first situation).
  • the presentation control unit 88 changes the notification mode based on the driver's wakefulness (see Figure 4 Lv4, second situation). If the driver is wakeful in the second situation, the presentation control unit 88 performs a normal emergency approach notification using both a visual and audio message. In contrast, if the driver is asleep in the second situation, the presentation control unit 88 continues to provide a limited approach notification using only a visual message.
  • the awakening alert implemented in a normal emergency approach alert is not limited to the above-mentioned audio alert.
  • the awakening alert may include actions such as vibrating the seat, forcibly returning the driver's seat back that has been reclined backward, generating acceleration that shakes the vehicle Am in the forward and backward directions, generating air conditioning air to promote awakening, and opening the window on the side of the driver's seat.
  • the implementation of these awakening alerts is stopped.
  • the awakening alert does not have to be completely stopped in a limited approach alert, and may be implemented in a limited state. For example, in a limited approach alert, audio indicating the approach of an emergency vehicle may be played at a volume much quieter than in a normal emergency approach alert.
  • an emergency approach notification or a limited approach notification is performed based on the approach of an emergency vehicle.
  • the emergency vehicle notification process is started by the HMI control device 100 based on the start of autonomous driving at level 4 or higher being recognized by the control recognition unit 83.
  • the emergency vehicle notification process is repeatedly performed until the end of autonomous driving at level 4 or higher is recognized by the information linkage unit 82.
  • the control recognition unit 83 recognizes the approach of an emergency vehicle to the host vehicle Am based on the recognition results obtained from the autonomous driving ECU 50. If the control recognition unit 83 has not recognized the approach of an emergency vehicle (S11: NO), the current emergency vehicle notification process is temporarily terminated. On the other hand, if the control recognition unit 83 has recognized the approach of an emergency vehicle (S11: YES), in S12 the control recognition unit 83 further recognizes whether the emergency vehicle is traveling in the same direction as the host vehicle Am based on the recognition results obtained from the autonomous driving ECU 50.
  • the presentation control unit 88 will issue a limited approach notification in S15, informing the passengers (driver) of the approaching emergency vehicle only by display.
  • the presentation control unit 88 will also issue a limited approach notification in S15 if the emergency vehicle is not traveling in the same direction as the vehicle Am. In these limited approach notifications, audio notifications are suspended (limited).
  • the information acquisition unit 81 acquires driver status information (alertness information) in S13. Based on the most recent acquired driver status information, the information acquisition unit 81 determines (determines) whether the driver is asleep in S14. If the driver is asleep (S14: YES), the presentation control unit 88 performs a limited approach notification in S15. On the other hand, if the driver is not asleep and is awake (S14: NO), the presentation control unit 88 performs a normal emergency approach notification in S16. In this emergency approach notification, the approach of an emergency vehicle is notified to the driver both audibly and visually.
  • the control recognition unit 83 estimates, based on the recognition result, whether or not the host vehicle Am is obstructing the movement of the emergency vehicle. If it is not estimated that the host vehicle Am is obstructing the movement of the emergency vehicle (S17: NO), the current emergency vehicle notification process is temporarily terminated. On the other hand, if it is estimated that the host vehicle Am is obstructing the movement of the emergency vehicle (S17: YES), the presentation control unit 88 performs an awakening notification in S18. In this case, the presentation control unit 88 prompts the sleeping driver to awaken by at least audio.
  • the presentation control unit 88 restarts the display indicating the approaching emergency vehicle from the beginning.
  • the presentation control unit 88 temporarily terminates the display of the series of animations started in S15, and then displays the animation from the beginning in S19 to once again indicate the approaching emergency vehicle to the awakened driver.
  • the vehicle exterior notification process shown in Fig. 6 is a process for notifying the outside of the vehicle of an approaching emergency vehicle.
  • the vehicle exterior notification process is started by the HMI control device 100 when the control recognition unit 83 recognizes the start of autonomous driving control of level 3 or higher.
  • the vehicle exterior notification process is repeatedly performed until the information linking unit 82 recognizes the end of autonomous driving control.
  • steps S31 and S32 of the vehicle exterior notification process similar to steps S11 and S12 of the emergency vehicle notification process (see Figure 5), it is determined whether an approaching emergency vehicle has been detected and whether the emergency vehicle is traveling in the same direction as the vehicle Am. If an approaching emergency vehicle has not been detected (S31: NO), the vehicle exterior notification process is temporarily terminated.
  • the presentation control unit 88 notifies the outside of the vehicle of the approach of the emergency vehicle in S33.
  • the presentation control unit 88 uses at least the rear display to notify other vehicles around the host vehicle, particularly following vehicles, of the approach of the emergency vehicle.
  • the presentation control unit 88 cooperates with the body ECU 43 in S34 to cause the hazard lights 44 to begin flashing. Furthermore, the presentation control unit 88 increases the number of exterior displays 45 that provide an emergency vehicle approach warning in S35. In this case, the presentation control unit 88 displays a text message or the like indicating the approach of an emergency vehicle on the front display and side displays in addition to the rear display.
  • the information acquisition unit 81 acquires driver status information. Based on the most recent acquired driver status information, the information acquisition unit 81 determines in S52 whether the driver's state has changed from a sleeping state to an awake state. If there has been a change from a sleeping state to an awake state (S52: YES), the information acquisition unit 81 determines in S53 based on the driver status information whether the driver is maintaining an appropriate driving posture immediately after waking up.
  • the request output unit 84 allows the driver to drive in S54. In this case, the request output unit 84 outputs a control request to the control switching unit 77 to lift the prohibition on transition to manual driving. This makes it possible for the driver to take over driving.
  • the request output unit 84 prohibits the driver from driving in S55. In this case, the request output unit 84 outputs a control request to the control switching unit 77 to prohibit manual driving.
  • the presentation control unit 88 notifies the driver by voice that adaptive cruise control is being performed by the evacuation control unit 78. In addition to the audio notification, the presentation control unit 88 also displays the type of adaptive cruise control being performed to the driver.
  • the request output unit 84 outputs a control request to the autonomous driving ECU 50 requesting a temporary suspension of the adaptive cruise control currently being performed. This causes the evacuation control unit 78 to suppress adaptive cruise control for a predetermined period of time immediately after the driver wakes up, so that the driver can easily grasp the situation.
  • the control recognition unit 83 determines in S58 based on the control status information whether the adaptive driving control has ended. If the adaptive driving control has ended (S58: YES), the current awakening adaptive processing ends. On the other hand, if the adaptive driving control is continuing (S58: NO), steps (processing) S51 to S57 are repeated.
  • the presentation control unit 88 if the driver wakes up after the start of the limited approach notification, the presentation control unit 88 notifies the driver by voice that the host vehicle Am is currently performing adaptive cruise control in response to the emergency vehicle. As a result, the presentation control unit 88 can clearly indicate to the driver that an emergency vehicle is approaching, and that adaptive cruise control in response to this emergency vehicle has already begun. As a result, a system that is convenient for the driver is realized.
  • the adaptive cruise control being performed is temporarily suspended.
  • the adaptive cruise control is temporarily suspended.
  • the driver when an emergency vehicle approaches the driver's vehicle Am while the driver is not asleep, the driver is notified of the approaching emergency vehicle by both audio and visual notification. Therefore, a driver who is awake can be sure to recognize the approach of the emergency vehicle.
  • the audio notification is canceled and the driver is notified of the approaching emergency vehicle only by visual notification. Therefore, a driver who is asleep can continue to sleep without being forced to wake up unnecessarily.
  • the first embodiment it is further determined whether an emergency vehicle is traveling in the same direction as the host vehicle Am. Then, in a first situation where the approach of an emergency vehicle is determined but it is unclear whether the emergency vehicle is traveling in the same direction, a limited approach notification is implemented. In contrast, in a second situation where it is determined that the emergency vehicle is traveling in the same direction, whether or not to implement a limited approach notification is determined depending on whether the driver is asleep.
  • a limited approach notification is determined depending on whether the driver is asleep.
  • a limited approach notification is implemented, whereas if the driver is not asleep in the second situation, an emergency approach notification is implemented that notifies the driver of the approach of an emergency vehicle by both audio and visual means.
  • audio notification is postponed until the second situation is reached. This makes it possible to reduce annoyance to the driver who is performing another task, etc.
  • the host vehicle Am is obstructing the emergency vehicle after the start of the limited approach warning, an awakening warning is issued.
  • an awakening warning is issued.
  • the display indicating the approach of an emergency vehicle is restarted from the beginning.
  • the awakened driver can properly understand the situation of their vehicle Am by checking the contents of the restarted display.
  • the driver is more likely to quickly begin responding to the emergency vehicle.
  • the approaching emergency vehicle when an emergency vehicle approaches the host vehicle Am, the approaching emergency vehicle is notified to the outside of the vehicle using the exterior display 45 mounted on the host vehicle Am.
  • information about the approaching emergency vehicle can be shared with other vehicles around the host vehicle.
  • the host vehicle Am can more easily obtain cooperation from other vehicles through adaptive cruise control, allowing it to smoothly avoid the emergency vehicle.
  • the hazard lights 44 of the host vehicle Am begin to flash.
  • other vehicles around the host vehicle can prepare for actions by the host vehicle Am to avoid the emergency vehicle.
  • the host vehicle Am can smoothly implement corresponding driving control.
  • the information acquisition unit 81 corresponds to the "state recognition unit”
  • the control recognition unit 83 corresponds to the "approach recognition unit.”
  • the function of the request output unit 84 that performs the process of S55 corresponds to the "operation restriction unit”
  • the function of the request output unit 84 that performs the process of S57 corresponds to the "response restriction unit”
  • the presentation control unit 88 corresponds to the "alert implementation unit.”
  • the HMI control device 100 corresponds to the "vehicle control device.”
  • the HMI control device 100 of the second embodiment is installed in a service vehicle that provides a mobility service.
  • the mobility service provides service users with a means of transportation to their destination.
  • the service vehicle is equipped with an autonomous driving ECU 50 and is capable of autonomous driving at level 4 or higher.
  • An operator may or may not be on board the service vehicle. The operator sits in the driver's seat of the service vehicle so as to be able to operate the driving operation unit. The operator is an occupant who takes over control of the driving operation from the autonomous driving ECU 50 in a situation where it is difficult for the autonomous driving ECU 50 to respond.
  • the details of the emergency vehicle notification process performed by the HMI control device 100 installed in the service vehicle will be explained below based on Figure 8 and with reference to Figures 1 to 3.
  • the emergency vehicle notification process in the second embodiment is started by the HMI control device 100 when the service vehicle begins operating autonomously.
  • the emergency vehicle notification process is repeatedly performed until the service vehicle ends its operation.
  • the control recognition unit 83 recognizes the approach of an emergency vehicle to the host vehicle Am based on the recognition results obtained from the autonomous driving ECU 50. If the control recognition unit 83 does not recognize the approach of an emergency vehicle (S211: NO), the current emergency vehicle notification process is temporarily terminated. On the other hand, if the control recognition unit 83 recognizes the approach of an emergency vehicle (S211: YES), the information acquisition unit 81 acquires driver status information in S212. Based on the latest acquired driver status information, the information acquisition unit 81 recognizes (determines) whether an operator is in the service vehicle in S213.
  • the presentation control unit 88 performs a limited approach notification in S214. In this way, if an emergency vehicle approaches a service vehicle while an operator is on board, the audio notification is stopped. Then, the user (passenger) of the service vehicle is notified of the approaching emergency vehicle only by display.
  • the presentation control unit 88 performs a normal emergency approach notification in S215. In this way, if an emergency vehicle approaches a service vehicle when no operator is on board, passengers are notified of the approach of the emergency vehicle by both audio and visual notification.
  • voice notifications are limited (cancelled). In this way, by limiting bothersome notifications, passengers can use the service vehicle comfortably. As a result, it is possible to provide emergency vehicle response that is convenient for passengers using the service vehicle, depending on whether an operator is present.
  • a third embodiment of the present disclosure is another modified example of the first embodiment.
  • the manner of notification varies depending on the road environment around the host vehicle and the content of the adaptive cruise control.
  • an emergency evacuation using adaptive cruise control requires the driver to control the host vehicle Am, i.e., when a request for a driver change occurs, an awakening notification is issued that uses at least audio to urge the driver to wake up. For example, when an emergency evacuation becomes impossible for the emergency vehicle due to the influence of the host vehicle Am, or when it becomes difficult to continue evacuation using the autonomous driving function, an awakening notification is issued.
  • the emergency vehicle notification process performed by the HMI control device 100 of the third embodiment is started when the control recognition unit 83 recognizes the start of autonomous driving of level 4 or higher, and is repeatedly performed until the information linking unit 82 recognizes the end of autonomous driving of level 4 or higher.
  • steps S11 to S14 of the emergency vehicle notification process substantially the same processing as in the first embodiment is performed.
  • the information acquisition unit 81 determines whether an emergency vehicle is approaching the host vehicle Am and whether the driver is asleep. If an emergency vehicle is approaching the host vehicle Am and the driver is awake (S14: NO), the presentation control unit 88 performs a normal emergency approach notification in step S16. In this emergency approach notification, the approaching emergency vehicle is notified to the driver both audibly and visually.
  • the control recognition unit 83 acquires road type information from the autonomous driving ECU 50 in S311.
  • the road type information includes information indicating the type of road on which the host vehicle Am is traveling.
  • the road type information is prepared by the environment recognition unit 62 based on locator information, map data, etc.
  • the control recognition unit 83 determines whether the road on which the host vehicle Am is traveling is an ordinary road based on the road type information.
  • a general road is a road that is open to pedestrians and all vehicles, including bicycles and motorcycles.
  • general roads include urban roads, regional roads, and rural roads.
  • General roads are equipped with intersections, traffic lights, crosswalks, sidewalks, etc.
  • roads other than general roads are roads that only certain types of vehicles can use and where pedestrians, bicycles, light vehicles, etc. are prohibited from using.
  • designated roads include expressways and motorways. The speed limits on designated roads are set higher than those on general roads.
  • Designated roads are connected to general roads via interchanges, junctions, etc.
  • the presentation control unit 88 performs a limited approach notification in S15, which notifies the driver of an approaching emergency vehicle only by display.
  • a limited approach notification audio notifications are suspended (limited). In this way, the intensity of the notification that notifies the driver of an approaching emergency vehicle when an emergency vehicle approaches the host vehicle Am traveling on a specific road is set lower than the intensity of the notification when an emergency vehicle approaches the host vehicle Am traveling on a general road.
  • the control understanding unit 83 understands in S313 the content of the adaptive cruise control being performed or scheduled to be performed by the evacuation control unit 78. In S314, the control understanding unit 83 determines (determines) whether the host vehicle Am will temporarily stop as adaptive cruise control corresponding to the emergency vehicle. If adaptive cruise control that temporarily stops the host vehicle Am is being performed (S314: YES), the presentation control unit 88 implements a limited approach notification in S15, which notifies the driver of the approach of the emergency vehicle only by display.
  • the presentation control unit 88 will, in S16, perform a normal emergency approach warning to notify the driver of the approach of an emergency vehicle both audibly and visually.
  • the intensity of the warning when adaptive cruise control is performed without temporarily stopping the host vehicle Am is set higher than the intensity of the warning when adaptive cruise control is performed to temporarily stop the host vehicle Am.
  • the control understanding unit 83 determines in S317 whether a driver change request has occurred in the adaptive cruise control (emergency evacuation) for emergency vehicles. If adaptive cruise control using the autonomous driving function for autonomous driving level 4 or higher continues and the control understanding unit 83 has not acquired a request to implement a driver change request (S317: NO), the current emergency vehicle notification process is temporarily terminated. On the other hand, if it is difficult to continue autonomous driving level 4 or higher and the driver is required to monitor the surroundings or perform driving operations, the control understanding unit 83 acquires a request to implement a driver change request from the autonomous driving ECU 50 (S317: YES).
  • S317 YES
  • the presentation control unit 88 issues an awakening notification in S18, prompting the asleep driver to wake up by at least audio. Furthermore, the presentation control unit 88 restarts the display indicating the approaching emergency vehicle from the beginning in S19 after the awakening notification has begun. The presentation control unit 88 temporarily ends the display of the series of animations that began in S15, and then in S19 displays the animations from the beginning to alert the driver of the approaching emergency vehicle.
  • the third embodiment described so far also achieves the same effect as the first embodiment, and when the driver is asleep, even if the driver detects an approaching emergency vehicle, the wake-up notification to wake the driver is limited. Furthermore, even if the driver suddenly wakes up while the emergency vehicle is approaching, the driver can understand the approaching emergency vehicle from the display. Therefore, it is possible for the driver and other passengers to respond to the emergency vehicle in a convenient manner.
  • the intensity of the notification when an emergency vehicle approaches the host vehicle Am traveling on a general road is set to be higher than the intensity of the notification when an emergency vehicle approaches the host vehicle Am traveling on a specific road.
  • the driver is notified of the approaching emergency vehicle by both audio and visual notification in an emergency approach notification.
  • the audio notification is stopped and the driver is notified of the approaching emergency vehicle by visual notification in a limited approach notification.
  • the adaptive cruise control to respond to emergency vehicles on specific roads is less affected by external disturbances than the adaptive cruise control performed on general roads. Therefore, the urgency of waking the driver is lower on specific roads than on general roads. Therefore, by stopping audio notifications on specific roads, driver convenience can be improved.
  • the adaptive cruise control for emergency vehicles detects whether the vehicle is about to stop temporarily. Then, when the driver is asleep, the notification to the occupants of the approaching emergency vehicle changes depending on whether adaptive cruise control is performed to temporarily stop the vehicle or to continue driving the vehicle. As a result, when the approach of an emergency vehicle is detected, an appropriate decision can be made as to whether to prompt the driver to wake up, depending on the adaptive cruise control for the emergency vehicle. As a result, it becomes possible to implement an emergency vehicle response that is convenient for the driver, etc.
  • the intensity of the notification to the driver of the approaching emergency vehicle is set to be higher than the intensity of the notification to the driver of the approaching emergency vehicle when adaptive cruise control is performed that causes the host vehicle Am to temporarily stop.
  • adaptive cruise control is performed to continue driving the host vehicle Am
  • the audio notification is stopped in the limited approach notification, and the approaching emergency vehicle is indicated to the driver by a visual display.
  • adaptive cruise control causes the host vehicle Am to temporarily stop
  • the driver is given time to confirm the situation around the host vehicle. Therefore, the awakening of the driver may be postponed.
  • adaptive cruise control when adaptive cruise control is performed to temporarily stop the host vehicle Am, the approaching emergency vehicle is indicated to the driver by both audio and visual notification in the emergency approach notification.
  • adaptive cruise control continues driving at a slow speed, for example, the driver has less time to confirm the situation around the host vehicle than when the vehicle is temporarily stopped. Therefore, it is desirable to provide audio and visual notifications.
  • the autonomous driving function can appropriately take over driving to the driver.
  • the determination of whether the driver is asleep is made based on the driver status information generated by the driver monitor 29.
  • sensing information configured differently from that of the driver monitor 29 may also be used to determine whether the driver is asleep.
  • the information acquisition unit 81 acquires reclining angle information for the driver's seat. Based on this angle information, the information acquisition unit 81 determines the driver's sleeping state when the backrest of the driver's seat is tilted backward. The information acquisition unit 81 may also determine the driver's sleeping state by combining driver status information and reclining angle information.
  • the information acquisition unit 81 acquires the driver's biological information, specifically information such as pulse rate, body temperature, and brain waves.
  • the biological information is measured using a sensor installed in the driver's seat or a wearable device worn by the driver.
  • the information acquisition unit 81 combines the driver status information with the biological information to determine the driver's sleep state.
  • Variation 4 of the first embodiment in addition to or instead of the driver, it is possible to determine whether or not a passenger (fellow passenger) seated in a seat other than the driver's seat is asleep.
  • a passenger fellow passenger
  • a seat other than the driver's seat is asleep.
  • an emergency vehicle approaches the vehicle (Am) during an autonomous driving period at autonomous driving level 4 or higher, if the driver is awake, actions and notifications intended to wake up the passenger may be limited (canceled).
  • the intensity of the notification when an emergency vehicle approaches the host vehicle Am traveling on a general road is set lower than the intensity of the notification when an emergency vehicle approaches the host vehicle Am traveling on a specific road.
  • a limited approach notification is implemented, and when the host vehicle Am is traveling on a highway or the like, a normal emergency approach notification is implemented.
  • the traveling speed of the host vehicle Am may be taken into consideration, and the intensity of the emergency vehicle approach notification may be adjusted to be higher in driving environments with higher traveling speeds.
  • the intensity of the notification when adaptive cruise control is performed to prevent the host vehicle Am from temporarily stopping is lowered than the intensity of the notification when adaptive cruise control is performed to temporarily stop the host vehicle Am.
  • a temporary stop is made, a normal emergency approach notification is issued, and when slow driving continues, a limited approach notification is issued.
  • the intensity of the emergency vehicle approach notification may be adjusted higher to encourage the driver to wake up.
  • HMI control device 100 some of the functions of the HMI control device 100 are implemented in the autonomous driving ECU 50. That is, in Variation 7, a system including the HMI control device 100 and autonomous driving ECU 50 corresponds to the "vehicle control device.” In Variation 7, the environment recognition unit 62 corresponds to the “approach recognition unit,” the control switching unit 77 corresponds to the “operation restriction unit,” and the evacuation control unit 78 corresponds to the "response restriction unit.”
  • a system including the HMI control device 100 and the driver monitor 29 corresponds to the "vehicle control device.”
  • the driver monitor 29 corresponds to the "status grasping unit.”
  • the functions of the HMI control device 100 are integrated into the autonomous driving ECU 50.
  • the integrated autonomous driving ECU 50 corresponds to the "vehicle control device.”
  • each function provided by the HMI control device can be provided by software and hardware that executes it, software alone, hardware alone, or a combination of these. Furthermore, if such functions are provided by electronic circuits as hardware, each function can also be provided by digital circuits including a large number of logic circuits, or analog circuits. Furthermore, the software for realizing such functions may include, at least in part, code automatically generated by a neural network or language model trained using a large amount of learning data.
  • Each processing unit in the above embodiments is hardware for arithmetic processing coupled to a RAM.
  • the processing unit is configured to include at least one arithmetic core, such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processing unit may further include an FPGA (Field-Programmable Gate Array), an NPU (Neural Network Processing Unit), and IP cores with other dedicated functions.
  • the processing unit is not limited to being individually implemented on a printed circuit board.
  • the processing unit may be implemented in an ASIC (Application Specific Integrated Circuit), a SoC (System on Chip), a chiplet assembly, an FPGA, etc.
  • the form of the storage medium (non-transitory tangible storage medium) that stores various programs, etc. may be changed as appropriate.
  • the storage medium is not limited to being mounted on a circuit board, but may be provided in the form of a memory card, etc., inserted into a slot, and electrically connected to a control circuit such as an autonomous driving ECU.
  • the storage medium may also be an optical disk, hard disk drive, solid state drive, etc., from which programs are copied or distributed to the autonomous driving ECU, etc.
  • Vehicles equipped with the above-mentioned autonomous driving ECU and HMI control device are not limited to ordinary private passenger cars (Personally Owned Vehicles, POV) and service vehicles.
  • Vehicles equipped with HMI control devices, etc. may also be rental cars, manned taxis, ride-sharing vehicles, freight vehicles, buses, etc.
  • the vehicle may be a right-hand drive vehicle or a left-hand drive vehicle.
  • the traffic environment in which the vehicle travels may be one based on left-hand traffic or one based on right-hand traffic.
  • Vehicle control according to the present disclosure may be optimized as appropriate according to the road traffic laws of each country and region, as well as the position of the vehicle's steering wheel, etc.
  • control unit and method described in this disclosure may be implemented by a special-purpose computer comprising a processor programmed to execute one or more functions embodied in a computer program.
  • the device and method described in this disclosure may be implemented by a special-purpose hardware logic circuit.
  • the device and method described in this disclosure may be implemented by one or more special-purpose computers configured by combining a processor that executes a computer program with one or more hardware logic circuits.
  • the computer program may be stored as instructions executed by a computer on a computer-readable non-transitory tangible recording medium.
  • the notification implementation unit is a vehicle control device that, when the emergency vehicle approaches the vehicle while the passenger is asleep during the period of automatic driving by the automatic driving, implements a limited approach notification to inform the passenger of the approach of the emergency vehicle by displaying a display while limiting an awakening notification to encourage the passenger to wake up.
  • the vehicle control device described in Technical Idea 1 wherein the notification implementation unit notifies the occupant by voice that the vehicle is performing corresponding driving control to correspond to the emergency vehicle if the occupant wakes up after the start of the limited approach notification.
  • the vehicle control device described in Technical Idea 1 or 2 further includes a response restriction unit (S57) that temporarily suspends the response driving control if the occupant wakes up during the period in which the vehicle is performing the response driving control corresponding to the emergency vehicle.
  • the notification implementation unit When the emergency vehicle approaches the vehicle while the passenger is not in the sleep state, the emergency approach notification notifies the passenger of the approach of the emergency vehicle by both audio and visual means;
  • the approach determining unit further determines whether the emergency vehicle is traveling in the same direction as the host vehicle,
  • the notification implementation unit In a first situation in which the approach of the emergency vehicle is recognized but it is unclear whether the emergency vehicle is traveling in the same direction, the limited approach notification is performed;
  • the notification implementation unit When the occupant is in the sleeping state in the second situation, the limited approach notification is performed; A vehicle control device according to technical idea 5, which implements the emergency approach warning to inform the occupant of the approach of the emergency vehicle by both audio and visual means when the occupant is not in the sleeping state in the second situation.
  • the approach determining unit determines whether the host vehicle is obstructing the travel of the emergency vehicle, A vehicle control device described in any one of technical ideas 1 to 6, wherein the notification implementation unit implements the awakening notification if the vehicle is obstructing the emergency vehicle's movement after the limited approach notification has begun.
  • the approach recognition unit recognizes whether the host vehicle will temporarily stop by a corresponding travel control corresponding to the emergency vehicle, A vehicle control device described in any one of technical ideas 1 to 10, in which the notification implementation unit changes the manner of the notification that indicates to the occupant that the emergency vehicle is approaching depending on whether the corresponding driving control that causes the vehicle to temporarily stop is performed or the corresponding driving control that does not cause the vehicle to temporarily stop is performed when the occupant is in the sleeping state.
  • the host vehicle is a service vehicle that provides a mobility service
  • the state grasping unit grasps whether an operator is on board the service vehicle operated by the automatic driving
  • the notification implementation unit When the emergency vehicle approaches the service vehicle while the operator is not on board, the approach of the emergency vehicle is notified by both audio and visual means;
  • (Technical Thought 17) A vehicle control device described in any one of technical ideas 1 to 16, further comprising an operation restriction unit (S55) that prohibits manual driving by the occupant who has changed from the sleep state to the wakeful state.
  • (Technical Thought 18) A vehicle control program used in a host vehicle (Am) capable of traveling by autonomous driving in which a passenger seated in a driver's seat is allowed to sleep, The approach of an emergency vehicle to the vehicle is detected (S11).
  • a limited approach notification is implemented to notify the passenger of the approach of the emergency vehicle by displaying a display while limiting an awakening notification to prompt the passenger to wake up (S15).
  • a vehicle control program that causes at least one processing unit (11) to execute processing including the above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

HMI制御装置は、運転席に着座するドライバの睡眠が許容される自動運転により走行可能な自車両において用いられる車両制御装置である。HMI制御装置は、自車両への緊急車両の接近を把握する。さらに、HMI制御装置は、ドライバが睡眠状態にあるか否かを把握する。HMI制御装置は、自動運転による自動走行期間にて、ドライバが睡眠状態にある状況下、緊急車両が自車両に接近した場合、ドライバに覚醒を促す覚醒報知を制限しつつ、緊急車両の接近を表示によって搭乗者に示す制限接近報知を実施する。

Description

車両制御装置及び車両制御方法 関連出願の相互参照
 この出願は、2024年3月6日に日本に出願された特許出願第2024-34386号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 この明細書による開示は、自動運転により走行可能な車両において用いられる車両制御の技術に関する。
 特許文献1に開示の自動運転支援装置は、緊急車両の接近を検知する緊急車両検出部を備えている。自動運転支援装置は、緊急車両検出部によって緊急車両の接近が検出されると、緊急車両の接近をドライバに報知すると共に、覚醒装置によってドライバの覚醒を促す。
特開2018-151208号公報
 特許文献1に開示の自動運転では、ドライバの睡眠が許可されていない。一方で、ドライバの睡眠を許容する自動運転の開発が近年進められている。こうした睡眠を許容する自動運転中の緊急車両対応において、特許文献1に開示の報知が実施されてしまうと、ドライバは、睡眠を継続し難くなる。その結果、自動運転の利便性が損なわれ得た。
 本開示は、搭乗者にとって利便性のよい緊急車両対応を行うことが可能な車両制御装置、及び車両制御方法の提供を目的とする。
 上記目的を達成するため、開示された一つの態様は、運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両において用いられる車両制御装置であって、自車両への緊急車両の接近を把握する接近把握部と、搭乗者が睡眠状態にあるか否かを把握する状態把握部と、緊急車両の接近を搭乗者に示す緊急接近報知を実施する報知実施部と、を備え、報知実施部は、自動運転による自動走行期間にて、搭乗者が睡眠状態にある状況下、緊急車両が自車両に接近した場合、搭乗者に覚醒を促す覚醒報知を制限しつつ、緊急車両の接近を表示によって搭乗者に示す制限接近報知を実施する車両制御装置とされる。
 また開示された一つの態様は、運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両において用いられる車両制御方法であって、自車両への緊急車両の接近を把握し、搭乗者が睡眠状態にあるか否かを把握し、自動運転による自動走行期間にて、搭乗者が睡眠状態にある状況下、緊急車両が自車両に接近した場合、搭乗者に覚醒を促す覚醒報知を制限しつつ、緊急車両の接近を表示によって搭乗者に示す制限接近報知を実施する、というステップを、少なくとも1つの処理部にて実施される処理に含む車両制御方法とされる。
 これらの態様では、緊急車両の接近が把握されても、搭乗者に覚醒を促す覚醒報知が制限されるため、搭乗者は、睡眠を継続し得る。加えて、緊急車両の接近が表示によって搭乗者に示されるため、搭乗者は、突如起きたとしても、緊急車両が接近している状況を表示から把握し得る。以上により、搭乗者にとって利便性のよい緊急車両対応を行うことが可能になる。
 尚、請求の範囲等における括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。また、特に組み合わせに支障が生じなければ、請求の範囲において明示していない請求項同士の組み合せも可能である。
本開示の第一実施形態によるHMI制御装置及び自動運転ECUを含む車載ネットワークの全体像を示す図である。 自動運転ECUの詳細を関連する構成と共に示すブロック図である。 HMI制御装置の詳細を関連する構成と共に示すブロック図である。 緊急車両の接近報知に用いられる報知デバイスを一覧で示す図である。 HMI制御装置にて実施される緊急車両報知処理の詳細を示すフローチャートである。 HMI制御装置にて実施される車外報知処理の詳細を示すフローチャートである。 HMI制御装置にて実施される覚醒対応処理の詳細を示すフローチャートである。 本開示の第二実施形態によるHMI制御装置にて実施される緊急車両報知処理の詳細を示すフローチャートである。 本開示の第三実施形態によるHMI制御装置にて実施される緊急車両報知処理の詳細を示すフローチャートである。
 以下、複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
 (第一実施形態)
 本開示の第一実施形態による車両制御装置の機能は、図1に示すHMI(Human Machine Interface)制御装置100によって実現されている。HMI制御装置100は、車両(以下、自車両Am)において用いられるインターフェース制御装置である。HMI制御装置100は、自車両AmのHMI(Human Machine Interface)システム10を、複数の入出力デバイス等と共に構成している。HMIシステム10は、自車両Amのドライバ等の乗員による操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。
 HMI制御装置100は、自車両Amに搭載された車載ネットワーク1の通信バス99に通信可能に接続されている。HMI制御装置100は、車載ネットワーク1に設けられた複数のノードのうちの一つである。車載ネットワーク1の通信バス99には、自動運転ECU(Electronic Control Unit)50が接続されている。
 自動運転ECU50は、HMI制御装置100と共に自車両Amに搭載されている。自車両Amは、自動運転ECU50の搭載により、自動運転機能を備えた自動運転車両又は自律走行車両となる。本開示における自動運転レベルは、米国自動車技術会(Society of Automotive Engineers)によって規定された基準に基づいている。本開示では、自動運転ECU50による自動運転レベル3以上の自動運転制御を「自律走行制御」と記載する。
 レベル3の自動運転は、自車周囲の監視が不要な周辺監視義務のないアイズオフ自動運転となる。自動運転ECU50は、一定条件下においてシステムが全ての運転タスクを実施するレベル4の完全自動運転を実行可能である。レベル4の自動運転は、ドライバへ向けた運転交代の要請が実質的に発生しないブレインオフの自動運転となる。自動運転ECU50は、全ての条件下においてシステムが全ての運転タスクを実施するレベル5の完全自動運転をさらに実行可能であってよい。レベル5の自動運転は、ドライバの搭乗を必要としないドライバレスの自動運転となる。
 自動運転ECU50による自動運転レベル3以上の自律走行制御により自車両Amが走行する自動走行期間では、予め規定された運転以外の特定行為(以下、セカンドタスク)がドライバに許可され得る。セカンドタスクは、自動運転ECU50がHMI制御装置100と連携して行う運転交代要請(Take Over Request,TOR)の発生まで、ドライバに法規的に許可される。例えば、動画等のエンターテイメント系のコンテンツの視聴、スマートフォン等のデバイス操作、及び食事等の行為が、セカンドタスクとして想定される。さらに、自動運転レベル4以上の自律走行制御により自車両Amが走行する自動走行期間では、運転席に着座する搭乗者(ドライバ)の睡眠が許容される。
 通信バス99には、ドライバモニタ29、周辺監視センサ30、ロケータ35、ナビゲーションECU38、車載通信機39、走行制御ECU40、ボディECU43、及び車外ディスプレイ45等がさらに接続されている。通信バス99に接続された多数のノードは、相互に通信可能である。これらECU等のうちの特定のノード同士は、相互に直接的に電気接続され、通信バス99を介することなく通信可能であってもよい。
 ドライバモニタ29は、運転席に着座する搭乗者の状態を継続的に監視する。ドライバモニタ29は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。ドライバモニタ29は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部の上面又はインスツルメントパネルの上面等に設置されている。ドライバモニタ29は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、ドライバの顔向き、アイポイントの位置、視線方向、及び開眼度等の情報を撮像画像から抽出する。制御ユニットは、撮像画像からの抽出情報に基づき、ドライバが睡眠状態にあるか否かを示す覚醒情報を生成する。ドライバモニタ29は、制御ユニットによって抽出された顔向き情報、アイポイントの位置情報、視線方向情報、開眼度情報等に加えて、これらの情報に基づく覚醒情報を、ドライバステータス情報としてHMI制御装置100等に提供する。
 周辺監視センサ30は、自車両Amに搭載され、自車両Amの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から移動物体及び静止物体を検出可能である。周辺監視センサ30は、自車周囲の物体の検出情報を自動運転ECU50等に提供する。周辺監視センサ30は、カメラユニット31、ミリ波レーダ32、ライダ33、及び車外音響センサ34を含んでいる。周辺監視センサ30は、ソナーセンサ等をさらに含んでいてもよい。
 カメラユニット31は、フロントカメラモジュール、リヤカメラモジュール、左サイドカメラモジュール、及び右サイドカメラモジュール等を有している。カメラユニット31は、複数のカメラモジュールを有することにより、自車両Amの全周囲を撮影可能である。カメラユニット31は、各カメラモジュールにて撮影された撮像データ又は撮像データの解析情報を、検出情報として自動運転ECU50に提供する。
 ミリ波レーダ32は、ミリ波又は準ミリ波を自車周囲へ向けて照射する。ミリ波レーダ32は、移動物体及び静止物体等で反射された反射波を受信する処理によって生成した検出情報を自動運転ECU50に提供する。
 ライダ33は、自車周囲へ向けてレーザ光を照射する。ライダ33は、照射範囲に存在する移動物体及び静止物体等で反射されたレーザ光を受信する処理によって生成した検出情報(点群データ)を自動運転ECU50に提供する。
 車外音響センサ34は、音を電気信号に変換するマイク素子を主体とする構成である。車外音響センサ34は、マイク素子等の集音面を自車両Amの外部構造へ向けた姿勢で、この外部構造に保持されている。車外音響センサ34は、自車両Amの前面、後面、左右の側面、及び天井面等に複数設けられている。各箇所に設けられた車外音響センサ34は、自車両Amの全周囲から到来する到来音を検出可能であり、自車両Amの周囲の環境音を集音する。一例として、自車両Amに緊急車両が接近している場合、車外音響センサ34は、緊急車両によって鳴らされている特定のサイレン音、及び拡声器の音声を含んだ環境音を集音する。車外音響センサ34は、各マイク素子にて生成された環境音の音データ又は音データの解析情報(サイレン音が抽出されている旨の情報等)を、検出情報として自動運転ECU50に提供する。尚、本開示における緊急車両は、警察車両、消防車、及び救急車等を含み、特に説明が無い場合には、緊急用務のために走行しており、サイレン音を吹鳴している緊急車両を示す。
 ロケータ35は、GNSS(Global Navigation Satellite System)受信機及び慣性センサ等を含む構成である。ロケータ35は、GNSS受信機で複数の測位衛星から受信する測位信号、慣性センサの計測結果、及び通信バス99に出力された車速情報等を組み合わせ、自車両Amの自車位置及び進行方向等を逐次測位する。ロケータ35は、測位結果に基づく自車両Amの位置情報及び方角情報を、ロケータ情報として通信バス99に逐次出力する。
 ロケータ35は、地図データを格納した地図データベースをさらに有している。地図データベースは、多数の3次元地図データ及び2次元地図データを格納した大容量の記憶媒体を主体とする構成である。3次元地図データは、いわゆるHD(High Definition)マップであり、自動運転に必要な道路情報を含んでいる。具体的には、道路の3次元形状情報及び各レーンの詳細情報等が3次元地図データには含まれている。ロケータ35は、車載通信機39による車外通信により、3次元地図データ及び2次元地図データを最新の情報に更新可能である。ロケータ35は、現在位置周辺の地図データを地図データベースから読み出し、自動運転ECU50及びHMI制御装置100等にロケータ情報と共に提供する。
 ナビゲーションECU38は、HMI制御装置100から取得する操作情報に基づき、ドライバ等の搭乗者が指定する目的地の情報を取得する。ナビゲーションECU38は、自車位置情報及び方角情報をロケータ35から取得し、現在位置から目的地までの経路を設定する。ナビゲーションECU38は、目的地までの設定経路を示す経路情報を、自動運転ECU50及びHMI制御装置100等に提供する。ナビゲーションECU38は、HMI制御装置100と連携し、目的地までの経路案内として、画面表示及び音声メッセージ等を組み合わせ、交差点及び分岐ポイント等にて自車両Amの進行方向をドライバに通知する。
 ここで、スマートフォン及びタブレット等のユーザ端末等が、車載ネットワーク1又はHMI制御装置100に接続されていてもよい。こうしたユーザ端末は、ロケータ35に替わって、自車位置情報、方角情報、及び地図データ等を自動運転ECU50等に提供してもよい。さらに、ユーザ端末は、ナビゲーションECU38に替わって、目的地までの経路情報を、自動運転ECU50及びHMI制御装置100等に提供してもよい。また、ユーザ端末が、HMIシステム10に替わって、又はHMIシステム10と共に、動画コンテンツ等の再生を実施してもよい。
 車載通信機39は、自車両Amに搭載された車外通信ユニットである。車載通信機39は、V2X(Vehicle to Everything)通信機として機能する。車載通信機39は、道路脇に設置された路側機、及び他車両の車載通信機39等との間で無線通信によって情報を送受信する。車載通信機39は、一例として、停止車両、駐車車両、歩行者、及びサイクリスト等の検出情報等を、路側機から取得する。車載通信機39は、緊急車両の接近を示す緊急車両接近情報を、路側機又は他車両から取得可能であってよい。車載通信機39は、受信によって取得した検出情報及び緊急車両接近情報等を、受信交通情報として、ナビゲーションECU38、自動運転ECU50、及びHMI制御装置100等に提供する。
 走行制御ECU40は、マイクロコントローラを主体として含む電子制御装置である。走行制御ECU40は、ブレーキ制御ECU、駆動制御ECU、及び操舵制御ECUの機能を少なくとも有している。走行制御ECU40は、ドライバの運転操作に基づく操作指令、及び自動運転ECU50の制御指令のいずれかに基づき、各輪のブレーキ力制御、パワートレインの出力制御、及び操舵角制御を継続的に実施する。
 ボディECU43は、マイクロコントローラを主体として含む電子制御装置である。ボディECU43は、自車両Amに搭載された種々の車載機器(例えば、灯火装置等)を制御する機能を有している。灯火装置には、方向指示器及び非常点滅表示灯(以下、ハザードランプ44)が含まれる。ボディECU43は、インスツルメントパネル等に設けられたハザードスイッチへ入力されるユーザ操作の検知に基づき、ハザードランプ44の点滅を開始させる。ボディECU43は、自動走行期間において、自動運転ECU50からの制御指令に基づき、ハザードランプ44の点滅作動を実施させる。
 車外ディスプレイ45は、自車両Amの外側面に設けられている。車外ディスプレイ45は、自車両Amの車外へ向けて情報を表示する車外報知機である。車外ディスプレイ45は、文字表示可能な構成である。自車両Amには、フロントディスプレイ、サイドディスプレイ、及びリヤディスプレイ等のうち、少なくとも1つが車外ディスプレイ45として搭載されている。車外ディスプレイ45は、自車両Amにおける自動運転の動作状態、及び自車両Amにて把握された種々の情報等を、自車周囲の歩行者、サイクリスト、及び他車両のドライバ等に報知する。尚、自車両Amには、車外へ向けて報知音又は音声メッセージ等を再生する車外スピーカが、車外報知機としてさらに設けられていてもよい。また、車外ディスプレイ45は、発光態様の変化によって情報を示す発光デバイスであってもよい。
 [自動運転ECUの構成]
 図1及び図2に示す自動運転ECU50は、処理部51、RAM52、記憶部53、入出力インターフェース54、及びこれらを接続するバス等を備えた制御回路を主体として含むコンピュータである。処理部51は、RAM52へのアクセスにより、本開示による自動運転制御方法及び車両制御方法を実現するための種々の処理(インストラクション)を実行する。記憶部53には、処理部51によって実行される種々のプログラム(自動運転制御プログラム及び車両制御プログラム等)が格納されている。処理部51によるプログラムの実行により、自動運転ECU50には、情報連携部61、環境認識部62、行動判断部63、及び制御実行部64等が、自動運転機能及び車両制御機能を実現するための機能部として構築される。
 情報連携部61は、HMI制御装置100の情報連携部82(図3参照)への情報提供と、情報連携部82からの情報取得とを実施する。これら情報連携部61,82の連携により、自動運転ECU50及びHMI制御装置100は、それぞれが取得した情報を共有する。
 情報連携部61は、自動運転機能の動作状態を示す制御ステータス情報を生成し、生成した制御ステータス情報を情報連携部82に提供する。情報連携部61は、環境認識部62による自車周囲の認識結果を情報連携部82に提供する。また、情報連携部61は、情報連携部82へ向けた報知の実施要求の出力により、自動運転機能の動作状態に同期したHMI制御装置100による報知を可能にする。情報連携部61は、自動運転に関連した操作情報及び制御要求を情報連携部82から取得する。
 環境認識部62は、ロケータ35より取得するロケータ情報及び地図データと、周辺監視センサ30より取得する検出情報とを組み合わせ、自車両Amの走行環境を認識する。環境認識部62は、車載通信機39にて受信される検出情報を、走行環境の認識に用いてもよい。環境認識部62は、自車両Amの走行する道路又は走行予定の道路に関連した道路情報を取得すると共に、道路上に位置する自車周囲の動的な物標のサイズ、相対位置、及び相対速度等を把握する。環境認識部62は、把握した道路情報及び物標情報を含む走行環境の認識結果と、ナビゲーションECU38から取得する経路情報とを、行動判断部63に提供する。
 環境認識部62は、車外音響センサ34の検出情報を用いた音響認識技術に基づき、緊急車両の接近を検知する。環境認識部62は、接近を認識した緊急車両の種別、相対位置、及び移動方向等をさらに検知する。具体的に、環境認識部62は、緊急車両が自車両Amと同じ道路を同一方向に走行しているか否かを判定する。さらに、環境認識部62は、緊急車両の走行を自車両Amが妨げているか否かを推定する。一例として、自車両Amに後方から接近する緊急車両が、自車両Amを追い越す(又は追い抜く)ことができずに、自車両Amの後方に留まり続ける場合、環境認識部62は、緊急車両の走行を自車両Amが妨げていると推定する。具体的に、環境認識部62は、道を譲る旨の音声アナウンスが検知された場合、又は緊急車両の接近状態が所定時間(例えば、10~数十秒程度)以上続いた場合、緊急車両の走行を自車両Amが妨げていると推定する。環境認識部62は、緊急車両に関連する認識結果を、情報連携部61を通じてHMI制御装置100に提供する。
 行動判断部63は、自動運転ECU50に運転操作の制御権がある場合、環境認識部62による走行環境の認識結果に基づき、自車両Amの行動を決定する。行動判断部63は、自車両Amを走行させる予定走行ラインを生成し、生成した予定走行ラインを制御実行部64に出力する。行動判断部63は、制御切替部77及び退避制御部78をサブ機能部として有している。
 制御切替部77は、走行制御ECU40と連携し、自動運転及び手動運転のうちで、自車両Amの制御状態を切り替える。加えて制御切替部77は、自車両Amにて実施される自動運転制御の自動運転レベルを切り替える。制御切替部77は、例えばレベル3又はレベル4への移行操作の入力が情報連携部61によって把握された場合、手動運転又はレベル2以下の運転支援制御から、レベル3以上の自律走行制御へと、自車両Amの走行制御状態を切り替える。また、制御切替部77は、自律走行制御の終了を決定した場合、自律走行制御から、運転支援制御又は手動運転へと走行制御状態を切り替える。加えて、制御切替部77は、自動運転レベル4以上の自動走行期間において、ドライバが手動運転に適した状態でない場合、自動運転から手動運転への切り替え(オーバーライド)を制限(禁止)する。この場合、制御切替部77は、走行制御ECU40と連携し、運転操作子へ入力された運転操作を自車両Amの挙動に反映させないことで、ドライバによる運転操作を禁止する。
 退避制御部78は、自車両Amに接近する緊急車両が環境認識部62によって検知された場合に、緊急車両に対応する対応走行制御を実施する。退避制御部78は、対応走行制御にて、自車両Amの周囲を走行する他車両の状況を把握しつつ、緊急車両を回避するように自車両Amの行動を制御する。退避制御部78は、停止制御、低速走行制御、離脱制御、及びリルート制御のうちの少なくとも1つを、対応走行制御として実施する。停止制御は、緊急車両から所定距離以上離れた位置で自車両Amを停止させる制御である。低速走行制御は、自車両Amの走行速度を抑制する制御である。離脱制御は、自車両Amが緊急車両と同一の車線を走行している場合に、走行中の車線から自車両Amを離脱させるための車線変更を行う制御である。リルート制御は、緊急車両の推定走行経路を回避するように自車両Amの予定走行経路を再設定する制御である。リルート制御による予定走行経路の変更は、行動判断部63が予定走行ラインを変更する処理によって実現されてもよく、又はナビゲーションECU38にリルート要求を出力する処理により実現されてもよい。こうした対応走行制御の開始及び終了を示す情報、並びに、実施中の対応走行制御の種別を示す情報は、制御ステータス情報の一部として情報連携部61からHMI制御装置100に提供される。
 制御実行部64は、自動運転ECU50に運転操作の制御権がある場合、走行制御ECU40との連携により、行動判断部63にて生成された予定走行ラインに従って、自車両Amの加減速制御及び操舵制御等を実行する。具体的に、制御実行部64は、予定走行ラインに基づく制御指令を生成し、生成した制御指令を走行制御ECU40へ向けて逐次出力する。
 [HMI制御装置の構成]
 図1~図3に示すHMI制御装置100は、複数の表示デバイス、オーディオ装置24、アンビエントライト25、及び操作デバイス26等と共にHMIシステム10を構成している。表示デバイスは、画像表示等により、ドライバの視覚を通じて情報を提示する。表示デバイスには、メータディスプレイ21、センターインフォメーションディスプレイ(以下、CID)22、及びヘッドアップディスプレイ(以下、HUD)23等が含まれている。CID22は、タッチパネルの機能を有しており、ドライバ等による表示画面へのタッチ操作を検出する。
 オーディオ装置24は、車室内に設置された複数のスピーカを有している。オーディオ装置24は、報知音又は音声メッセージ等をスピーカによって車室内に再生させる。アンビエントライト25は、インスツルメントパネル、センターコンソール、ステアリングホイール、及びドアトリム等に設けられている。アンビエントライト25は、発光色を変化させるアンビエント表示により、ドライバの周辺視野を利用した情報提示を行う。
 操作デバイス26は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス26には、例えば自動運転機能の作動及び停止に関連するユーザ操作、及び経路案内の目的地の設定に関連するユーザ操作等が入力される。操作デバイス26には、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、及び搭乗者の発話内容を認識する音声入力装置等が含まれる。
 HMI制御装置100は、提示制御装置として機能し、複数の表示デバイス、オーディオ装置24、及びアンビエントライト25等を用いた情報提示を統合的に制御する。HMI制御装置100は、自動運転ECU50との連携により、自動運転に関連する情報を提示する。例えば、自動運転ECU50にて自律走行制御の終了が予定された場合、HMI制御装置100は、ドライバに運転交代を要請する報知を実施する。
 HMI制御装置100は、処理部11、RAM12、記憶部13、入出力インターフェース14、及びこれらを接続するバス等を備えた制御回路を主体として含むコンピュータである。処理部11は、RAM12へのアクセスにより、本開示による提示制御方法及び車両制御方法を実現するための種々の処理(インストラクション)を実行する。記憶部13には、処理部11によって実行される種々のプログラム(提示制御プログラム及び車両制御プログラム等)が格納されている。処理部11によるプログラムの実行により、HMI制御装置100には、情報取得部81、情報連携部82、及び提示制御部88等が、提示制御機能及び車両制御機能を実現するための機能部として構築される。
 情報取得部81は、自車両Amの状態を示す車両情報(例えば、車速情報等)を通信バス99から取得する。情報取得部81は、車速情報に基づき、自車両Amが停止中か否かを把握する。加えて情報取得部81は、ドライバ操作の内容を示す操作情報をCID22及び操作デバイス26等から取得する。さらに、情報取得部81は、ドライバステータス情報をドライバモニタ29から取得する。情報取得部81は、ドライバステータス情報に含まれる覚醒情報に基づき、ドライバが覚醒状態にあるのか睡眠状態にあるのかを継続的に把握する。
 尚、自動運転レベル4以上の自動走行期間では、運転席に着座する搭乗者が、便宜的にドライバに相当する。運転席は、アクセルペダル、ブレーキペダル、及びステアリングホイール等の運転操作部の操作に適した座席であり、運転操作部の近傍に設けられている。
 情報連携部82は、自動運転ECU50の情報連携部61と連携し、自動運転ECU50及びHMI制御装置100間での情報の共有を可能にする。情報連携部82は、自動運転機能に関連する情報提示の実施要求、自車周囲の認識結果、及び自動運転機能の動作状態を示す制御ステータス情報等を自動運転ECU50から取得する。情報連携部82は、取得した実施要求、認識結果、及び制御ステータス情報等を提示制御部88に提供する。情報連携部82は、情報取得部81にて把握される操作情報のうちで自動運転に関連する情報を自動運転ECU50に提供する。情報連携部82は、自動運転ECU50との情報連携のためのサブ機能部として、制御把握部83及び要求出力部84を有している。
 制御把握部83は、情報連携部82にて取得される制御ステータス情報に基づき、自動運転ECU50にて実施される走行制御の自動運転レベルを把握する。制御把握部83は、情報連携部82にて取得される自車周囲の認識結果に基づき、自車両Amへの緊急車両の接近を把握する。制御把握部83は、認識結果に基づき、緊急車両が自車両Amと同一方向に走行しているか否かをさらに把握する。以下の説明では、緊急車両の接近が把握された一方で、緊急車両が同一方向に走行しているか否かが不明な状況を、「第1状況」とする。また、緊急車両の接近が把握され、かつ、緊急車両が同一方向に走行していることがさらに把握された状況を、「第2状況」とする。
 制御把握部83は、緊急車両の接近が把握されている場合、認識結果に基づき、緊急車両が自車両Amによって通過できない可能性、言い替えれば、緊急車両の走行を自車両Amが妨げているか否かを把握する。加えて、制御把握部83は、緊急車両の接近が把握されている場合、制御ステータス情報に基づき、退避制御部78にて対応走行制御が行われているか否かを把握する。対応走行制御が行われている場合、制御把握部83は、実施中の対応走行制御の種別をさらに把握する。
 要求出力部84は、自動運転に関連する制御要求を自動運転ECU50へ向けて出力する。具体的に、要求出力部84は、自動運転レベル4以上の自動走行期間において、ドライバが睡眠状態にある場合、手動運転への移行禁止を要求する制御要求を自動運転ECU50に出力する。要求出力部84は、ドライバが睡眠状態から覚醒状態に変化した後も、手動運転への移行禁止を要求する制御要求を継続して自動運転ECU50に出力する。以上により、要求出力部84は、制御切替部77と連携し、睡眠状態にあるドライバ、及び覚醒直後のドライバによる手動運転の実施を禁止(制限)する。要求出力部84は、覚醒状態となったドライバが運転交代可能な体勢(運転姿勢)をとるまで、又は、ドライバが覚醒状態となった後、予め設定された時間(例えば、10秒程度)が経過するまで、手動運転の実施を制限した状態を継続する。要求出力部84又はドライバモニタ29は、ステアリングホイールを握る動作、又は運転席のリクライニングを戻す動作等がドライバによって行われた場合に、ドライバが運転交代可能な体勢となったと判定する。
 要求出力部84は、緊急車両に対応する対応走行制御を退避制御部78が実施する期間にて、ドライバが覚醒した場合、実施中の対応走行制御を一時的に中断させる。要求出力部84は、対応走行制御の中断を要請する制御要求を自動運転ECU50へ向けて出力する。退避制御部78は、制御要求に基づき、実施中の停止制御、低速走行制御、及び離脱制御を保留する。具体的に、退避制御部78は、横方向への移動を一時的に保留する、及び、減速を一時的に保留し現在の車速での走行を継続する等の制御を実施する。
 提示制御部88は、各表示デバイス、オーディオ装置24及びアンビエントライト25(以下、情報提示デバイス)を用いたドライバへの情報の提供を統合的に実施する。提示制御部88は、情報連携部82から提供される実施要求、認識結果、及び制御ステータス情報及びに基づき、自動運転の動作状態に合わせたコンテンツ提供及び情報提示を実施する。提示制御部88は、自動運転レベル3以上の自律走行制御の実施が把握されると、動画コンテンツ等の再生を可能にする。提示制御部88は、自律走行制御の終了が予定されると、ドライバへ向けた運転交代の要請等を実施する。さらに、提示制御部88は、情報連携部82にて自車両Amへの緊急車両の接近が把握された場合、緊急車両の接近をドライバ等の搭乗者に示す緊急接近報知を実施する。
 提示制御部88は、ハザードランプ44及び車外ディスプレイ45を用いた車外報知を実施する。提示制御部88は、自車両Amへの緊急車両の接近が把握された第1状況において、車外ディスプレイ45を用いて、緊急車両が接近していることを車外へ向けて報知する。提示制御部88は、自車両Amに複数の車外ディスプレイ45が搭載されている場合、少なくともリヤディスプレイを用いて後続車両に緊急車両の接近を報知する。加えて、提示制御部88は、緊急車両が自車両Amと同一方向に走行していることが把握された第2状況において、車外ディスプレイ45による車外報知に加えて、自車両Amのハザードランプ44の点滅作動を開始させる。尚、ハザードランプ44の点滅作動は、退避制御部78による対応走行制御が開始されるタイミングで開始されてもよい。
 [自動運転レベル4以上における緊急車両の接近情報提示]
 ここまで説明した自動運転車両では、レベル4以上の自動運転による自動走行期間において、運転席のドライバの睡眠が許容される。そして、自車両Amに緊急車両が接近した場合でも、自動運転ECU50にて実施される対応走行制御により、緊急車両への対応が可能となっている。故に、緊急車両の接近を知らせる緊急接近報知がオーディオ装置24を用いた音声等によって実施されてしまうと、ドライバは、覚醒する必要がない状況にも関わらず、覚醒を促されてしまう。
 そこで、提示制御部88は、レベル4以上の自動運転による自動走行期間にて、ドライバが睡眠状態にある状況下、緊急車両が自車両Amに接近した場合の接近情報提示として、制限接近報知を実施する。制限接近報知は、ドライバが睡眠状態にある場合に限定して実施される緊急接近報知である。通常の緊急接近報知が表示及び音声の両方によって緊急車両の接近を示す報知であるのに対し、制限接近報知は、表示及び音声のうち、表示のみによって緊急車両の接近を搭乗者に示す報知である。制限接近報知では、通常の緊急接近とは異なり、搭乗者に覚醒を促す覚醒報知、具体的には、緊急車両の接近を音声により示す報知が制限(中止)される。
 制限接近報知では、「緊急接近が接近しています」等の文字メッセージ、及び緊急接近の接近を示す静止画像又はアニメーションの少なくとも一方が、少なくとも1つの表示デバイスによって表示される。加えて、退避制御部78による対応走行制御が開始されると、実施中の対応走行制御の内容(種別)を示す静止画像又はアニメーションの少なくとも一方が、少なくとも1つの表示デバイスによって表示される。
 さらに詳記すると、提示制御部88は、自動運転レベル3以下の自動走行期間にて、緊急車両が自車両Amに接近した場合、ドライバの覚醒状態に関わらず、表示及び音声の両方を用いた通常の緊急接近報知を実施する(図4 Lv3以下を参照)。手動運転の実施期間でも同様に、提示制御部88は、表示及び音声の両方を用いた緊急接近報知を実施する。
 一方、レベル4以上の自動運転による自動走行期間にて、自車両Amへの緊急車両の接近が検知された第1状況では、提示制御部88は、ドライバの覚醒状態に関わらず、表示のみによる制限接近報知を実施する(図4 Lv4,第1状況を参照)。
 提示制御部88は、緊急車両について自車両Amと同一方向に走行していることが検知された第2状況にて、ドライバの覚醒状態に基づき、報知の態様を変更する(図4 Lv4,第2状況を参照)。第2状況にて、ドライバが覚醒状態にある場合、提示制御部88は、表示及び音声の両方を用いた通常の緊急接近報知を実施する。対して、第2状況にて、ドライバが睡眠状態にある場合、提示制御部88は、表示のみによる制限接近報知を継続する。
 尚、通常の緊急接近報知にて実施される覚醒報知は、上記の音声による報知に限定されない。例えば、シートを振動させる動作、後方に倒されていた運転席の背もたれを強制的に戻す動作、前後方向に自車両Amを揺する加速度を生じさせる動作、覚醒を促す空調風を生じさせる動作、及び運転席側方の窓を開ける動作等が、覚醒報知として実施されてよい。制限接近報知では、これらの覚醒報知の実施が中止される。また、覚醒報知は、制限接近報知にて完全に中止されなくてもよく、制限された状態で実施されてもよい。例えば、制限接近報知にて、通常の緊急接近報知よりもごく小さい音量で、緊急車両の接近を示す音声等が再生されてもよい。
 以下、緊急車両の接近に対応するためにHMI制御装置100にて実施される各処理の詳細を、図5~図7に基づき、図1~図4を参照しつつ説明する。
 <緊急車両報知処理>
 図5に示す緊急車両報知処理では、緊急車両の接近に基づき、緊急接近報知又は制限接近報知が実施される。緊急車両報知処理は、レベル4以上の自動運転の開始が制御把握部83にて把握されたことに基づき、HMI制御装置100によって開始される。緊急車両報知処理は、レベル4以上の自動運転の終了が情報連携部82にて把握されるまで、繰り返し実施される。
 緊急車両報知処理のS11では、制御把握部83が、自動運転ECU50から取得する認識結果に基づき、自車両Amへの緊急車両の接近を把握する。制御把握部83にて緊急車両の接近が把握されていない場合(S11:NO)、今回の緊急車両報知処理は、一旦終了される。対して、制御把握部83にて緊急車両の接近が把握された場合(S11:YES)、制御把握部83は、S12にて、自動運転ECU50から取得する認識結果に基づき、緊急車両が自車両Amと同一方向に走行しているか否かをさらに把握する。
 緊急車両が自車両Amと同一方向に走行しているか否かが不明な場合(S12:NO,第1状況)、提示制御部88は、S15にて、緊急車両の接近を表示のみによって搭乗者(ドライバ)に示す制限接近報知を実施する。提示制御部88は、緊急車両が自車両Amと同一方向に走行していない場合も同様に、S15にて制限接近報知を実施する。これらの制限接近報知では、音声による報知が中止(制限)される。
 一方、緊急車両が自車両Amと同一方向に走行している場合(S12:YES,第2状況)、S13にて、情報取得部81がドライバステータス情報(覚醒情報)を取得する。情報取得部81は、取得した最新のドライバステータス情報に基づき、S14にて、ドライバが睡眠状態にあるか否かを把握(判定)する。ドライバが睡眠状態にある場合(S14:YES)、提示制御部88は、S15にて制限接近報知を実施する。対して、ドライバが睡眠状態になく、覚醒状態にある場合(S14:NO)、提示制御部88は、S16にて、通常の緊急接近報知を実施する。この緊急接近報知では、緊急車両の接近が音声及び表示の両方によってドライバに示される。
 制御把握部83は、制限接近報知の開始後であるS17にて、認識結果に基づき、緊急車両の走行を自車両Amが妨げているか否かを推定する。自車両Amが緊急車両の走行を妨げていると推定されていない場合(S17:NO)、今回の車緊急車両報知処理は、一旦終了される。対して、緊急車両の走行を自車両Amが妨げていると推定された場合(S17:YES)、提示制御部88は、S18にて、覚醒報知を実施する。この場合、提示制御部88は、少なくとも音声により、睡眠状態にあるドライバの覚醒を促す。さらに、提示制御部88は、覚醒報知の開始後のS19にて、緊急車両の接近を示す表示を最初からやり直す。提示制御部88は、S15にて開始した一連のアニメーションの表示を一旦終了させたうえで、S19にて、このアニメーションを最初から表示させ、緊急車両の接近を覚醒したドライバにあらためて示す。
 <車外報知処理>
 図6に示す車外報知処理は、緊急車両の接近を車外報知するための処理である。車外報知処理は、例えばレベル3以上の自律走行制御の開始が制御把握部83にて把握されたことに基づき、HMI制御装置100によって開始される。車外報知処理は、自律走行制御の終了が情報連携部82にて把握されるまで、繰り返し実施される。
 車外報知処理のS31及びS32では、緊急車両報知処理のS11及びS12(図5参照)と同様に、緊急車両の接近を把握したか否か、及び、緊急車両が自車両Amと同一方向に走行しているか否かが把握される。緊急車両の接近が把握されていない場合(S31:NO)、今回の車外報知処理は、一旦終了される。
 対して、緊急車両の接近が把握された一方で、緊急車両が自車両Amと同一方向に走行しているか否かが不明な第1状況である場合(S31:YES,S32:NO)、提示制御部88は、S33にて、緊急車両の接近を車外へ向けて報知する。この場合、提示制御部88は、少なくともリヤディスプレイを用いて、自車周囲の他車両のうちで特に後続車両に対し緊急車両の接近を報知する。
 緊急車両の接近が把握され、かつ、この緊急車両が自車両Amと同一方向に走行している第2状況である場合(S31:YES,S32:YES)、提示制御部88は、S34にて、ボディECU43と連携し、ハザードランプ44の点滅動作を開始させる。さらに、提示制御部88は、S35にて、緊急車両の接近報知を行う車外ディスプレイ45の数を増やす。この場合、提示制御部88は、リヤディスプレイに加えて、フロントディスプレイ及びサイドディスプレイにも、緊急車両の接近を示す文字メッセージ等を表示させる。
 <覚醒対応処理>
 図7に示す覚醒対応処理では、退避制御部78による対応走行制御の開始後に覚醒したドライバに対応するための情報提示及び運転制限が実施される。覚醒対応処理は、対応走行制御の開始が制御把握部83にて把握されたことに基づき、HMI制御装置100によって開始される。
 覚醒対応処理のS51では、情報取得部81が、ドライバステータス情報を取得する。情報取得部81は、取得した最新のドライバステータス情報に基づき、S52にて、ドライバの状態が睡眠状態から覚醒状態に変化したか否かを判定する。睡眠状態から覚醒状態への状態変化があった場合(S52:YES)、情報取得部81は、ドライバステータス情報に基づき、S53にて、覚醒直後のドライバが適切な運転姿勢をとれているか否かを判定する。
 覚醒したドライバが適切な運転姿勢をとれている場合(S53:YES)、要求出力部84は、S54にて、ドライバによる運転受付を許可する。この場合、要求出力部84は、手動運転への移行禁止を解除する制御要求を制御切替部77へ向けて出力する。以上により、ドライバへの運転交代が可能になる。対して、覚醒したドライバが適切な運転姿勢をとれていない場合(S53:NO)、要求出力部84は、S55にて、ドライバによる運転受付を禁止する。この場合、要求出力部84は、手動運転を禁止する制御要求を制御切替部77へ向けて出力する。
 提示制御部88は、S56にて、退避制御部78による対応走行制御が実施中であることを、音声によって報知する。提示制御部88は、音声による報知に合わせて、実施中の対応走行制御の種別を表示によってドライバに示す。
 要求出力部84は、S57にて、実施中の対応走行制御の一時的な中断を要請する制御要求を、自動運転ECU50へ向けて出力する。これにより、退避制御部78は、ドライバの覚醒直後から所定時間、ドライバが状況を把握し易いように対応走行制御を抑制する。
 S57での制御要求の出力後、又は睡眠状態から覚醒状態への状態変化がない場合(S52:NO)、制御把握部83は、S58にて、制御ステータス情報に基づき、対応走行制御が終了したか否かを判定する。対応走行制御が終了した場合(S58:YES)、今回の覚醒対応処理は、終了される。対して、対応走行制御が継続している場合(S58:NO)、S51~S57のステップ(処理)が繰り返される。
 (第一実施形態まとめ)
 ここまで説明した第一実施形態では、緊急車両の接近が把握されても、ドライバに覚醒を促す覚醒報知が制限されるため、ドライバは、睡眠を継続し得る。加えて、緊急車両の接近が表示によってドライバに示されるため、ドライバは、突如起きたとしても、緊急車両が接近している状況を表示から把握し得る。以上により、ドライバ等の搭乗者にとって利便性のよい緊急車両対応を行うことが可能になる。
 加えて第一実施形態では、制限接近報知の開始後にドライバが覚醒した場合、提示制御部88は、緊急車両に対応する対応走行制御を自車両Amが実施中であることを音声によって報知する。以上によれば、提示制御部88は、緊急車両が接近していることに加えて、この緊急車両への対応走行制御が既に開始されていることを、ドライバに分かり易く示し得る。その結果、ドライバにとって利便性のよいシステムが実現される。
 また第一実施形態では、緊急車両に対応する対応走行制御を自車両Amが実施する期間にてドライバが覚醒した場合、実施中の対応走行制御が、一時的に中断される。こうした対応走行制御の中断によれば、状況の変化及び自車挙動の変化が一時的に抑制される。その結果、ドライバは、覚醒直後において、自車両Amのおかれた状況を把握し易くなる。
 さらに第一実施形態では、ドライバが睡眠状態にない状況下、緊急車両が自車両Amに接近した場合の緊急接近報知において、緊急車両の接近が、音声及び表示の両方によってドライバに示される。故に、覚醒状態にあるドライバは、緊急車両の接近を確実に把握し得る。一方で、ドライバが睡眠状態にある状況下、緊急車両が自車両Amに接近した場合の制限接近報知では、音声による報知が中止され、緊急車両の接近は、表示のみによってドライバに示される。故に、睡眠状態にあるドライバは、不要な覚醒を強いられることなく、睡眠を継続できる。
 加えて第一実施形態では、緊急車両について、自車両Amと同一方向に走行しているか否かがさらに把握される。そして、緊急車両の接近が把握された一方で、緊急車両が同一方向に走行しているか否かが不明な第1状況では、制限接近報知が実施される。対して、緊急車両が同一方向に走行していることが把握された第2状況では、ドライバが睡眠状態にあるか否かに応じて、制限接近報知を実施するか否かが決定される。以上によれば、緊急車両の相対位置が不明な接近初期の段階でドライバを覚醒させてしまう事態は、回避される。こうした煩わしさの低減により、ドライバにとって利便性のよい緊急車両対応が実現され得る。
 また第一実施形態では、第2状況においてドライバが睡眠状態にある場合、制限接近報知が実施される一方で、第2状況においてドライバが睡眠状態にない場合、音声及び表示の両方によって緊急車両の接近をドライバに示す緊急接近報知が実施される。以上のように、ドライバが覚醒状態であっても、音声による通知の実施は、第2状況になるまで保留される。故に、別のタスク等を実施しているドライバの煩わしさを低減することが可能になる。
 さらに第一実施形態では、制限接近報知の開始後、緊急車両の走行を自車両Amが妨げている場合、覚醒報知が実施される。以上によれば、対応走行制御による適切な対応が困難なシーンにおいて、緊急車両への対応をドライバに委ねることが可能になる。
 加えて第一実施形態では、覚醒報知の開始後に、緊急車両の接近を示す表示が最初からやり直される。以上によれば、覚醒後のドライバは、最初からやり直しされた表示の内容を確認することで、自車両Amのおかれた状況を適切に把握し得る。その結果、ドライバによる緊急車両への対応が、迅速に開始され易くなる。
 また第一実施形態では、緊急車両が自車両Amに接近した場合、自車両Amに搭載された車外ディスプレイ45を用いて、緊急車両の接近が車外へ向けて報知される。以上によれば、緊急車両の接近情報が、自車周囲の他車両と共有され得る。その結果、対応走行制御にて、自車両Amは、他車両の協力を得やすくなるため、緊急車両を円滑に回避できる。
 さらに第一実施形態では、緊急車両が自車両Amと同一方向に走行していることが把握された場合、車外ディスプレイ45による車外報知に加えて、自車両Amのハザードランプ44の点滅作動が開始される。以上によれば、自車周囲の他車両は、緊急車両を回避するための自車両Amの行動に備えることができる。その結果、自車両Amは、対応走行制御を円滑に実施できる。
 加えて第一実施形態では、睡眠状態から覚醒状態に変化したドライバによる手動運転の実施が禁止される。故に、寝ぼけた状態にある覚醒直後のドライバにより、誤った手動運転操作が入力されてしまい、自車両Amの挙動が不安定になる事態は、回避され得る。
 尚、上記第一実施形態では、情報取得部81が「状態把握部」に相当し、制御把握部83が「接近把握部」に相当する。また、S55の処理を実施する要求出力部84の機能が「操作制限部」に相当し、S57の処理を実施する要求出力部84の機能が「対応制限部」に相当し、提示制御部88が「報知実施部」に相当する。さらに、HMI制御装置100が「車両制御装置」に相当する。
 (第二実施形態)
 図8に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態のHMI制御装置100は、モビリティサービスを提供するサービス車両に搭載されている。モビリティサービスは、サービスの利用者に目的地までの移動手段を提供する。サービス車両は、自動運転ECU50を搭載しており、レベル4以上の自動運転によって自律走行可能である。サービス車両には、オペレータが搭乗していてもよく、又はオペレータが搭乗していなくてもよい。オペレータは、運転操作部を操作可能なようにサービス車両の運転席に着座している。オペレータは、自動運転ECU50による対応が困難な状況にて、自動運転ECU50から運転操作の制御権を引き継ぐための乗員である。
 以下、サービス車両に搭載されたHMI制御装置100にて実施される緊急車両報知処理の詳細を、図8に基づき、図1~図3を参照しつつ説明する。第二実施形態の緊急車両報知処理は、自動運転によるサービス車両の運行が開始されたことに基づき、HMI制御装置100によって開始される。緊急車両報知処理は、サービス車両の運行が終了されるまで繰り返し実施される。
 緊急車両報知処理のS211では、制御把握部83が、自動運転ECU50から取得する認識結果に基づき、自車両Amへの緊急車両の接近を把握する。制御把握部83にて緊急車両の接近が把握されていない場合(S211:NO)、今回の緊急車両報知処理は、一旦終了される。対して、制御把握部83にて緊急車両の接近が把握された場合(S211:YES)、情報取得部81は、S212にて、ドライバステータス情報を取得する。情報取得部81は、取得した最新のドライバステータス情報に基づき、S213にて、オペレータがサービス車両に搭乗しているか否かを把握(判定)する。
 オペレータが搭乗している場合(S213:YES)、提示制御部88は、S214にて、制限接近報知を実施する。このように、オペレータが搭乗している状況下、緊急車両がサービス車両に接近した場合、音声による報知が中止される。そして、緊急車両の接近は、表示のみにより、サービス車両の利用者(乗客)に報知される。
 対して、オペレータが搭乗していない場合(S213:NO)、提示制御部88は、S215にて、通常の緊急接近報知を実施する。このように、オペレータが搭乗していない状況下、緊急車両がサービス車両に接近した場合、緊急車両の接近は、音声及び表示の両方によって乗客に報知される。
 ここまで説明した第二実施形態では、オペレータが搭乗していない場合、緊急車両の接近が、サービス車両の乗客に音声によって報知される。故に、乗客は、緊急車両の接近を車載システムが認識していることを、確実に認知できる。そのため、オペレータが搭乗していなくても、サービス車両の利用を安心して継続できる。
 また、オペレータが搭乗している場合、音声による報知は、制限(中止)される。このように、煩わしい報知が制限されることで、乗客は、サービス車両を快適に利用できる。以上によれば、オペレータの有無に応じて、サービス車両の利用する搭乗者にとって利便性のよい緊急車両対応を行うことが可能になる。
 (第三実施形態)
 本開示の第三実施形態は、第一実施形態の別の変形例である。第三実施形態では、自動運転レベル4以上の自動走行期間においてドライバが睡眠状態にある状況下、緊急車両が自車両Amに接近した場合の報知の態様が、自車周囲の道路環境及び対応走行制御の内容等に応じて変化する。加えて、対応走行制御による緊急退避にて、自車両Amをドライバに制御してもらう必要が生じた場合、即ち、運転交代要請が発生した場合、少なくとも音声を用いてドライバに覚醒を促す覚醒報知が実施される。例えば、緊急退避にて、緊急車両が自車両Amの影響により走行不可能となった場合、又は自動運転機能による退避の継続が困難となった場合、覚醒報知が実施される。
 以下、こうした第三実施形態のHMI制御装置100にて実施される緊急車両報知処理の詳細を、図9に基づき、図1~図3を参照しつつ説明する。第三実施形態の緊急車両報知処理は、第一実施形態と同様に、レベル4以上の自動運転の開始が制御把握部83にて把握されたことに基づき開始され、レベル4以上の自動運転の終了が情報連携部82にて把握されるまで繰り返し実施される。
 緊急車両報知処理のS11~S14では、第一実施形態と実質同一の処理が実施される。情報取得部81は、S11及びS14にて、自車両Amに緊急車両が接近しているか否か、及びドライバが睡眠状態にあるか否かを判定する。自車両Amに緊急車両が接近しており、かつ、ドライバが覚醒状態にある場合(S14:NO)、提示制御部88は、S16にて、通常の緊急接近報知を実施する。この緊急接近報知では、緊急車両の接近が音声及び表示の両方によってドライバに示される。
 一方、ドライバが睡眠状態にある場合(S14:YES)、制御把握部83は、S311にて、道路種別情報を自動運転ECU50から取得する。道路種別情報には、自車両Amが走行する道路の種別を示す情報が含まれている。道路種別情報は、ロケータ情報及び地図データ等に基づき、環境認識部62によって準備される。制御把握部83は、S312にて、道路種別情報に基づき、自車両Amの走行する道路が一般道路か否かを判定する。
 ここで、一般道路は、歩行者、並びに自転車及びモーターサイクルを含む全ての車両が通行できる道路である。具体的には、都市部の道路、地方の道路、及び農村部の道路が一般道路に含まれる。一般道路には、交差点、交通信号機、横断歩道、及び歩道等が設けられている。対して、一般道路以外の道路(以下、特定道路)は、特定の種類の車両のみが通行でき、歩行者、自転車、及び軽車両等の通行が禁止された道路である。具体的には、高速道路及び自動車専用道路等が特定道路に含まれる。特定道路の制限速度は、一般道路よりも高く設定されている。特定道路は、インターチェンジ及びジャンクション等を介して一般道路と接続されている。
 自車両Amが高速道路等の特定道路を走行している場合(S312:NO)、提示制御部88は、S15にて、緊急車両の接近を表示のみによってドライバに示す制限接近報知を実施する。制限接近報知では、音声による報知が中止(制限)される。このように、特定道路を走行する自車両Amに緊急車両が接近した場合に緊急車両の接近をドライバに示す報知の強度は、一般道路を走行する自車両Amに緊急車両が接近した場合の報知の強度よりも低くされる。
 一方、自車両Amが一般道路を走行している場合(S312:YES)、制御把握部83は、S313にて、退避制御部78にて行われている又は行われる予定の対応走行制御の内容を把握する。制御把握部83は、S314にて、緊急車両に対応する対応走行制御にて、自車両Amが一時停止するか否かを把握(判定)する。自車両Amを一時停止させる対応走行制御が行われる場合(S314:YES)、提示制御部88は、S15にて、緊急車両の接近を表示のみによってドライバに示す制限接近報知を実施する。
 対して、自車両Amを一時停止させず、徐行での走行を継続させる対応走行制御が行われる場合(S314:NO)、提示制御部88は、S16にて、緊急車両の接近を音声及び表示の両方によってドライバに示す通常の緊急接近報知を実施する。このように、自車両Amを一時停止させない対応走行制御が行われる場合の報知の強度は、自車両Amを一時停止させる対応走行制御が行われる場合の報知の強度よりも高くされる。
 制御把握部83は、ドライバが睡眠状態にあることで制限接近報知が行われた場合、S317にて、緊急車両に対応する対応走行制御(緊急退避)において、運転交代要請が発生したか否かを判定する。自動運転レベル4以上の自動運転機能による対応走行制御が継続され、運転交代要請の実施要求を制御把握部83が取得していない場合(S317:NO)、今回の緊急車両報知処理は、一旦終了される。対して、自動運転レベル4以上の継続が困難であり、ドライバによる周辺監視又は運転操作が必要となった場合、制御把握部83は、自動運転ECU50から運転交代要請の実施要求を取得する(S317:YES)。この場合、提示制御部88は、S18にて、覚醒報知を実施し、少なくとも音声により睡眠状態にあるドライバの覚醒を促す。さらに、提示制御部88は、覚醒報知の開始後のS19にて、緊急車両の接近を示す表示を最初からやり直す。提示制御部88は、S15にて開始した一連のアニメーションの表示を一旦終了させたうえで、S19にて、このアニメーションを最初から表示させ、緊急車両の接近を覚醒したドライバに示す。
 (第三実施形態まとめ)
 ここまで説明した第三実施形態でも、第一実施形態と同様の効果を奏し、ドライバが睡眠状態にある場合には、緊急車両の接近が把握されても、ドライバに覚醒を促す覚醒報知が制限される。また、ドライバは、緊急車両の接近中に突如起きたとしても、緊急車両の接近状況を表示から把握し得る。したがって、ドライバ等の搭乗者にとって利便性のよい緊急車両対応を行うことが可能になる。
 加えて第三実施形態では、自車両Amの走行する道路について、一般道路か否かが判定される。そして、ドライバが睡眠状態にある状況において、一般道路にて緊急車両が自車両Amに接近した場合と、一般道路以外の特定道路にて緊急車両が自車両Amに接近した場合とで、緊急車両の接近をドライバに示す報知の態様が変化する。以上によれば、緊急車両の接近が把握されたとき、自車周囲の走行環境に応じて、ドライバに覚醒を促すか否かが適切に判断され得る。その結果、ドライバ等にとって利便性のよい緊急車両対応が実施可能になる。
 また第三実施形態では、ドライバが睡眠状態にある状況において、一般道路を走行する自車両Amに緊急車両が接近した場合の報知の強度は、特定道路を走行する自車両Amに緊急車両が接近した場合の報知の強度よりも高くされる。具体的には、一般道路を走行する自車両Amに緊急車両が接近した場合、緊急接近報知にて、緊急車両の接近が音声及び表示の両方によってドライバに示される。対して、特定道路を走行する自車両Amに緊急車両が接近した場合、制限接近報知にて、音声による報知が中止され、緊急車両の接近が表示によってドライバに示される。特定道路にて緊急車両に対応する対応走行制御では、一般道路にて行われる対応走行制御よりも外乱の影響が小さくなる。故に、特定道路ではドライバを覚醒させる緊急性が一般道路よりも低い。そのため、特定道路にて音声による報知を中止することで、ドライバの利便性が向上し得る。
 さらに第三実施形態では、緊急車両に対応する対応走行制御にて、自車両の一時停止の有無が把握される。そして、ドライバが睡眠状態にある状況において、自車両を一時停止させる対応走行制御が行われる場合と、自車両の走行を継続させる対応走行制御が行われる場合とで、緊急車両の接近を搭乗者に示す報知の態様が変化する。以上によれば、緊急車両の接近が把握されたとき、この緊急車両への対応走行制御の内容に応じて、ドライバに覚醒を促すか否かが適切に判断され得る。その結果、ドライバ等にとって利便性のよい緊急車両対応が実施可能になる。
 加えて第三実施形態では、ドライバが睡眠状態にある状況において、自車両Amを一時停止させない対応走行制御が行われる場合に緊急車両の接近をドライバに示す報知の強度は、自車両Amを一時停止させる対応走行制御が行われる場合に緊急車両の接近をドライバに示す報知の強度よりも高くされる。具体的には、自車両Amの走行を継続させる対応走行制御が行われる場合、制限接近報知にて、音声による報知が中止され、緊急車両の接近が表示によってドライバに示される。対応走行制御にて一時停止が行われる場合、ドライバには自車周囲の状況を確認する余裕が確保され得る。故に、ドライバの覚醒が保留されてよい。対して、自車両Amを一時停止させる対応走行制御が行われる場合、緊急接近報知にて、緊急車両の接近が音声及び表示の両方によってドライバに示される。対応走行制御にて徐行等での走行が継続される場合、自車周囲の状況を確認するドライバの余裕は、一時停止が行われる場合よりも少なくなる。故に、音声及び表示による報知を行うことが望ましい。
 また第三実施形態では、ドライバが睡眠状態にある状況下、緊急車両への対応にドライバによる運転操作が必要となった場合、音声による覚醒報知が実施される。故に、ドライバを覚醒させる報知が保留されても、ドライバによる対応が必要となった場合には、自動運転機能からドライバへの運転交代が、適切に実施され得る。
 (他の実施形態)
 以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態にて、ドライバが睡眠状態にあるか否かの判定は、ドライバモニタ29によって生成されるドライバステータス情報に基づき行われていた。しかし、ドライバが睡眠状態か否かの判定に、ドライバモニタ29とは異なる構成のセンシング情報が用いられてもよい。
 一例として、変形例1による情報取得部81は、運転席のリクライニングの角度情報を取得する。情報取得部81は、この角度情報に基づき、運転席の背もたれが後方に倒されている場合に、ドライバの睡眠状態を把握する。情報取得部81は、ドライバステータス情報とリクライニングの角度情報とを組み合わせて、ドライバの睡眠状態を把握してもよい。
 また、変形例2による情報取得部81は、ドライバの生体情報、具体的には、脈拍、体温、及び脳波等の情報を取得する。生体情報は、運転席に設けたセンサ、又はドライバの装着するウェアラブルデバイス等にて計測される。情報取得部81は、ドライバステータス情報に生体情報を組み合わせて、ドライバの睡眠状態を把握する。
 上記実施形態の変形例3では、第1状況及び第2状況の判別が行われない。変形例3では、緊急車両の接近時、ドライバが睡眠状態にある場合に制限接近報知が実施される一方、ドライバが睡眠状態にない場合、緊急車両の接近は、音声及び表示の両方によって報知される。
 上記第一実施形態の変形例4では、ドライバに加えて又はドライバに替えて、運転席以外のシートに着座する搭乗者(同乗者)について、睡眠状態にあるか否かが把握される。自動運転レベル4以上の自動走行期間にて緊急車両が自車両Amに接近した場合、ドライバが覚醒状態にあれば、同乗者を覚醒させるような動作及び報知は、制限(中止)されてよい。
 上記第三実施形態の変形例5では、ドライバが睡眠状態にある状況において、一般道路を走行する自車両Amに緊急車両が接近した場合の報知の強度が、特定道路を走行する自車両Amに緊急車両が接近した場合の報知の強度よりも低くされる。具体的には、自車両Amが一般道路を走行する場合には、制限接近報知が実施され、自車両Amが高速道路等を走行する場合には、通常の緊急接近報知が実施される。以上の変形例5のように、自車両Amの走行速度を考慮し、走行速度が高い走行環境ほど、緊急車両の接近報知の強度が高く調整されてもよい。
 上記第三実施形態の変形例6では、ドライバが睡眠状態にある状況において、自車両Amを一時停止させない対応走行制御が行われる場合の報知の強度が、自車両Amを一時停止させる対応走行制御が行われる場合の報知の強度よりも低くされる。具体的には、一時停止が行われる場合には、通常の緊急接近報知が実施され、徐行による走行が継続される場合には、制限接近報知が実施される。以上の変形例6のように、一時停止が行われるシーンほど、対応走行制御の難易度が高いと推定し、ドライバの覚醒を促すように緊急車両の接近報知の強度が高く調整されてもよい。
 上記実施形態の変形例7では、HMI制御装置100の一部の機能が、自動運転ECU50に実装されている。即ち、変形例7では、HMI制御装置100及び自動運転ECU50を含むシステムが「車両制御装置」に相当する。こうした変形例7では、環境認識部62が「接近把握部」に相当し、制御切替部77が「操作制限部」に相当し、退避制御部78が「対応制限部」に相当する。
 また、上記実施形態の変形例8では、HMI制御装置100及びドライバモニタ29を含むシステムが「車両制御装置」に相当する。こうした変形例8では、ドライバモニタ29が「状態把握部」に相当する。
 さらに、上記実施形態の変形例9では、HMI制御装置100の機能が自動運転ECU50に統合されている。こうした変形例9では、統合された自動運転ECU50が「車両制御装置」に相当する。
 上記実施形態にて、HMI制御装置によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。また、こうした機能を実現するためのソフトウェアは、多量の学習用データを用いてトレーニングされたニューラルネットワーク又は言語モデルにより自動生成されたコードを少なくとも一部に含んでいてもよい。
 上記実施形態の各処理部は、RAMと結合された演算処理のためのハードウェアである。処理部は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部は、FPGA(Field-Programmable Gate Array)、NPU(Neural network Processing Unit)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。また処理部は、プリント基板に個別に実装される構成に限定されない。処理部は、ASIC(Application Specific Integrated Circuit)、SoC(System on Chip)、チップレット集積体、及びFPGA等に実装された構成であってよい。
 上記実施形態にて各種プログラム等を記憶する記憶媒体(持続的有形コンピュータ読み取り媒体,non-transitory tangible storage medium)の形態は、適宜変更されてよい。さらに、記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、自動運転ECU等の制御回路に電気的に接続される構成であってよい。また、記憶媒体は、自動運転ECU等へのプログラムのコピー元又は配信元となる光学ディスク、ハードディスクドライブ、及びソリッドステートドライブ等であってもよい。
 上記の自動運転ECU及びHMI制御装置を搭載する車両は、一般的な自家用の乗用車(Personally owned Vehicle,POV)、及びサービス車両に限定されない。HMI制御装置等を搭載する車両は、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。また、車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。さらに、車両が走行する交通環境は、左側通行を前提とした交通環境であってもよく、右側通行を前提とした交通環境であってもよい。本開示による車両制御は、それぞれの国及び地域の道路交通法、さらに車両のハンドル位置等に応じて適宜最適化されてよい。
 本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
 (技術的思想の開示)
 この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式(a multiple dependent form)により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式(a multiple dependent form referring to another multiple dependent form)により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。
 (技術的思想1)
 運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両(Am)において用いられる車両制御装置であって、
 前記自車両への緊急車両の接近を把握する接近把握部(83)と、
 前記搭乗者が睡眠状態にあるか否かを把握する状態把握部(81)と、
 前記緊急車両の接近を前記搭乗者に示す緊急接近報知を実施する報知実施部(88)と、を備え、
 前記報知実施部は、前記自動運転による自動走行期間にて、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合、前記搭乗者に覚醒を促す覚醒報知を制限しつつ、前記緊急車両の接近を表示によって前記搭乗者に示す制限接近報知を実施する車両制御装置。
 (技術的思想2)
 前記報知実施部は、前記制限接近報知の開始後に前記搭乗者が覚醒した場合、前記緊急車両に対応する対応走行制御を前記自車両が実施中であることを音声によって報知する技術的思想1に記載の車両制御装置。
 (技術的思想3)
 前記緊急車両に対応する対応走行制御を前記自車両が実施する期間にて、前記搭乗者が覚醒した場合、前記対応走行制御を一時的に中断する対応制限部(S57)、をさらに備える技術的思想1又は2に記載の車両制御装置。
 (技術的思想4)
 前記報知実施部は、
 前記搭乗者が前記睡眠状態にない状況下、前記緊急車両が前記自車両に接近した場合の前記緊急接近報知にて、前記緊急車両の接近を音声及び表示の両方によって前記搭乗者に示し、
 前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合の前記制限接近報知にて、音声による報知を中止し、前記緊急車両の接近を表示によって前記搭乗者に示す技術的思想1~3のいずれか一項に記載の車両制御装置。
 (技術的思想5)
 前記接近把握部は、前記緊急車両が前記自車両と同一方向に走行しているか否かをさらに把握し、
 前記報知実施部は、
 前記緊急車両の接近が把握された一方で、前記緊急車両が前記同一方向に走行しているか否かが不明な第1状況において、前記制限接近報知を実施し、
 前記緊急車両が前記同一方向に走行していることが把握された第2状況において、前記搭乗者が前記睡眠状態にあるか否かに応じて、前記制限接近報知を実施するか否かを決定する技術的思想1~4のいずれか一項に記載の車両制御装置。
 (技術的思想6)
 前記報知実施部は、
 前記第2状況において前記搭乗者が前記睡眠状態にある場合、前記制限接近報知を実施し、
 前記第2状況において前記搭乗者が前記睡眠状態にない場合、前記緊急車両の接近を音声及び表示の両方によって前記搭乗者に示す前記緊急接近報知を実施する技術的思想5に記載の車両制御装置。
 (技術的思想7)
 前記接近把握部は、前記緊急車両の走行を前記自車両が妨げているか否かを把握し、
 前記報知実施部は、前記制限接近報知の開始後、前記緊急車両の走行を前記自車両が妨げている場合、前記覚醒報知を実施する技術的思想1~6のいずれか一項に記載の車両制御装置。
 (技術的思想8)
 前記報知実施部は、前記覚醒報知の開始後、前記緊急車両の接近を示す表示を最初からやり直す技術的思想7に記載の車両制御装置。
 (技術的思想9)
 前記接近把握部は、前記自車両の走行する道路が一般道路か否かを判定し、
 前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記一般道路にて前記緊急車両が前記自車両に接近した場合と、前記一般道路以外の特定道路にて前記緊急車両が前記自車両に接近した場合とで、前記緊急車両の接近を前記搭乗者に示す報知の態様を変化させる技術的思想1~8のいずれか一項に記載の車両制御装置。
 (技術的思想10)
 前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記一般道路を走行する前記自車両に前記緊急車両が接近した場合に前記緊急車両の接近を前記搭乗者に示す報知の強度を、前記特定道路を走行する前記自車両に前記緊急車両が接近した場合に前記緊急車両の接近を前記搭乗者に示す報知の強度よりも高くする技術的思想9に記載の車両制御装置。
 (技術的思想11)
 前記接近把握部は、前記緊急車両に対応する対応走行制御にて前記自車両が一時停止するか否かを把握し、
 前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記自車両を一時停止させる前記対応走行制御が行われる場合と、前記自車両を一時停止させない前記対応走行制御が行われる場合とで、前記緊急車両の接近を前記搭乗者に示す報知の態様を変化させる技術的思想1~10のいずれか一項に記載の車両制御装置。
 (技術的思想12)
 前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記自車両を一時停止させない前記対応走行制御が行われる場合に前記緊急車両の接近を前記搭乗者に示す報知の強度を、前記自車両を一時停止させる前記対応走行制御が行われる場合に前記緊急車両の接近を前記搭乗者に示す報知の強度よりも高くする技術的思想11に記載の車両制御装置。
 (技術的思想13)
 前記報知実施部は、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両への対応に前記搭乗者による運転操作が必要となった場合、音声による前記覚醒報知を実施する技術的思想1~12のいずれか一項に記載の車両制御装置。
 (技術的思想14)
 前記自車両は、モビリティサービスを提供するサービス車両であり、
 前記状態把握部は、前記自動運転によって運行される前記サービス車両にオペレータが搭乗しているか否かを把握し、
 前記報知実施部は、
 前記オペレータが搭乗していない状況下、前記緊急車両が前記サービス車両に接近した場合、前記緊急車両の接近を音声及び表示の両方によって報知し、
 前記オペレータが搭乗している状況下、前記緊急車両が前記サービス車両に接近した場合、音声による報知を中止し、前記緊急車両の接近を表示によって報知する技術的思想1~13のいずれか一項に記載の車両制御装置。
 (技術的思想15)
 前記報知実施部は、前記緊急車両が前記自車両に接近した場合、前記自車両に搭載された車外ディスプレイ(45)を用いて、前記緊急車両が接近していることを車外へ向けて報知する技術的思想1~14のいずれか一項に記載の車両制御装置。
 (技術的思想16)
 前記接近把握部は、前記緊急車両が前記自車両と同一方向に走行しているか否かをさらに把握し、
 前記報知実施部は、前記緊急車両が前記同一方向に走行していることが把握された場合、前記車外ディスプレイによる車外報知に加えて、前記自車両のハザードランプ(44)の点滅作動を開始させる技術的思想15に記載の車両制御装置。
 (技術的思想17)
 前記睡眠状態から覚醒状態に変化した前記搭乗者による手動運転の実施を禁止する操作制限部(S55)、をさらに備える技術的思想1~16のいずれか一項に記載の車両制御装置。
 (技術的思想18)
 運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両(Am)において用いられる車両制御プログラムであって、
 前記自車両への緊急車両の接近を把握し(S11)、
 前記搭乗者が睡眠状態にあるか否かを把握し(S13,S14)、
 前記自動運転による自動走行期間にて、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合、前記搭乗者に覚醒を促す覚醒報知を制限しつつ、前記緊急車両の接近を表示によって前記搭乗者に示す制限接近報知を実施する(S15)、
 ことを含む処理を、少なくとも1つの処理部(11)に実行させる車両制御プログラム。

Claims (18)

  1.  運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両(Am)において用いられる車両制御装置であって、
     前記自車両への緊急車両の接近を把握する接近把握部(83)と、
     前記搭乗者が睡眠状態にあるか否かを把握する状態把握部(81)と、
     前記緊急車両の接近を前記搭乗者に示す緊急接近報知を実施する報知実施部(88)と、を備え、
     前記報知実施部は、前記自動運転による自動走行期間にて、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合、前記搭乗者に覚醒を促す覚醒報知を制限しつつ、前記緊急車両の接近を表示によって前記搭乗者に示す制限接近報知を実施する車両制御装置。
  2.  前記報知実施部は、前記制限接近報知の開始後に前記搭乗者が覚醒した場合、前記緊急車両に対応する対応走行制御を前記自車両が実施中であることを音声によって報知する請求項1に記載の車両制御装置。
  3.  前記緊急車両に対応する対応走行制御を前記自車両が実施する期間にて、前記搭乗者が覚醒した場合、前記対応走行制御を一時的に中断する対応制限部(S57)、をさらに備える請求項1に記載の車両制御装置。
  4.  前記報知実施部は、
     前記搭乗者が前記睡眠状態にない状況下、前記緊急車両が前記自車両に接近した場合の前記緊急接近報知にて、前記緊急車両の接近を音声及び表示の両方によって前記搭乗者に示し、
     前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合の前記制限接近報知にて、音声による報知を中止し、前記緊急車両の接近を表示によって前記搭乗者に示す請求項1に記載の車両制御装置。
  5.  前記接近把握部は、前記緊急車両が前記自車両と同一方向に走行しているか否かをさらに把握し、
     前記報知実施部は、
     前記緊急車両の接近が把握された一方で、前記緊急車両が前記同一方向に走行しているか否かが不明な第1状況において、前記制限接近報知を実施し、
     前記緊急車両が前記同一方向に走行していることが把握された第2状況において、前記搭乗者が前記睡眠状態にあるか否かに応じて、前記制限接近報知を実施するか否かを決定する請求項1に記載の車両制御装置。
  6.  前記報知実施部は、
     前記第2状況において前記搭乗者が前記睡眠状態にある場合、前記制限接近報知を実施し、
     前記第2状況において前記搭乗者が前記睡眠状態にない場合、前記緊急車両の接近を音声及び表示の両方によって前記搭乗者に示す前記緊急接近報知を実施する請求項5に記載の車両制御装置。
  7.  前記接近把握部は、前記緊急車両の走行を前記自車両が妨げているか否かを把握し、
     前記報知実施部は、前記制限接近報知の開始後、前記緊急車両の走行を前記自車両が妨げている場合、前記覚醒報知を実施する請求項1に記載の車両制御装置。
  8.  前記報知実施部は、前記覚醒報知の開始後、前記緊急車両の接近を示す表示を最初からやり直す請求項7に記載の車両制御装置。
  9.  前記接近把握部は、前記自車両の走行する道路が一般道路か否かを判定し、
     前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記一般道路にて前記緊急車両が前記自車両に接近した場合と、前記一般道路以外の特定道路にて前記緊急車両が前記自車両に接近した場合とで、前記緊急車両の接近を前記搭乗者に示す報知の態様を変化させる請求項1に記載の車両制御装置。
  10.  前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記一般道路を走行する前記自車両に前記緊急車両が接近した場合に前記緊急車両の接近を前記搭乗者に示す報知の強度を、前記特定道路を走行する前記自車両に前記緊急車両が接近した場合に前記緊急車両の接近を前記搭乗者に示す報知の強度よりも高くする請求項9に記載の車両制御装置。
  11.  前記接近把握部は、前記緊急車両に対応する対応走行制御にて前記自車両が一時停止するか否かを把握し、
     前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記自車両を一時停止させる前記対応走行制御が行われる場合と、前記自車両を一時停止させない前記対応走行制御が行われる場合とで、前記緊急車両の接近を前記搭乗者に示す報知の態様を変化させる請求項1に記載の車両制御装置。
  12.  前記報知実施部は、前記搭乗者が前記睡眠状態にある状況において、前記自車両を一時停止させない前記対応走行制御が行われる場合に前記緊急車両の接近を前記搭乗者に示す報知の強度を、前記自車両を一時停止させる前記対応走行制御が行われる場合に前記緊急車両の接近を前記搭乗者に示す報知の強度よりも高くする請求項11に記載の車両制御装置。
  13.  前記報知実施部は、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両への対応に前記搭乗者による運転操作が必要となった場合、音声による前記覚醒報知を実施する請求項1に記載の車両制御装置。
  14.  前記自車両は、モビリティサービスを提供するサービス車両であり、
     前記状態把握部は、前記自動運転によって運行される前記サービス車両にオペレータが搭乗しているか否かを把握し、
     前記報知実施部は、
     前記オペレータが搭乗していない状況下、前記緊急車両が前記サービス車両に接近した場合、前記緊急車両の接近を音声及び表示の両方によって報知し、
     前記オペレータが搭乗している状況下、前記緊急車両が前記サービス車両に接近した場合、音声による報知を中止し、前記緊急車両の接近を表示によって報知する請求項1に記載の車両制御装置。
  15.  前記報知実施部は、前記緊急車両が前記自車両に接近した場合、前記自車両に搭載された車外ディスプレイ(45)を用いて、前記緊急車両が接近していることを車外へ向けて報知する請求項1に記載の車両制御装置。
  16.  前記接近把握部は、前記緊急車両が前記自車両と同一方向に走行しているか否かをさらに把握し、
     前記報知実施部は、前記緊急車両が前記同一方向に走行していることが把握された場合、前記車外ディスプレイによる車外報知に加えて、前記自車両のハザードランプ(44)の点滅作動を開始させる請求項15に記載の車両制御装置。
  17.  前記睡眠状態から覚醒状態に変化した前記搭乗者による手動運転の実施を禁止する操作制限部(S55)、をさらに備える請求項1に記載の車両制御装置。
  18.  運転席に着座する搭乗者の睡眠が許容される自動運転により走行可能な自車両(Am)において用いられる車両制御方法であって、
     前記自車両への緊急車両の接近を把握し(S11)、
     前記搭乗者が睡眠状態にあるか否かを把握し(S13,S14)、
     前記自動運転による自動走行期間にて、前記搭乗者が前記睡眠状態にある状況下、前記緊急車両が前記自車両に接近した場合、前記搭乗者に覚醒を促す覚醒報知を制限しつつ、前記緊急車両の接近を表示によって前記搭乗者に示す制限接近報知を実施する(S15)、
     というステップを、少なくとも1つの処理部(11)にて実施される処理に含む車両制御方法。
PCT/JP2025/005359 2024-03-06 2025-02-18 車両制御装置及び車両制御方法 Pending WO2025187397A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-034386 2024-03-06
JP2024034386 2024-03-06

Publications (2)

Publication Number Publication Date
WO2025187397A1 true WO2025187397A1 (ja) 2025-09-12
WO2025187397A8 WO2025187397A8 (ja) 2025-10-02

Family

ID=96990510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/005359 Pending WO2025187397A1 (ja) 2024-03-06 2025-02-18 車両制御装置及び車両制御方法

Country Status (1)

Country Link
WO (1) WO2025187397A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151208A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 自動運転支援装置、方法及びプログラム
JP2020035230A (ja) * 2018-08-30 2020-03-05 三菱自動車工業株式会社 車両の表示システム及びそれを搭載した車両
JP2021196744A (ja) * 2020-06-11 2021-12-27 株式会社デンソー 画像処理装置
JP2022077758A (ja) * 2020-11-12 2022-05-24 本田技研工業株式会社 車両制御装置
JP2023058413A (ja) * 2021-10-13 2023-04-25 株式会社デンソー 自動運行装置、通知制御装置、通知制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018151208A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 自動運転支援装置、方法及びプログラム
JP2020035230A (ja) * 2018-08-30 2020-03-05 三菱自動車工業株式会社 車両の表示システム及びそれを搭載した車両
JP2021196744A (ja) * 2020-06-11 2021-12-27 株式会社デンソー 画像処理装置
JP2022077758A (ja) * 2020-11-12 2022-05-24 本田技研工業株式会社 車両制御装置
JP2023058413A (ja) * 2021-10-13 2023-04-25 株式会社デンソー 自動運行装置、通知制御装置、通知制御方法

Also Published As

Publication number Publication date
WO2025187397A8 (ja) 2025-10-02

Similar Documents

Publication Publication Date Title
JP7721618B2 (ja) 車両制御装置及び車両制御方法
JP7024806B2 (ja) 情報提示装置
JP6519435B2 (ja) 報知管理装置及び報知管理方法
JP2020091790A (ja) 自動運転システム
US10906550B2 (en) Vehicle control apparatus
CN107848538A (zh) 车辆的自动驾驶系统
WO2016157883A1 (ja) 走行制御装置及び走行制御方法
JP6856086B2 (ja) 報知管理装置及び報知管理プログラム
JP2018005797A (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JP7567821B2 (ja) 自動運行装置、通知制御装置、通知制御方法
US20240409113A1 (en) Vehicle control device and vehicle control method
CN115349144A (zh) 提示控制装置以及提示控制程序
JP7647810B2 (ja) 提示制御装置及び提示制御プログラム
JP7605202B2 (ja) 自動運転制御装置、及び自動運転制御プログラム
US20240253658A1 (en) Automated operation device, notification control device, and notification control method
JP7722529B2 (ja) 自動運転制御装置及び自動運転制御プログラム
JP2019008468A (ja) 覚醒維持装置
JP2024153878A (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
JP7670009B2 (ja) 車両用制御装置及び車両用制御方法
WO2025187397A1 (ja) 車両制御装置及び車両制御方法
JP7637238B2 (ja) 変化した周辺環境に対して検知および警告する方法
JP2018165086A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
JP7334768B2 (ja) 提示制御装置及び提示制御プログラム
JP7567758B2 (ja) 自動運転制御装置、及び自動運転制御プログラム
WO2025115449A1 (ja) 提示制御装置、提示制御方法、自動運転制御装置、及び自動運転制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25767981

Country of ref document: EP

Kind code of ref document: A1