[go: up one dir, main page]

WO2025022997A1 - 信号処理装置、および信号処理方法、並びに信号処理システム - Google Patents

信号処理装置、および信号処理方法、並びに信号処理システム Download PDF

Info

Publication number
WO2025022997A1
WO2025022997A1 PCT/JP2024/024709 JP2024024709W WO2025022997A1 WO 2025022997 A1 WO2025022997 A1 WO 2025022997A1 JP 2024024709 W JP2024024709 W JP 2024024709W WO 2025022997 A1 WO2025022997 A1 WO 2025022997A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
display
display image
delay time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/024709
Other languages
English (en)
French (fr)
Inventor
真秀 伊藤
誠史 友永
哲博 内田
孝至 高松
裕也 高山
光祐 吉富
毅 籠谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2025022997A1 publication Critical patent/WO2025022997A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and a signal processing system, and in particular to a signal processing device, a signal processing method, and a signal processing system that, when operating a vehicle from a remote location, enables safe remote operation by appropriately displaying information about the surroundings of the vehicle transmitted from the vehicle while taking into account communication delay times.
  • the vehicle's own position is sensed in the vehicle, and the vehicle position information obtained as a result of the sensing is transmitted to an operating terminal operated by a driver in a remote location.
  • the vehicle's position information transmitted from the vehicle is received and displayed on the operation terminal, and the driver inputs steering information based on the displayed vehicle position information, which is then transmitted to the vehicle.
  • the steering information transmitted from the operating terminal is received and the vehicle is driven based on the received steering information, thereby achieving remote control.
  • the vehicle's own position information presented to the driver is position information from the past by the amount of the delay time, which could lead to a decrease in operability.
  • a technology has been proposed that estimates the current position of the vehicle being operated from the vehicle's own position information up until just before and the delay time related to communication, taking into account movement during the delay time, and displays the position by superimposing it on the transmitted own vehicle position information (see Patent Document 1).
  • This disclosure has been made in light of these circumstances, and in particular, when operating a vehicle from a remote location, makes it possible to appropriately present position information of the vehicle and surrounding objects transmitted from the vehicle, taking into account communication-related delay times.
  • a signal processing device and a signal processing system are a signal processing device and a signal processing system that include a prediction unit that predicts the current position of a surrounding object, which is an object present around a moving body, based on information about the surrounding object received through communication with the moving body and taking into account the delay time associated with the communication.
  • a signal processing method is a signal processing method including a step of predicting the current position of a surrounding object, which is an object present around a moving body, based on information about the surrounding object received through communication with the moving body, taking into account a delay time associated with the communication.
  • the current position of a surrounding object which is an object present around a moving body, is predicted based on information about the surrounding object received through communication with the moving body, taking into account the delay time associated with the communication.
  • FIG. 1 is a diagram illustrating an overview of the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of a first embodiment of a remote control system according to the present disclosure.
  • 3 is a diagram illustrating an example of the configuration of an operator terminal in FIG. 2 .
  • FIG. 2 is a diagram illustrating vehicle position information.
  • FIG. 3 is a diagram illustrating an example of the configuration of the vehicle shown in FIG. 2 .
  • FIG. 4 is a diagram illustrating a method for displaying the host vehicle.
  • FIG. 13 is a diagram illustrating a method for displaying nearby vehicles.
  • 10A and 10B are diagrams illustrating a method of displaying nearby vehicles for each method of displaying the host vehicle.
  • 11A and 11B are diagrams illustrating a display method that allows a driver to recognize that a nearby vehicle is decelerating.
  • 3 is a flowchart illustrating a remote operation control process performed by the remote operation system of FIG. 2 .
  • 11 is a flowchart illustrating the vehicle position prediction process of FIG. 10.
  • FIG. 2 is a diagram illustrating a method for predicting a vehicle position.
  • 11 is a flowchart illustrating the vehicle position display method determination process of FIG. 10.
  • 14 is a flowchart illustrating the display viewpoint determination process of FIG. 13.
  • 14 is a flowchart illustrating the display information determination process of FIG. 13.
  • 11 is a flowchart illustrating the peripheral object prediction process of FIG. 10 .
  • 11 is a flowchart illustrating the peripheral object display method determination process of FIG.
  • FIG. 13 is a diagram for explaining an application example of a bird's-eye view.
  • 20 is a flowchart illustrating a display viewpoint determination process in a case where the application example of the bird's-eye view in FIG. 18 is used.
  • 11A and 11B are diagrams illustrating an example of a case where a warning display is provided in the surrounding object display method.
  • 21 is a flowchart illustrating a peripheral object display method determination process in the case of performing the warning display in FIG. 20 .
  • 11 is a flowchart illustrating a peripheral object display method decision process in a case where a delay time element is used for judgment.
  • 11A and 11B are diagrams illustrating an application example of a method for displaying a host vehicle.
  • FIG. 13 is a diagram illustrating a configuration example of a second embodiment of a remote control system according to the present disclosure. 28 is a flowchart illustrating a remote operation control process performed by the remote operation system of FIG. 27. FIG. 13 is a diagram illustrating a configuration example of a modified example of the second embodiment of the remote control system of the present disclosure. 30 is a flowchart illustrating a remote control process performed by the remote control system of FIG. 29.
  • FIG. 30 is a diagram illustrating an application example of a warning display using V2X communication in the remote control system of FIG. 29 .
  • FIG. 1 is a diagram illustrating an example of the configuration of a general-purpose computer.
  • the present disclosure is directed to, in particular, providing a method for displaying information about the surroundings of a vehicle, the surroundings of the vehicle, in consideration of communication delays, when the vehicle is operated from a remote location.
  • vehicle 1 is remotely controlled by an operation terminal 2 operated by a driver in a remote location, as shown in the upper part of Figure 1.
  • vehicle 1 captures images of the surroundings using a camera or the like and transmits these images to operation terminal 2 as vehicle surroundings information.
  • the operation terminal 2 acquires the vehicle surroundings information transmitted from the vehicle 1, an image of the surroundings of the vehicle 1 contained in the vehicle surroundings information is presented to the driver.
  • the driver refers to the image of the surroundings of the vehicle 1 presented on the operation terminal and inputs vehicle steering information for steering the vehicle 1.
  • the operation terminal 2 transmits the vehicle steering information input by the driver to the vehicle 1.
  • the vehicle 1 When the vehicle 1 receives vehicle steering information from the operation terminal 2, it drives based on the received vehicle steering information. Through this series of processes, a driver in a remote location can operate the operation terminal 2 to remotely control the vehicle 1.
  • image VL shown in the upper left part of FIG. 1 is presented on the operation terminal 2, for example, image VC shown in the upper right part of FIG. 1 is being captured.
  • the oncoming vehicle CL was at the back of the crosswalk PC when the image VL was captured, but the oncoming vehicle CL moves forward by the delay time that occurs during transmission from the vehicle 1 to the operation terminal 2. Therefore, at the time when the image VL is presented, the oncoming vehicle CL has actually moved onto the crosswalk PC, as shown in the image VC.
  • delays would reduce operability for the driver, and because steering information would be input based on oncoming vehicles or pedestrians that were actually in different positions, there was a risk of contact with oncoming vehicles or nearby pedestrians, reducing safety.
  • the position of an oncoming vehicle that has moved by the delay time is estimated based on past vehicle surroundings information, and the estimated result is superimposed on the display, allowing the actual position of the oncoming vehicle at the time the vehicle surroundings information is presented to be recognized.
  • the driver can recognize the position of the oncoming vehicle at the current timing, taking into account the communication delay, simply by viewing the image VF presented as the vehicle surroundings information, thereby improving operability and safety in remote control.
  • the remote control system 11 in FIG. 2 is composed of operator terminals 32-1 to 32-n, which are operated by operators 31-1 to 31-n, respectively, who are the drivers, a network 33, and vehicles 34-1 to 34-m.
  • Vehicle 34 is assumed to be remotely controlled based on steering information supplied from operator terminal 32, but it may also be a vehicle that can be directly controlled by a driver with a driver on board, or a vehicle that can be fully autonomous, and is in a remotely controlled mode.
  • the vehicle 34 acquires information on its own vehicle position, steering angle, speed, and surrounding objects, and transmits this information as vehicle information to the operator terminal 32 via the network.
  • Vehicle information is information used to estimate the current position of the vehicle and surrounding objects, taking into account delay times related to communication with the operator terminal 32. Of these, information on the vehicle's position, steering angle, and speed at the time the vehicle information is acquired is required to estimate the vehicle's current position.
  • Information about surrounding objects may include, for example, images of the area around the vehicle 34 captured by a camera or the like, or distance images captured by a depth sensor or the like.
  • information about surrounding objects is information that allows the positions and distances of objects around the vehicle 34 to be recognized.
  • information about surrounding objects may include not only images and distance images captured by a camera, but also sensing results from an ultrasonic sensor, radar, etc.
  • the operator terminal 32 When the operator terminal 32 receives vehicle information sent from the vehicle 34 via the network 33, it measures the delay time associated with communication between itself and the vehicle 34.
  • the operator terminal 32 estimates the position of the vehicle 34 and objects around the vehicle 34 based on the vehicle information and delay time, and generates a display image of the surroundings of the vehicle 34 to be used for remote control, for example by superimposing the estimation result on the original position information that does not take into account the delay contained in the vehicle information, and presents it to the operator 31.
  • the operator terminal 32 switches the presentation method based on the delay time and presents information about the vehicle and its surroundings to the operator 31.
  • the display image of the surroundings of the vehicle 34 used for remote control is intended to be displayed on a display device constituting the operator terminal 32 such as a display, and is an image that can be seen when the operator 31 sits in the driver's seat of the vehicle 34, but is not limited to this.
  • the display image of the surroundings of the vehicle 34 used for remote control may be displayed, for example, on a head mounted display (HMD), and the operator 31 may wear the HMD and the display image may be switched in response to changes in the line of sight.
  • HMD head mounted display
  • the operator 31 inputs steering information for operating the vehicle 34 based on the display image required for remote operation presented on the operator terminal 32.
  • the operator terminal 32 transmits the steering information input by the operator 31 to the vehicle 34 via the network 33.
  • the vehicle 34 When the vehicle 34 receives steering information transmitted by the operator terminal 32 via the network 33, it controls the vehicle's travel based on the received steering information.
  • the operator terminal 32 can be equipped with various types of operation input units.
  • operation input unit 32a is configured with a keyboard and mouse.
  • operation input unit 32b is configured with a steering wheel.
  • operation input unit 32c is configured with a touch panel that also functions as a display unit.
  • the operation input units 32a to 32c are merely examples and may have other configurations as long as they can be operated by the operator 31 and can input steering information.
  • the vehicles 34-1 to 34-m that are the targets of operation of the operator terminals 32-1 to 32-n, respectively, do not necessarily have to be in a one-to-one relationship, and one operator terminal 32 may remotely control the vehicle 34 that is the target of operation by switching between them.
  • the display image presented to the operator 31 is switched according to the delay time related to communication, and the position of the vehicle 34 is estimated taking into account the delay time related to communication, and the estimated result is superimposed and displayed.
  • the operator 31 can visually recognize the effects of delays in communication, which improves operability and safety during remote control.
  • the operator terminal 32 is a terminal device consisting of a computer that runs on an OS (Operating System) such as Windows (registered trademark)/iOS (registered trademark)/Linux (registered trademark)/android (registered trademark), and is composed of a control unit 51, an input unit 52, an output unit 53, a memory unit 54, a communication unit 55, a drive 56, and a removable storage medium 57, which are interconnected via a bus 58 and can transmit and receive data and programs.
  • OS Operating System
  • the control unit 51 is composed of a processor and a memory, and controls the overall operation of the operator terminal 32.
  • the control unit 51 also includes a steering information acquisition unit 71, a delay time acquisition unit 72, a vehicle information acquisition unit 73, a current position prediction unit 74, a display image creation unit 75, and a steering information supply unit 76.
  • the steering information acquisition unit 71 acquires the operation contents when the operator 31 operates the input unit 52 to input steering information.
  • the input unit 52 corresponds to the operation input units 32a to 32c in FIG. 2.
  • the delay time acquisition unit 72 measures and acquires a delay time according to the state of the network 33 by comparing the time information attached when the vehicle information transmitted from the vehicle 34 is transmitted with the current time information.
  • this time information may be, for example, time information obtained from satellite waves used to acquire location information.
  • the vehicle information acquisition unit 73 controls the communication unit 55 to receive vehicle information sent from the vehicles 34, and stores the self-position information of each vehicle 34 contained in the vehicle information and the position information of vehicles and pedestrians around the vehicle 34 estimated based on the surrounding object information in association with time information in the position information storage unit 92.
  • the information stored in the location information storage unit 92 is, for example, information as shown in FIG. 4, and includes an ID that individually identifies the target vehicle or pedestrian, the type, the measurement time, and x, y, z, and yaw information that constitute location information.
  • the type is a classification of vehicles or pedestrians, such as the subject vehicle, medium-sized vehicle, large vehicle, motorcycle, bicycle, and pedestrian.
  • the subject vehicle is the vehicle 34 that transmitted the vehicle information, and the others are classifications of vehicles and pedestrians detected as surrounding object information.
  • the vehicle information acquisition unit 73 may classify the captured image using semantic segmentation processing, or may use a trained DNN (Deep Neural Network), etc.
  • DNN Deep Neural Network
  • other information may be added to the information stored in the position information storage unit 92. For example, roll and pitch information may be added in addition to yaw as posture information.
  • the current position prediction unit 74 reads out the prediction method stored in the prediction method memory unit 91 stored in the memory unit 54, and predicts the current position of the vehicle based on the steering angle, speed, and self-position information transmitted as vehicle information.
  • the prediction method stored in the prediction method memory unit 91 is, for example, an arithmetic formula or program that makes it possible to estimate the position when the steering angle, speed, self-position information, etc. are input.
  • the current position prediction unit 74 also predicts the current position based on information on the positions of vehicles and pedestrians around the vehicle 34 for multiple frames, which is stored in the position information storage unit 92 in association with time information.
  • the display image creation unit 75 generates a display image to be presented to the operator 31 based on the vehicle information acquired by the vehicle information acquisition unit 73, and outputs and displays the image on the display unit 81 of the output unit 53.
  • the display image creation unit 75 switches the display method and generates the display image according to the delay time.
  • the steering information supply unit 76 controls the communication unit 55 to transmit the steering information acquired by the steering information acquisition unit 71 to the vehicle 34 to be operated, and supplies it.
  • the input unit 52 is made up of input devices such as a keyboard, mouse, steering wheel, and touch panel through which the operator 31 inputs steering information, and supplies various signals corresponding to the input steering information to the control unit 51.
  • the output unit 53 is controlled by the control unit 51, and includes a display unit 81 and an audio output unit 82.
  • the display unit 81 is a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence), and displays the display image created by the display image creation unit 75 and various processing results.
  • the audio output unit 82 is an audio output device such as a speaker, and outputs various voices, music, sound effects, and the like as audio.
  • the memory unit 54 is composed of a hard disk drive (HDD), a solid state drive (SSD), or a semiconductor memory, and is controlled by the control unit 51 to write and read various data and programs.
  • the memory unit 54 includes a prediction method memory unit 91 and a position information accumulation unit 92.
  • the communication unit 55 is controlled by the control unit 51 and realizes wired or wireless communication such as LAN (Local Area Network) or Bluetooth (registered trademark), and transmits and receives various data and programs to and from the vehicle 34 via the network 33 as necessary.
  • LAN Local Area Network
  • Bluetooth registered trademark
  • the drive 56 reads and writes data to a removable storage medium 57 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • a removable storage medium 57 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • the vehicle 34 includes a vehicle control ECU (Electronic Control Unit) 111, a communication unit 112, a map information storage unit 113, a location information acquisition unit 114, an external recognition sensor 115, an in-vehicle sensor 116, a vehicle sensor 117, a memory unit 118, a driving control unit 119, a DMS (Driver Monitoring System) 120, an HMI (Human Machine Interface) 121, and a vehicle control unit 122.
  • the vehicle control ECU 111, communication unit 112, map information storage unit 113, position information acquisition unit 114, external recognition sensor 115, in-vehicle sensor 116, vehicle sensor 117, memory unit 118, driving control unit 119, DMS 120, HMI 121, and vehicle control unit 122 are connected to each other so as to be able to communicate with each other via a communication network 123.
  • the communication network 123 is composed of an in-vehicle communication network or bus that conforms to digital two-way communication standards such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark), for example.
  • the vehicle control ECU 111 is composed of various processors, such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 111 controls the entire or some of the functions of the vehicle 34.
  • the communication unit 112 communicates with the operator terminal 32, various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 112 can communicate using multiple communication methods.
  • the communication unit 112 communicates with servers (hereinafter referred to as external servers) on an external network via base stations or access points using wireless communication methods such as 5G (fifth generation mobile communication system), LTE (Long Term Evolution), and DSRC (Dedicated Short Range Communications).
  • the external network with which the communication unit 112 communicates is, for example, the Internet, a cloud network, or an operator-specific network.
  • the communication method that the communication unit 112 uses with the external network is not particularly limited as long as it is a wireless communication method that allows digital two-way communication at a communication speed equal to or higher than a specified distance.
  • the communication unit 112 can communicate with a terminal present in the vicinity of the vehicle using P2P (Peer To Peer) technology.
  • the terminal present in the vicinity of the vehicle can be, for example, a terminal attached to a mobile object moving at a relatively slow speed, such as a pedestrian or a bicycle, a terminal installed at a fixed position in a store, or an MTC (Machine Type Communication) terminal.
  • the communication unit 112 can also perform V2X communication.
  • V2X communication refers to communication between the vehicle and others, such as vehicle-to-vehicle (V2V: Vehicle to Vehicle) communication with another vehicle, vehicle-to-infrastructure (V2I: Vehicle to Infrastructure) communication with a roadside unit, communication with a home (V2H: Vehicle to Home), and vehicle-to-pedestrian (V2P: Vehicle to Pedestrian) communication with a terminal carried by a pedestrian, etc.
  • V2V Vehicle to Vehicle
  • V2I Vehicle to Infrastructure
  • V2H Vehicle to Home
  • V2P Vehicle to Pedestrian
  • the communication unit 112 can, for example, receive from the outside a program for updating the software that controls the operation of the remote control system 11 (over the air).
  • the communication unit 112 can further receive map information, traffic information, information about the surroundings of the vehicle 34, and the like from the outside.
  • the communication unit 112 can also transmit information about the vehicle 34 and information about the surroundings of the vehicle 34 to the outside.
  • Information about the vehicle 34 that the communication unit 112 transmits to the outside includes, for example, data indicating the status of the vehicle 34.
  • the communication unit 112 can also communicate in accordance with a vehicle emergency notification system such as e-Call.
  • the communication unit 112 receives electromagnetic waves transmitted by a road traffic information and communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as a radio beacon, optical beacon, or FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the map information storage unit 113 stores one or both of a map acquired from an external source and a map created by the vehicle 34.
  • the map information storage unit 113 stores a three-dimensional high-precision map, a global map that is less accurate than a high-precision map and covers a wide area, etc.
  • the location information acquisition unit 114 receives GNSS signals from Global Navigation Satellite System (GNSS) satellites and acquires location information of the vehicle 34.
  • the acquired location information is supplied to the driving control unit 119.
  • the location information acquisition unit 114 is not limited to a method using GNSS signals, and may acquire location information using a beacon, for example.
  • the external recognition sensor 115 includes various sensors used to recognize the situation outside the vehicle 34, and supplies sensor data from each sensor to each part of the vehicle 34.
  • the type and number of sensors included in the external recognition sensor 115 are optional.
  • the external recognition sensor 115 includes a camera 131, a radar 132, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 133, and an ultrasonic sensor 134.
  • the external recognition sensor 115 may be configured to include one or more types of sensors among the camera 131, the radar 511, the LiDAR 133, and the ultrasonic sensor 134. Note that as long as the sensor can measure the distance to surrounding vehicles and pedestrians, it may be a sensor other than the LiDAR 133, such as a depth sensor or a stereo camera.
  • the in-vehicle sensor 116 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor. There are no particular limitations on the types and number of the various sensors included in the in-vehicle sensor 116, so long as they are of the types and number that can be realistically installed in the vehicle 34.
  • the vehicle sensor 117 includes various sensors for detecting the state of the vehicle 34, and supplies sensor data from each sensor. There are no particular limitations on the types and number of the various sensors included in the vehicle sensor 117, so long as they are of the types and number that can be realistically installed on the vehicle 34.
  • the vehicle sensor 117 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU) that integrates these.
  • the vehicle sensor 117 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of accelerator pedal operation, and a brake sensor that detects the amount of brake pedal operation.
  • the vehicle sensor 117 includes a rotation sensor that detects the number of rotations of the engine or motor, an air pressure sensor that detects the air pressure of the tires, a slip ratio sensor that detects the slip ratio of the tires, and a wheel speed sensor that detects the rotation speed of the wheels.
  • the vehicle sensor 117 includes a battery sensor that detects the remaining charge and temperature of the battery, and an impact sensor that detects external impacts.
  • the memory unit 118 includes at least one of a non-volatile storage medium and a volatile storage medium, and stores data and programs.
  • the memory unit 118 is used, for example, as an EEPROM (Electrically Erasable Programmable Read Only Memory) and a RAM (Random Access Memory), and the storage medium may be a magnetic storage device such as a hard disc drive (HDD), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the memory unit 118 stores various programs and data used by each part of the vehicle 34.
  • the driving control unit 119 controls the driving functions of the vehicle 34.
  • the driving control unit 119 includes a steering control unit 141, a sensor information acquisition unit 142, and a vehicle information communication unit 143.
  • the steering control unit 141 controls the communication unit 112 to acquire steering information transmitted from the operator terminal 32, and based on the acquired steering information, controls the vehicle control unit 122 to control operations related to the traveling of the vehicle 34, such as steering, acceleration, deceleration, and stopping.
  • the sensor information acquisition unit 142 acquires the detection results acquired by the external recognition sensor 115, which enable the recognition of the positions and distances of other vehicles and pedestrians around the vehicle 34, as vehicle surroundings information.
  • the vehicle information communication unit 143 compiles vehicle information by compiling the vehicle's own position information acquired by the position information acquisition unit 114, surrounding object information acquired by the sensor information acquisition unit 142 that enables the position and distance of other vehicles and pedestrians to be recognized from the vehicle 34, and the steering angle and speed information of the vehicle detected by the vehicle sensor 117, and controls the communication unit 112 to transmit the information to the operator terminal 32.
  • the vehicle information may include information related to the vehicle body and specifications of the vehicle 34, such as the wheelbase length and tire diameter of the vehicle 34, which are necessary for predicting the vehicle's own position, as described below.
  • the DMS 120 performs processes such as authenticating the driver and recognizing the driver's state based on sensor data from the in-vehicle sensor 116 and input data input to the HMI 121 (described later). Examples of the driver's state to be recognized include physical condition, alertness, concentration, fatigue, line of sight, level of intoxication, driving operation, posture, etc.
  • the DMS 120 may also perform authentication processing for users other than the driver and recognition processing for the status of the users.
  • the DMS 120 may also perform recognition processing for the status inside the vehicle based on sensor data from the in-vehicle sensor 116. Examples of the status inside the vehicle that may be recognized include temperature, humidity, brightness, odor, etc.
  • HMI121 inputs various data and instructions, and displays various data to the user.
  • the vehicle control unit 122 controls each part of the vehicle 34.
  • the vehicle control unit 122 includes a steering control unit 151, a brake control unit 152, a drive control unit 153, a body control unit 154, a light control unit 155, and a horn control unit 156.
  • the steering control unit 151 detects and controls the state of the steering system of the vehicle 34.
  • the brake control unit 152 detects and controls the state of the brake system of the vehicle 34.
  • the drive control unit 153 detects and controls the state of the drive system of the vehicle 34.
  • the drive system includes, for example, an accelerator pedal, a drive force generating device for generating drive force such as an internal combustion engine or a drive motor, and a drive force transmission mechanism for transmitting the drive force to the wheels.
  • the body system control unit 154 detects and controls the state of the body system of the vehicle 34.
  • the light control unit 155 detects and controls the state of various lights of the vehicle 34.
  • the horn control unit 156 detects and controls the state of the car horn of the vehicle 34.
  • the display method for the vehicle has two elements: the display viewpoint and the display information.
  • the display image creation unit 75 creates a display image showing the vehicle by switching between the display viewpoint and the display information according to the delay time.
  • Figure 6 shows an example of a display image that is generated by switching the display viewpoint and display information to change the display method.
  • a bird's-eye view is a display method that looks down on the vehicle and surrounding vehicles and pedestrians. It is a display image that depicts the predicted positions of the vehicle and surrounding vehicles and pedestrians on a two-dimensional map that is also used in general car navigation systems, and is a display viewpoint that imposes the lightest processing load on the generation of the display image.
  • the third-person perspective view is a display image that depicts the predicted positions of the vehicle and surrounding vehicles and pedestrians from a third-person perspective within an image captured by camera 131 included in the vehicle information, and is a display perspective that imposes a heavier processing load on the generation of the display image than a bird's-eye view.
  • the first-person perspective view is a display image that depicts the predicted positions of surrounding vehicles and pedestrians on a CG (Computer Graphics) image based on 3D map information, which corresponds to an image captured by camera 131 from the viewpoint of a passenger in vehicle 34, and is a display viewpoint that imposes a heavier processing load on the generation of the display image than a third-person perspective view.
  • CG Computer Graphics
  • the first-person perspective view is a CG image that reproduces an image captured by camera 131 mounted on the vehicle when no delay occurs. For this reason, the cognitive load and learning cost are low when generating a display image made from a first-person perspective view, but 3D map information of the area to be traveled is required in advance. Also, because the first-person perspective view is a CG image that reproduces an image captured by camera 131 mounted on the vehicle when no delay occurs, the vehicle itself is not displayed, as it is an image that is expected to be seen when boarding the vehicle.
  • the displayed image will show only the predicted position along with the recognized self-position as a two-dimensional shape such as a circle or square.
  • the vehicle's angle and tire angle can be made clear by adding a tail to a circle attached to the predicted position, or by displaying it as a cube. This makes it easier to perform steering operations such as changing lanes and turning right or left.
  • the route that is expected to be traveled is drawn in addition to the predicted location.
  • the display viewpoint is a bird's-eye view and the display information is an image showing position only
  • a nearby vehicle a motorcycle
  • the display information is an image showing position only
  • a nearby vehicle a motorcycle
  • the vehicle's own position based on the vehicle information is represented by a light gray circle mark on the lower part of the right lane.
  • the current self-position predicted based on the vehicle's own position and delay time from the vehicle information is represented by a dark gray circle mark on the upper part.
  • a nearby vehicle is represented by a square mark in the lane on the left side of the figure.
  • the vehicle's own position based on the vehicle information is represented by a light gray circle mark on the lower side of the right side lane.
  • the vehicle's own position predicted based on the vehicle information's own position and delay time is represented by a dark gray circle mark on the upper side, and the vehicle's angle is represented by the direction of the convex part.
  • a nearby vehicle, a motorcycle is represented by a square mark in the lane on the left side of the figure.
  • the position based on the vehicle's self-position information is represented by a light gray circle mark on the lower part of the right lane.
  • the predicted self-position based on the vehicle information's self-position and delay time is represented by a dark gray circle mark on the upper part, and the route is represented by a curved line on the right lane.
  • a motorcycle is displayed as a nearby vehicle in the left lane in the image captured by camera 131.
  • a grey circle mark in the right lane represents the vehicle's own position predicted based on the vehicle's own position and delay time from the vehicle information.
  • a motorcycle is displayed as a nearby vehicle in the left lane in the image captured by camera 131.
  • a box-shaped mark in the right lane represents the vehicle's own position predicted based on the vehicle's own position and delay time from the vehicle information.
  • a motorcycle is displayed as a nearby vehicle in the left lane in the image captured by camera 131.
  • a circle mark in the right lane represents the vehicle's own position predicted based on the vehicle's own position and delay time in the vehicle information, and the curved line on the right lane represents the route.
  • a motorcycle is displayed as a nearby vehicle in the left lane on a CG image generated based on 3D map information, which corresponds to an image captured by camera 131.
  • a motorcycle is displayed in the left lane in the figure on a CG image generated based on 3D map information, which corresponds to an image captured by camera 131, and the vehicle body angle is represented by a circle mark and an arrow in the right lane.
  • a CG image generated based on 3D map information which corresponds to an image captured by camera 131, shows a bike in the lane on the left side of the figure, and the route is represented by the curve of the lane on the right side.
  • the display viewpoints that have the heaviest processing load are first-person view, third-person view, and bird's-eye view. Therefore, basically, the longer the delay time, the lighter the processing load of the display viewpoint that is selected.
  • the display information is selected according to visibility. For example, when there are few surrounding vehicles, there is little to display superimposed, so the route is selected as the display information. Also, when there are a certain number of surrounding vehicles, such as long straight stretches, it is thought that there will be little change in the vehicle body, so only the position is selected as the display information, and in all other cases, the vehicle body angle is selected as the display method.
  • the positions of surrounding objects are predicted based on accumulated position information, so they are not absolute position information.
  • the positions of surrounding objects such as nearby vehicles and pedestrians are predicted results, and are not absolute positions, but the range in which they may be present is explicitly displayed.
  • the superimposed display of the predicted position is, for example, a display that shows the predicted position as a pinpoint on the displayed image, such as the display images (1-1) and (1-2) in FIG. 7.
  • the predicted position is represented by a circle mark in the third-person perspective camera image.
  • the predicted position is drawn as a box-shaped mark on the CG image of the first-person perspective, but if it overlaps with the target object on the camera image of the third-person perspective, the box-shaped mark is displayed so that it does not overlap with the target object.
  • the area display of the predicted position does not pinpoint the prediction result, but instead depicts the range in which the target object may exist as an area.
  • area display increases safety by allowing a wider view of the prediction result, if there are many target objects, the displays will overlap, making it difficult to identify them individually.
  • the target object is displayed in a box or similar that surrounds the entire area in which it may exist.
  • the target object image may be clipped and enlarged to depict the area.
  • the target object is drawn with a gradation effect according to the probability of its existence. In addition to applying the effect to the entire target object, it may also be drawn so that it is superimposed on the road surface.
  • the image of the target object is clipped and drawn at the predicted position, then superimposed.
  • the dotted ellipse and arrow in the display image (3-1) are not displayed on the display image; the dotted ellipse represents the original position of the target object (motorcycle image) before it was clipped, and the arrow represents the distance and direction that the clipped image has been moved.
  • the display method that has the heaviest load for generating the display image is the display of only the predicted position, the area display, and the superimposed display of the predicted position. Basically, the longer the delay time, the lower the processing load of the display method that is selected.
  • the predicted range is superimposed and displayed as a semi-transparent box at the position where the surrounding vehicle, the motorcycle, is drawn, just like in the first-person perspective view.
  • the image displayed on the right side of Figure 8 shows an example in which the predicted range is superimposed in a semi-transparent box at the position where the surrounding vehicle, a motorcycle, is drawn in the first-person perspective view.
  • the vehicle will need to decelerate early if it is traveling behind the object.
  • the nearby object may be displayed so that the deceleration can be recognized.
  • a box-shaped mark indicating the predicted position behind the surrounding object may be superimposed.
  • a box-shaped mark that extends backwards and includes surrounding objects may be displayed in a superimposed manner.
  • the image of the surrounding object may be clipped and shifted backward.
  • the image of the motorcycle, which is the surrounding object is clipped from the position of the dotted line part of the circle mark and is displayed shifted toward the vehicle, which is represented by the arrow, and the dotted line part and arrow are not actually displayed.
  • step S31 the sensor information acquisition unit 142 acquires detection results acquired by the external recognition sensor 115 that enable recognition of the positions and distances of other vehicles and pedestrians around the vehicle 34. That is, the sensor information acquisition unit 142 acquires, as surrounding object information, camera images that capture the surroundings and distance images that enable recognition of the distances to surrounding objects.
  • step S32 the sensor information acquisition unit 142 acquires the vehicle's position information from the position information acquisition unit 114.
  • step S33 the sensor information acquisition unit 142 acquires information on the steering angle (steering angle) and speed of the vehicle detected by the vehicle sensor 117.
  • step S34 the vehicle information communication unit 143 compiles the vehicle's position information acquired by the position information acquisition unit 114, surrounding object information consisting of sensing results acquired by the sensor information acquisition unit 142 that enable the position and distance of other vehicles and pedestrians to be recognized by the vehicle 34, and the steering angle (steering angle) and speed information of the vehicle detected by the vehicle sensor 117, to form vehicle information, and controls the communication unit 112 to transmit the vehicle information to the operator terminal 32.
  • the vehicle information communication unit 143 controls the communication unit 112 to transmit the vehicle information together with information identifying the vehicle 34 and time information indicating the transmission timing.
  • step S51 the vehicle information acquisition unit 73 controls the communication unit 55 to acquire vehicle information transmitted from the vehicle 34.
  • the vehicle information acquisition unit 73 associates the vehicle information with the time information at the time when the vehicle information is acquired.
  • step S52 the delay time acquisition unit 72 measures the delay time related to the communication between the vehicle 34 and the operator terminal 32 from the difference between the time information indicating the transmission timing that is assigned to the vehicle information acquired by the vehicle information acquisition unit 73 and the time information at which the vehicle information was received that is stored in association with the vehicle information, and acquires the measured delay time.
  • step S53 the current position prediction unit 74 executes a vehicle position prediction process based on the acquired vehicle information to predict the vehicle position of the vehicle 34 that transmitted the vehicle information.
  • step S54 the display image creation unit 75 executes a vehicle position display method determination process based on the delay time to determine the vehicle position display method.
  • step S55 the current position prediction unit 74 executes a surrounding object prediction process based on the vehicle information, and predicts the positions of vehicles and pedestrians around the vehicle 34 that sent the vehicle information.
  • step S56 the display image creation unit 75 executes a surrounding object display method determination process based on the delay time, and determines the surrounding object display method.
  • peripheral object display method determination process will be described in detail later with reference to FIG. 17.
  • step S57 the display image creation unit 75 displays the vehicle position using the vehicle position display method determined by the vehicle position display method determination process, generates a display image displaying surrounding objects using the surrounding object display method determined by the surrounding object display method determination process, and outputs the image to the display unit 81 for display.
  • the display unit 81 displays an image of the vehicle and its surrounding objects in a manner that takes communication delays into account, and at a predicted position that takes communication delays into account.
  • the operator 31 can operate the vehicle 34 while properly visually checking the positional relationship between the vehicle's own position and surrounding objects by viewing the display image displayed on the display unit 81 in a state in which the effects of communication delays have been reduced.
  • step S58 the steering information acquisition unit 71 acquires the steering information input by the operator 31 operating the input unit 52.
  • step S59 the steering information supply unit 76 controls the communication unit 55 to transmit the steering information acquired by the steering information acquisition unit 71 and input by the operator operating the input unit 52 to the vehicle 34.
  • step S35 the steering control unit 141 controls the communication unit 112 to obtain the steering information transmitted from the operator terminal 32.
  • step S36 the steering control unit 141 controls the vehicle control unit 122 based on the steering information to control the traveling of the vehicle 34.
  • steps S37 and S60 it is determined whether or not an instruction to end the process has been given. If an instruction to end the process has not been given, the process returns to steps S31 and S51, respectively, and the subsequent steps are repeated.
  • steps S37 and S60 when an instruction to end the process is given, the process ends.
  • the above series of processes makes it possible to display on the display unit 81 of the operator terminal 32, based on the vehicle information from the vehicle 34, a display image of the vehicle and its surrounding objects in a display method according to the delay time related to communication, and at a predicted position according to the delay time related to communication.
  • step S71 the current position prediction unit 74 obtains the steering angle S of the vehicle 34 in the vehicle information.
  • step S72 the current position prediction unit 74 obtains the speed V of the vehicle 34 from the vehicle information.
  • step S73 the current position prediction unit 74 acquires the delay time T acquired by the delay time acquisition unit 72.
  • step S74 the current position prediction unit 74 acquires the position information Pc in the vehicle information.
  • Pp Pc + f (S, V, T)
  • the current position of the vehicle 34 is predicted as shown in FIG. 12.
  • the position of the vehicle 34 at the time of transmitting the vehicle information is defined by the position information Pc(X,Z)
  • the steering angle S is in the X direction, which is the right direction in the figure, relative to the Z direction, which is the upward direction in the figure
  • X' and Z' in the predicted position Pp(X',Z') of the vehicle 34 at the current time are expressed by the following formulas (1) and (2), respectively.
  • R is the turning radius of the vehicle 34, and is expressed by the following equation (3).
  • W is the wheelbase length of the vehicle 34 and S is the steering angle.
  • ⁇ is the yaw angular velocity of the vehicle 34, and is expressed by the following equation (4):
  • the operator terminal 32 can estimate the distance traveled by the vehicle 34 during the communication delay time based on the position information in the vehicle information, and predict the current position.
  • Vehicle position display method determination process will be described with reference to the flowchart of Fig. 13. As described above, the vehicle position display method requires the determination of two elements, the display viewpoint and the display information.
  • step S91 the display image creation unit 75 executes a display viewpoint determination process to determine the display viewpoint.
  • step S92 the display image creation unit 75 executes a display information determination process to determine the display information.
  • the display viewpoint and display information are determined by the above process, and as shown in Figure 6, the display viewpoint is determined to be either a bird's-eye view, a third-person view, or a first-person view. Furthermore, the display information is determined to be either the position only, the vehicle angle, or the route, and the display method for the display image is specified.
  • step S111 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time N1.
  • step S111 If it is determined in step S111 that the delay time T is equal to or greater than the predetermined time N1, processing proceeds to step S112.
  • step S112 the display image creation unit 75 determines the display viewpoint to be a bird's-eye view.
  • step S111 If it is determined in step S111 that the delay time T is not equal to or greater than the predetermined time N1, processing proceeds to step S113.
  • step S113 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time N2 ( ⁇ N1).
  • step S113 If it is determined in step S113 that the delay time T is equal to or greater than the predetermined time N2, processing proceeds to step S114.
  • step S114 the display image creation unit 75 determines the display viewpoint to be the third person perspective view.
  • step S113 If it is determined in step S113 that the delay time T is not equal to or greater than the predetermined time N2, processing proceeds to step S115.
  • step S115 the display image creation unit 75 determines whether or not there is a 3D map required to generate a first-person perspective view.
  • step S115 If it is determined in step S115 that a 3D map is required to generate a first-person perspective view, processing proceeds to step S116.
  • step S116 the display image creation unit 75 determines the display viewpoint to be the first person perspective view.
  • step S115 If it is determined in step S115 that there is no 3D map required to generate a first-person perspective view, the process proceeds to step S114, where the display perspective is determined to be a third-person perspective view.
  • a display viewpoint that can generate a display image with a small processing load for generating the display image is selected depending on the length of the delay time T.
  • the delay time T is longer than the longest predetermined time N1
  • the bird's-eye view that has the smallest processing load and is least likely to cause delays in generating the display image is selected.
  • a third-person view is selected, which imposes a greater processing load than a bird's-eye view but less than displaying a first-person view.
  • the delay time T is shorter than the predetermined time N2 and there is sufficient time to generate a first-person perspective view, and the 3D map information required for the first-person perspective view exists, a first-person perspective view that places a small visual burden on the operator 31 is selected.
  • the delay time T is shorter than the predetermined time N2 and there is enough time to generate a first-person perspective view, if the 3D map information required for the first-person perspective view does not exist, the third-person perspective view will be selected.
  • This type of processing makes it possible to determine an appropriate display viewpoint depending on the delay time T, the processing load required to generate the display image, and the presence or absence of 3D map information.
  • step S131 the display image creation unit 75 determines whether the number of vehicles surrounding the vehicle is less than a predetermined number based on the surrounding object information, for example, an image captured by a camera.
  • step S131 If it is determined in step S131 that the number of surrounding vehicles is less than the predetermined number, processing proceeds to step S132.
  • step S132 the display image creation unit 75 determines the route to the destination as the display information, since there are few nearby vehicles, multiple displays are displayed, there is little loss of visibility, and there is no need to be very conscious of the surroundings.
  • step S131 If it is determined in step S131 that the number of surrounding vehicles is not less than the predetermined number, processing proceeds to step S133.
  • step S133 the display image creation unit 75 determines whether the vehicle is traveling on a road with straight lines based on an image included in the surrounding object information, for example, an image captured by a camera.
  • step S133 If it is determined in step S133 that the vehicle is traveling on a road that is a straight line, the process proceeds to step S134.
  • step S134 the display image creation unit 75 determines only the position as display information, since even if there are a number of surrounding vehicles, as long as the vehicle is traveling on a road with a continuous straight line, the travel paths of the surrounding vehicles are unlikely to change significantly.
  • step S133 If it is determined in step S133 that the vehicle is not traveling on a road that is a continuous straight line, the process proceeds to step S135.
  • step S135 the display image creation unit 75 determines the vehicle body angle as the display information because, even if there are many surrounding vehicles, the vehicle is traveling on a road that is not a continuous straight line, and it is necessary to take into consideration that the driving paths of surrounding vehicles, etc., may change significantly.
  • the system determines whether the road on which the vehicle is traveling is straight or not. If the road is a series of straight lines, steering operations are expected to be rare, so only the position is displayed. In other cases, the vehicle angle is displayed to provide information that makes it easier to make decisions regarding steering operations.
  • step S151 the current position prediction unit 74 acquires the delay time T acquired by the delay time acquisition unit 72.
  • step S152 the current position prediction unit 74 acquires the position information of the vehicle based on the vehicle information.
  • step S153 the current position prediction unit 74 acquires sensing results acquired by the sensor information acquisition unit 142 included in the vehicle information, constituting surrounding object information that enables the positions and distances of other vehicles and pedestrians to be recognized from the vehicle 34.
  • step S154 the current position prediction unit 74 recognizes the objects around the vehicle individually based on the sensing results constituting the surrounding object information, and calculates the position information of each surrounding object with the vehicle as the origin.
  • step S155 the current position prediction unit 74 sets unprocessed surrounding objects of the host vehicle as objects to be processed.
  • step S156 the current position prediction unit 74 accesses the position information storage unit 92 and determines whether N frames of position information related to the object to be processed have been stored.
  • step S156 If it is determined in step S156 that position information relating to the object to be processed has been accumulated for N frames, processing proceeds to step S157.
  • step S157 the current position prediction unit 74 acquires N frames of position information related to the object to be processed that are stored in the position information storage unit 92.
  • step S158 the current position prediction unit 74 calculates the amount of movement for the delay time from the change in the time-series position information for N frames based on the position information for the object to be processed and the position information for the object to be processed calculated based on the surrounding object information of the acquired vehicle information, and predicts the current position of the object to be processed by adding the amount of movement to the position information for the object to be processed calculated based on the surrounding object information of the acquired vehicle information.
  • step S159 the current position prediction unit 74 stores the current position information, which is the predicted result of the object to be processed, in the position information storage unit 92 in association with the information that identifies the object to be processed.
  • step S156 If it is determined in step S156 that position information relating to the object to be processed has not been accumulated for N frames, steps S157 and S158 are skipped.
  • the position information recognized from the surrounding object information is stored in the position information storage unit 92 as the current position information of the object to be processed.
  • step S160 the current position prediction unit 74 determines whether or not there are any unprocessed surrounding objects, and if there are any unprocessed surrounding objects, the process returns to step S155.
  • steps S155 to S160 are repeated for all surrounding objects until the current positions are predicted and updated and registered in the position information storage unit 92, or until the position information of the surrounding object information is registered in the position information storage unit 92.
  • step S160 if it is determined that the current positions of all surrounding objects have been predicted and updated and registered in the position information accumulation unit 92, or if it is determined that the position information of the surrounding object information has been registered in the position information accumulation unit 92, the process ends.
  • the current positions of surrounding objects are predicted and stored in sequence, and the current positions are predicted based on the stored information. Therefore, each time the prediction is repeated, it becomes possible to predict the current positions of surrounding objects while improving the prediction accuracy.
  • step S171 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time M1.
  • step S171 If it is determined in step S171 that the delay time T is equal to or greater than the predetermined time M1, processing proceeds to step S172.
  • step S172 the display image creation unit 75 sets the display method that displays only the predicted positions as the surrounding object display method.
  • step S171 If it is determined in step S171 that the delay time T is not equal to or greater than the predetermined time M1, processing proceeds to step S173.
  • step S173 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time M2 ( ⁇ M1).
  • step S173 If it is determined in step S173 that the delay time T is equal to or greater than the predetermined time M2, processing proceeds to step S174.
  • step S174 the display image creation unit 75 sets the display method for displaying in the area to the surrounding object display method.
  • step S174 If it is determined in step S174 that the delay time T is not equal to or greater than the predetermined time M2, processing proceeds to step S175.
  • step S175 the display image creation unit 75 sets the display method for superimposing and displaying the predicted position as the surrounding object display method.
  • the delay time T is longer than the longest predetermined time M1
  • the above process will not ensure sufficient time to generate the display image, so only the predicted position, which has the lightest processing load and allows high-speed processing, will be used.
  • the delay time T is shorter than the specified time M1 but longer than the specified time M2 ( ⁇ M1), there is enough time to generate a display image of only the predicted position, but if there is not enough time to generate a display image that superimposes the predicted position, an area display is used.
  • the predicted position is superimposed and displayed.
  • the bird's-eye view may not only be displayed as 2D data, but may also be an illustrated bird's-eye view or a camera image bird's-eye view.
  • FIG. 18 shows examples of display images when an illustrated bird's-eye view and a camera image bird's-eye view are used as the display viewpoint.
  • the left part of FIG. 18 is a display image BV1 showing an example of an illustrated bird's-eye view
  • the right part of FIG. 18 is a display image BV2 showing an example of a camera image bird's-eye view.
  • Display image BV1 which is an illustrated bird's-eye view of Figure 18, is an example in which a vehicle straddling a lane from the left toward the bottom of the figure and a vehicle heading toward the top of the figure are illustrated.
  • Display image BV1 is drawn using illustrations, which makes it possible to reduce the amount of data required, thereby reducing the processing load related to generating and drawing the display image and shortening the processing time.
  • the display image BV2 which is a bird's-eye view of a camera image in FIG. 18, is a bird's-eye view of a camera image that shows the state of the vehicle as seen from directly above, a so-called around-view monitor image.
  • display image BV2 which is an illustrated bird's-eye view
  • display image BV2 which is a bird's-eye view of a camera image
  • the display image BV2 which is a bird's-eye view of a camera image, is an image in which the vehicle itself is always located at the center, and therefore the amount of data involved in communication can be made smaller than with a third-person perspective view.
  • steps S195 to S198 in the flowchart of FIG. 19 is similar to the processing in steps S113 to S116 described with reference to the flowchart of FIG. 14, and therefore will not be described here.
  • step S191 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time N0 (> T1).
  • step S191 If it is determined in step S191 that the delay time T is equal to or greater than the predetermined time N0 (> T1), the process proceeds to step S192.
  • step S192 the display image creation unit 75 determines the display viewpoint to be a bird's-eye view of the illustration.
  • step S191 If it is determined in step S191 that the delay time T is not equal to or greater than the predetermined time N0 (> T1), processing proceeds to step S193.
  • step S193 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time N1 ( ⁇ N0).
  • step S193 If it is determined in step S193 that the delay time T is equal to or greater than the predetermined time N1 ( ⁇ N0), the process proceeds to step S194.
  • step S194 the display image creation unit 75 determines the display viewpoint to be the bird's-eye view of the camera image.
  • step S193 If it is determined in step S193 that the delay time T is not equal to or greater than the predetermined time N1 ( ⁇ N0), the process proceeds to step S195, where the view is switched to either a third-person perspective view or a first-person perspective view.
  • an illustrated bird's-eye view is selected from among the bird's-eye views, and when it is shorter than the predetermined time N0 (> N1) and longer than the predetermined time N1, a camera image bird's-eye view is selected from among the bird's-eye views.
  • the display viewpoint is appropriately set taking into account visibility and processing time depending on the length of the delay time T.
  • one of the methods of displaying surrounding information may be to provide a specific indication of the delay time or to provide a warning to stop nearby and end remote control.
  • the warning information may be displayed, for example, in a warning message display field WT on the display image, as shown in display image WV1 in FIG. 20.
  • a warning message display field WT on the display image, as shown in display image WV1 in FIG. 20.
  • "A communication delay has occurred. Please stop the vehicle.” is displayed. Since the delay time T is long and the accuracy of the displayed information cannot be guaranteed, information is presented urging the driver to stop vehicle 34 and end remote control.
  • the warning information may be displayed as a warning mark WC, as shown in the display image WV2 in FIG. 20.
  • the warning mark WC changes color and size depending on the length of the delay time.
  • the warning mark WC may be displayed in blue and in a smaller size as the delay time T is shorter, for example.
  • the warning mark WC may change from blue to yellow and gradually increase in size as the delay time T is longer.
  • the warning mark WC may change from yellow to red and increase in size to the extent that it is difficult to perform remote control while looking at the display image WV2, for example, when the delay time T is longer than a predetermined time and it is necessary to stop the vehicle and stop remote control.
  • the warning information may be displayed in a manner that reduces visibility by applying semi-transparent hatching to the entire area, as shown in display image WV3 in FIG. 20, to simulate a poor visibility state.
  • displaying such a warning it may be possible to create a situation in which it is difficult for the operator 31 to control the vehicle, thereby encouraging the operator to reduce speed voluntarily.
  • a warning display such as that shown in display images WV1 to WV3 in Figure 20 can be displayed to ensure safety.
  • the warning display as shown in display images WV1 to WV3 in FIG. 20 is a display in which information for making the driver aware of the warning is superimposed on a display image generated by displaying at least the predicted position only. For this reason, when the warning display is selected as the surrounding vehicle display method, for example, the surrounding objects are represented by a display method of only the predicted position, and then the warning text display field WT, warning mark WC, and hatching are applied.
  • steps S213 to S217 is similar to the processing of steps S171 to S175 described with reference to the flowchart of FIG. 17, so the description thereof will be omitted.
  • step S211 the display image creation unit 75 determines whether the delay time T is equal to or greater than a predetermined time M0 (>M1).
  • step S211 If it is determined in step S211 that the delay time T is equal to or greater than the predetermined time M0, the process proceeds to step S212.
  • step S2122 the display image creation unit 75 sets the surrounding object display method to a warning display such as that shown in the display images WV1 to WV3 described with reference to FIG. 20.
  • step S211 If it is determined in step S211 that the delay time T is not equal to or greater than the predetermined time M0, the process proceeds to step S213, where the method of displaying surrounding objects is determined to be either displaying only the predicted position, displaying an area, or displaying the predicted position superimposed.
  • the delay time T is set as the predetermined time M0, which is the time when it is expected that remote control will be hindered. If this time is exceeded, a warning message will be displayed as shown in the display images WV1 to WV3 in Figure 20, ensuring safety.
  • the delay time T is not equal to or greater than the predetermined time M1
  • the delay time is relatively short, so instead of making a judgment based on the delay time T, it may be possible to make a judgment based on, for example, whether the number of surrounding vehicles is less than a predetermined number.
  • the method for displaying surrounding objects may be set to display in an area.
  • the determination may be based on visibility rather than on delay time.
  • FIG. 22 is a flowchart explaining the surrounding object display method determination process that determines whether the number of surrounding vehicles is less than a predetermined number when the delay time T is not equal to or greater than a predetermined time M1.
  • steps S231, S232, S234, and S235 are similar to the processes of steps S171, S172, S174, and S175 described with reference to the flowchart of FIG. 17, and therefore will not be described again.
  • step S231 if the delay time T is not equal to or greater than the predetermined time M1 in step S231, the process proceeds to step S233.
  • step S233 the display image creation unit 75 determines whether the number of surrounding vehicles is less than a predetermined number based on the surrounding object information.
  • step S234 may set the surrounding object display method to area display.
  • step S235 sets only the position as the method for displaying surrounding objects.
  • the above process makes it possible to select a method for displaying surrounding objects, taking into account not only delay time but also visibility based on the number of surrounding vehicles, road width, etc.
  • the predicted position of the user is clearly indicated, making it easier to focus on the user's own position. Therefore, by presenting information that does not require prediction of changes in position, such as traffic lights and traffic information, in the vicinity of the easily noticeable information on the user's own position, it is possible to reduce eye movement and make the information easier to grasp.
  • the vehicle's speed and information about the traffic lights ahead may be displayed using letters or symbols.
  • the vehicle's traveling speed is displayed above the vehicle position mark WL, which indicates the vehicle's position in the lower right corner, and in FIG. 23, it is displayed as "52 km/h.”
  • a traffic light mark SG is displayed to the upper right of the mark WL, and in FIG. 23, it is displayed that the rightmost red light is on.
  • the speed is displayed on the vehicle position mark WL, which is likely to attract the operator's gaze, and the nearest traffic light illumination information is displayed nearby, minimizing the operator's 31 gaze movement and making it easier for the operator to grasp the information.
  • the color, color intensity, and size of the vehicle position mark WS indicating the vehicle's position may be displayed so that the speed is perceived.
  • the vehicle position mark WS is displayed with a color, intensity, and size that change according to the speed of the vehicle, making it possible to intuitively perceive how fast the vehicle is traveling, even though the exact speed is unknown.
  • the vehicle position mark WS may change in shape, as well as in color, intensity, and size, depending on the vehicle's speed.
  • the vehicle position mark WS may be displayed with high transparency and small size.
  • the current speed is within the legal speed limit and there is no need to be conscious of the current speed, it is possible to display information about the surroundings more easily, allowing the driver to concentrate more on driving.
  • the vehicle position mark WS may be displayed with low transparency and large size.
  • the surrounding information is intentionally made somewhat difficult to see in order to make the driver aware of the current speed, making it possible to display the mark in a way that encourages the driver to slow down.
  • ⁇ Application example (part 2)> The above describes an example of presenting the predicted positions of nearby vehicles while taking into account communication delay times. However, it is also possible to set a risk level according to the type of nearby object or the type of behavior, and display the position by applying an offset according to the risk level.
  • the type of surrounding object may be determined using information from the location information storage unit 92. For example, as shown in the left part of FIG. 24, "children/elderly people” may be set to a danger level of 10, "pedestrians” to a danger level of 9, “bicycles” to a danger level of 8, “motorcycles” to a danger level of 7, “light cars” to a danger level of 6, “passenger cars” to a danger level of 5, and “trucks” to a danger level of 4. The higher the danger level number, the higher the danger level.
  • the risk level for behaviors such as “keeping a narrow distance from other vehicles” and “changing lanes without using a turn signal” is set to “high,” while the risk level for behaviors such as “frequent lane changes” and “rapid acceleration/deceleration, high speed” is set to "medium.”
  • the surrounding vehicles are displayed as mark MB and the vehicle itself as mark MC, as shown in the display image OFSOFF on the left side of Figure 25.
  • the distance between the marks MB and MC is expressed between the ends Pb and Pc.
  • the surrounding vehicles are displayed as mark MB' and the vehicle itself as mark MC, as shown in the display image OFSON on the right side of Figure 25.
  • the mark MB' is set at an offset position relative to the end Pb of the mark MB, such that the end Pb' is closer to the mark MC of the vehicle itself by a width Da according to the value of the risk level of the type.
  • This display causes the operator 31 to recognize that the surrounding object for which a danger level has been set is closer than the predicted positional relationship, which can encourage the operator to have a stronger sense of danger.
  • the operator 31 can recognize the sense of danger according to the degree of danger just by looking at the distance between the marks MB' and MC.
  • the display may be made more visible depending on the level of danger; for example, the higher the level of danger, the darker the color displayed.
  • a nearby object mark MB1 consisting of a motorcycle is displayed on the left side of the figure
  • a nearby object mark MC1 consisting of a passenger car is displayed on the right side of the figure.
  • the danger level of motorcycles is 7 and that of passenger cars is 5, so the marks MB1 and MC1 in the display image WV31 are displayed with a density according to the respective set danger levels. Furthermore, when setting the density according to the danger level, the danger level classified by behavior may also be taken into account in addition to the danger level set based on the type.
  • the lower the level of danger the lower the resolution at which the object is displayed, allowing surrounding objects that pose a high level of danger to be recognized in detail.
  • a nearby object mark MB2 consisting of a motorcycle is displayed on the left side of the figure
  • a nearby object mark MC2 consisting of a passenger car is displayed on the right side of the figure.
  • marks MB2 and MC2 are displayed at resolutions corresponding to the motorcycle danger level of 7 and the passenger car danger level of 5, respectively, which are set in Figure 24. Therefore, since the danger level of motorcycles is higher than the danger level of passenger cars, the passenger car mark MC2 has a lower resolution than the motorcycle mark MB2.
  • items with a high level of risk may be displayed surrounded by a border.
  • a nearby object mark MB3 consisting of a motorcycle is displayed on the left side of the figure
  • a nearby object mark MC3 consisting of a passenger car is displayed on the right side of the figure.
  • motorcycles have a danger level of 7 and passenger cars have a danger level of 5, so for example, motorcycles with a danger level higher than 6 are surrounded by a frame as shown by mark MB3, and passenger cars with a danger level lower than 6 have no frame surrounded by mark MC3.
  • a nearby object mark MB4 consisting of a motorcycle is displayed on the left side of the figure
  • a nearby object mark MC4 consisting of a passenger car is displayed on the right side of the figure.
  • motorcycles have a danger level of 7 and passenger cars have a danger level of 5, so for example, motorcycles with a danger level higher than 6 are highlighted by having their periphery outlined in thick lines as shown by mark MB4, and passenger cars with a danger level lower than 6 have no highlighting displayed as mark MC3.
  • a nearby object mark MB5 consisting of a motorcycle is displayed on the left side of the figure
  • a nearby object mark MC5 consisting of a passenger car is displayed on the right side of the figure.
  • the danger level of motorcycles is 7
  • the danger level of passenger cars is 5, so the marks MB5 and MC5 are each displayed with a width according to their danger level.
  • mark MB5 is narrower than mark MC5, but this does not mean that the level of danger of the motorcycle represented by mark MB5 is lower than the level of danger of the passenger car represented by mark MC5. This is because marks MB5 and MC5 are respectively modeled after a motorcycle and a passenger car, and the default width of mark MB5 for both is narrower than the width of mark MC5.
  • the width of mark MB5 is wider than the default size by an amount corresponding to the degree of risk. Conversely, the width of mark MC5 remains the default size because the degree of risk is smaller than threshold value 6.
  • the remote control system 11 has been described as being configured such that the operator terminal 32 and the vehicle 34 transmit and receive vehicle information and steering information via the network 33 .
  • a specific vehicle 34 may collect vehicle information of surrounding vehicles through vehicle-to-vehicle communication with the surrounding vehicles, and transmit the vehicle information of multiple vehicles 34 to the operator terminal 32 on behalf of the surrounding vehicles.
  • FIG. 27 shows an example of the configuration of a remote control system 11' that uses V2V communication. Note that in FIG. 27, components with the same functions as those in the remote control system 11 in FIG. 2 are given the same reference numerals, and descriptions thereof will be omitted as appropriate.
  • vehicle 34 has a function for realizing V2V communication. Therefore, for example, in FIG. 27, when vehicle 34-1 acquires vehicle information from vehicles 34-2 and 34-m through vehicle-to-vehicle communication, it may transmit the information together with its own vehicle information to operator terminals 32-1 to 32-n via network 33.
  • any of the operator terminals 32-1 to 32-n receives vehicle information for multiple vehicles 34, the information may be distributed to other operator terminals 32 for processing, or a single operator terminal 32 may use the vehicle information for multiple vehicles 34 to remotely control the multiple vehicles 34.
  • steps S292 to S300 by the operator terminal 32 is similar to the processing of steps S52 to S60 in the flowchart of FIG. 10, so a description thereof will be omitted. Also, the processing of steps S255 to S257 and steps S277 to S279 are similar to the processing of steps S35 to S37 in the flowchart of FIG. 10, so a description thereof will be omitted.
  • the flowchart on the left is the processing for vehicles 34-2 and 34-m, which are the surrounding vehicles as seen from vehicle 34-1 in FIG. 27, the flowchart in the center is the processing for vehicle 34-1, and the flowchart on the right is the processing for operator terminal 32.
  • the sensor information acquisition unit 142 of the surrounding vehicles 34-2, 34-m acquires surrounding object information, such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • surrounding object information such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • step S254 the vehicle information communication unit 143 of the surrounding vehicles 34-2, 34-m compiles the vehicle position information acquired by the position information acquisition unit 114, the surrounding object information consisting of sensing results acquired by the sensor information acquisition unit 142 that enable the position and distance of other vehicles and pedestrians of the vehicle 34 to be recognized, and the steering angle (steering angle) and speed information of the vehicle detected by the vehicle sensor 117 to form vehicle information, and controls the communication unit 112 to transmit the vehicle information to vehicle 34-1 via vehicle-to-vehicle communication.
  • the sensor information acquisition unit 142 of vehicle 34-1 acquires surrounding object information, such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • surrounding object information such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • step S274 the vehicle information communication unit 143 of vehicle 34-1 compiles vehicle information by combining the vehicle's own position information acquired by the position information acquisition unit 114, surrounding object information consisting of sensing results acquired by the sensor information acquisition unit 142 that enable the positions and distances of other vehicles and pedestrians to be recognized by vehicle 34, and the steering angle (steering angle) and speed information of the own vehicle detected by the vehicle sensor 117.
  • step S275 the vehicle information communication unit 143 of vehicle 34-1 controls the communication unit 112 to receive the vehicle information transmitted from vehicles 34-2 and 34-m via vehicle-to-vehicle communication.
  • step S276 the vehicle information communication unit 143 of vehicle 34-1 controls the communication unit 112 to transmit the vehicle information of the vehicle itself and the vehicle information of the surrounding vehicles 34-2 and 34-m to the operator terminal 32.
  • step S291 the vehicle information acquisition unit 73 controls the communication unit 55 to acquire the vehicle information of vehicles 34-1, 34-2, and 34-m transmitted from vehicle 34-1.
  • the vehicle information acquisition unit 73 associates the vehicle information with the time information at the time when the vehicle information of vehicles 34-1, 34-2, and 34-m is acquired.
  • Subsequent processing generates steering information for each vehicle 34-1, 34-2, and 34-m based on the vehicle information and supplies the information to each vehicle.
  • the above process reduces the communication load between the operator terminal 32 and the vehicle 34, making it possible to reduce communication delays overall.
  • vehicle information may be transmitted to the operator terminal 32 by communicating with devices other than the vehicle 34 using V2X communication.
  • FIG. 29 shows an example configuration of a remote control system 11'' that uses V2X communication. Note that in FIG. 29, components having the same functions as those in the remote control system 11 in FIG. 2 and the remote control system 11' in FIG. 27 are given the same reference numerals, and descriptions thereof will be omitted as appropriate.
  • the remote control system 11'' in FIG. 29 differs from the remote control system 11 in FIG. 2 and the remote control system 11' in FIG. 27 in that it further includes a traffic information cloud server 201 and on-road communication equipment 202.
  • the traffic information cloud server 201 is a cloud server that aggregates information on traveling vehicles 34 and infrastructure on roads, acquires vehicle information from the vehicles 34, and supplies it to the operator terminal 32.
  • the road communication equipment 202 is a device that acquires information on road facilities such as traffic lights, and transmits the road facility information to the traffic information cloud server 201 via the network 33.
  • the traffic information cloud server 201 provides vehicle information and road facility information to the operator terminal 32.
  • the operator terminal 32 acquires vehicle information of the vehicle 34 provided via the traffic information cloud server 201 and supplies steering information. At this time, by also acquiring corresponding road facility information, for example, the control status of traffic lights and the operating status of railroad crossings can be recognized and used for remote control.
  • steps S352 to S360 by the operator terminal 32 is similar to the processing of steps S52 to S60 in the flowchart of FIG. 10, so a description thereof will be omitted. Also, the processing of steps S315 to S317 is similar to the processing of steps S35 to S37 in the flowchart of FIG. 10, so a description thereof will be omitted.
  • the flowchart on the left is the processing of the vehicle 34 in FIG. 27, the flowchart in the center is the processing of the traffic information cloud server 201, and the flowchart on the right is the processing of the operator terminal 32.
  • the sensor information acquisition unit 142 of the vehicle 34 acquires surrounding object information, such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • surrounding object information such as camera images capturing the surroundings and distance images that enable recognition of the distance to surrounding objects, position information of the vehicle itself, and steering angle (steering angle) and speed information of the vehicle itself detected by the vehicle sensor 117.
  • step S314 the vehicle information communication unit 143 of the vehicle 34 compiles the vehicle position information acquired by the position information acquisition unit 114, the surrounding object information consisting of sensing results acquired by the sensor information acquisition unit 142 that enable the positions and distances of other vehicles and pedestrians of the vehicle 34 to be recognized, and the steering angle (steering angle) and speed information of the vehicle detected by the vehicle sensor 117, to form vehicle information, and controls the communication unit 112 to transmit the vehicle information to the traffic information cloud server 201 via V2X communication.
  • step S331 the traffic information cloud server 201 acquires the vehicle information transmitted from the vehicle 34 and stores it in association with each vehicle 34.
  • step S332 the traffic information cloud server 201 acquires the road facility information transmitted from the road communication facility 202.
  • step S333 the traffic information cloud server 201 transmits the vehicle information and road facility information to the operator terminal 32.
  • step S351 the vehicle information acquisition unit 73 controls the communication unit 55 to receive vehicle information and road facility information.
  • Subsequent processing generates and supplies steering information individually based on the vehicle information of vehicle 34.
  • the above process reduces the communication load between the operator terminal 32 and the vehicle 34, making it possible to reduce communication delays overall.
  • V2X communication it is possible to obtain vehicle information between vehicles 34 where vehicle-to-vehicle communication is not possible, and to obtain road facility information from road communication equipment 202.
  • the system can warn the driver to brake if the light is predicted to turn red immediately before passing or if a collision with a nearby vehicle is predicted, thereby helping to avoid sudden braking and collisions.
  • a warning column can be provided at the top to display a message such as, "The light will turn red in 4 seconds. Please begin to slow down.”
  • a warning column can be provided at the top to display a message such as "There is a vehicle in the intersection. Please begin slowing down.”
  • triangular marks WC11 to WC13 are arranged along the traveling direction based on the predicted position of the nearby vehicle, and as shown in the display images WV61 to WV63, an animation is displayed in which the colors of the triangular marks WC11 to WC13 change in chronological order from left to right in the figure, making it possible to properly recognize the traveling direction of the nearby vehicle.
  • the traffic information cloud server 201 can obtain blinking information of turn signals from surrounding vehicles indicated by the mark WB11. By supplying this information to the operator terminal 32 via the traffic information cloud server 201, the blinking direction of the turn signals can be reflected on the display image displayed on the operator terminal 32.
  • the above-mentioned series of processes can be executed by hardware, but can also be executed by software.
  • the programs constituting the software are installed from a recording medium into a computer built into dedicated hardware, or into, for example, a general-purpose computer capable of executing various functions by installing various programs.
  • FIG 33 shows an example of the configuration of a general-purpose computer.
  • This computer has a built-in CPU (Central Processing Unit) 1001.
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • an input unit 1006 consisting of input devices such as a keyboard and mouse through which the user inputs operation commands
  • an output unit 1007 which outputs a processing operation screen and images of the processing results to a display device
  • a storage unit 1008 consisting of a hard disk drive for storing programs and various data
  • a communication unit 1009 consisting of a LAN (Local Area Network) adapter and the like, which executes communication processing via a network such as the Internet.
  • LAN Local Area Network
  • a drive 1010 which reads and writes data to removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • removable storage media 1011 such as a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory) and a DVD (Digital Versatile Disc)), a magneto-optical disk (including an MD (Mini Disc)), or a semiconductor memory.
  • the CPU 1001 executes various processes according to a program stored in the ROM 1002, or a program read from a removable storage medium 1011 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory and installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes, as appropriate.
  • the CPU 1001 loads a program stored in the storage unit 1008, for example, into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the program, thereby performing the above-mentioned series of processes.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable storage medium 1011 such as a package medium.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a program can be installed in the storage unit 1008 via the input/output interface 1005 by inserting the removable storage medium 1011 into the drive 1010.
  • the program can also be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008.
  • the program can be pre-installed in the ROM 1002 or storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.
  • the CPU 1001 in FIG. 33 realizes the functions of the control unit 51 of the operator terminal 32 in FIG. 3.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all the components are in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device in which multiple modules are housed in a single housing, are both systems.
  • the present disclosure can be configured as a cloud computing system in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be executed by a single device, or can be shared and executed by multiple devices.
  • a single step includes multiple processes
  • the processes included in that single step can be executed by a single device, or can be shared and executed by multiple devices.
  • a signal processing device including: a prediction unit that predicts a current position of a peripheral object, which is an object present around a moving body, based on information about the peripheral object received through communication with the moving body, taking into account a delay time associated with the communication.
  • a prediction unit that predicts a current position of a peripheral object, which is an object present around a moving body, based on information about the peripheral object received through communication with the moving body, taking into account a delay time associated with the communication.
  • a storage unit that stores a prediction result of the current position of the peripheral object in a time series
  • ⁇ 3> The signal processing device described in ⁇ 2>, wherein the prediction unit calculates a position of the peripheral object at a time when the information of the peripheral object is generated based on the information of the peripheral object, calculates an amount of movement of the delay time from a change in the prediction result of the time series accumulated in the accumulation unit, and predicts the current position of the peripheral object by adding the amount of movement to the position of the peripheral object at a time when the information of the peripheral object is generated.
  • ⁇ 4> The signal processing device according to ⁇ 1>, further comprising a display image creation unit that creates a display image showing the peripheral object based on the predicted current position.
  • ⁇ 5> The signal processing device according to ⁇ 4>, wherein the display image creation unit creates the display image by switching a peripheral object display method that is a method for displaying the peripheral objects, based on the delay time.
  • a peripheral object display method that is a method for displaying the peripheral objects, based on the delay time.
  • the display image creation unit based on the delay time, a first surrounding object display method for displaying only the current positions of the surrounding objects based on information of the surrounding objects; a second surrounding object display method for displaying an area including the current position of the surrounding object, the area being displayed based on information of the surrounding object;
  • the signal processing device according to ⁇ 5> wherein the display image is created by switching between a peripheral object display method and a third peripheral object display method in which the peripheral object is displayed based on information about the peripheral object and the current position is superimposed on the peripheral object display method.
  • the display image creation unit When the delay time is longer than a first predetermined time, the display image creation unit generates the display image by the first peripheral object display method, The signal processing device described in ⁇ 6>, wherein, when the delay time is shorter than the first predetermined time, the display image creation unit creates the display image by switching between the second peripheral object display method and the third peripheral object display method.
  • the display image creation unit creates the display image by the second peripheral object display method;
  • the signal processing device ⁇ 7>, wherein when the delay time is shorter than the first predetermined time and shorter than the second predetermined time, the display image creation unit creates the display image by the third peripheral object display method.
  • the display image creation unit creates the display image by the second peripheral object display method;
  • the signal processing device according to ⁇ 7>, wherein when the number of the peripheral objects is greater than the predetermined number, the display image creation unit creates the display image by the third peripheral object display method.
  • the display image creation unit creates the display image by switching between the first peripheral object display method, the second peripheral object display method, the third peripheral object display method, and a fourth peripheral object display method that displays warning information that warns that the prediction accuracy of the current position is lower than a predetermined value, in addition to the first peripheral object display method, the second peripheral object display method, and the third peripheral object display method, based on the delay time.
  • the display image creation unit When the delay time is longer than a first predetermined time, the display image creation unit generates the display image by the first peripheral object display method, When the delay time is shorter than the first predetermined time, the display image creation unit creates the display image by switching between the second peripheral object display method and the third peripheral object display method;
  • the signal processing device according to ⁇ 10>, wherein, when the delay time is longer than the first predetermined time and longer than a fourth predetermined time, the display image creation unit generates the display image by the fourth peripheral object display method.
  • the prediction unit predicts the current position of the moving object, taking the delay time into consideration, based on position information and steering information of the moving object received through the communication with the moving object;
  • the signal processing device described in ⁇ 6> wherein when creating the display image using the second surrounding object display method, the display image creation unit offsets the area so as to be closer to the current position of the moving body depending on the degree of danger of the surrounding object.
  • the degree of danger of the surrounding object is set according to a type and a behavior of the surrounding object.
  • the prediction unit predicts the current position of the moving body, taking into account the delay time related to the communication, based on position information and steering information of the moving body received through the communication with the moving body;
  • the display image creation unit generates the display image by switching a moving body display method, which is a method of displaying the moving body, according to the delay time using the current position of the moving body and the current positions of the peripheral objects, and displays the moving body and the peripheral objects.
  • the moving object display method includes a display viewpoint and display information, The signal processing device according to ⁇ 14>, wherein the display image generating unit generates the display image by switching the display viewpoint based on the delay time.
  • the display viewpoint includes a bird's-eye view, a third-person viewpoint, and a first-person viewpoint
  • the display image creation unit includes: If the delay time is longer than a first predetermined time, the display viewpoint is switched to the bird's-eye view to generate the display image; If the delay time is shorter than the first predetermined time and longer than the second predetermined time, the display viewpoint is switched to the third person viewpoint to generate the display image;
  • the signal processing device according to ⁇ 15>, wherein, when the delay time is shorter than the second predetermined time, the display viewpoint is switched to the first person viewpoint to generate the display image.
  • the first-person perspective view is a CG (Computer Graphics) image generated based on 3D map information
  • the signal processing device described in ⁇ 16> wherein when the delay time is shorter than the second predetermined time and the 3D map information has been acquired, the display image creation unit switches the display viewpoint to the first person viewpoint to generate the display image, and when the 3D map information has not been acquired, the display viewpoint switches to the third person viewpoint to generate the display image.
  • the bird's-eye view includes an illustration bird's-eye view and a camera image bird's-eye view
  • the display image creation unit includes: If the delay time is longer than the first predetermined time and longer than a third predetermined time, the display viewpoint is switched to the bird's-eye view of the illustration to generate the display image;
  • the signal processing device according to ⁇ 16>, wherein, when the delay time is shorter than the third predetermined time and longer than the first predetermined time, the display viewpoint is switched to the bird's-eye view of the camera image to generate the display image.
  • a signal processing method including a step of predicting a current position of a peripheral object, the peripheral object being an object present around a moving body, based on information of the peripheral object received through communication with the moving body, taking into consideration a delay time associated with the communication.
  • a prediction unit that predicts a current position of a peripheral object, which is an object present around a moving object, based on information of the peripheral object received through communication with the moving object, taking into consideration a delay time associated with the communication; a display image generating unit that generates a display image showing information of the surrounding object based on the predicted current position;
  • a signal processing system comprising: a display device including a display unit that displays the display image.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、遠隔操縦の操作性と安全性を向上することができるようにする信号処理装置、および信号処理方法、並びに信号処理システムに関する。 移動体との通信により受信される、移動体の位置情報、速度、および操舵角、並びに、移動体の周辺に存在する物体である周辺物体の情報に基づいて、通信に係る遅延時間を考慮した移動体および周辺物体の現在位置を予測して、遅延時間に応じて表示方法を切り替えて、予測結果を表示する表示画像を作成して表示する。遠隔操縦システムに適用することができる。

Description

信号処理装置、および信号処理方法、並びに信号処理システム
　本開示は、信号処理装置、および信号処理方法、並びに信号処理システムに関し、特に、遠隔地から車両を操縦する際、車両から送信される車両周辺の情報を、通信に係る遅延時間を考慮して適切に表示することで安全な遠隔操縦を実現できるようにした信号処理装置、および信号処理方法、並びに信号処理システムに関する。
　車両、船舶、および航空機などの移動体の自動運転技術の開発が進められており、近い将来、運転者が不要な完全な自動運転による移動体が実現されようとしている。
　しかしながら、完全な自動運転が実現される前の段階として、遠隔地から移動体を操縦する遠隔操縦が普及されることが想定される。
　例えば、移動体として車両を遠隔操縦する場合、車両において自車位置がセンシングされ、センシング結果となる自車位置の情報が、遠隔地の操縦者により操作される操作端末に送信される。
　操作端末においては、車両から送信される自車位置が受信されて提示され、提示された自車位置の情報に基づいて、操縦者により操舵情報が入力されて、操舵情報が車両に送信される。
　そして、車両においては、操作端末から送信されてくる操舵情報が受信されて、受信された操舵情報に基づいた走行がなされることで、遠隔操縦が実現される。
　ところで、操作端末と、操作対象となる車両との相互の通信においては、遅延が生じることが知られている。
　このため、操作端末において、車両の自車位置が受信されるときには、車両は、遅延時間分だけ移動しているため、操縦者に対して提示される自車位置情報は、遅延時間分だけ過去における位置情報となるので、操作性の低下を招く恐れがあった。
　そこで、直前までの車両の自車位置情報と、通信に係る遅延時間とから、遅延時間における移動を考慮して、操作対象となる車両の現在位置を推定し、送信されてきた自車位置情報に重畳して表示する技術が提案されている（特許文献１参照）。
特開２０１０－０６１３４６号公報
　しかしながら、遅延時間を考慮した自車位置を推定して提示することはできても、操縦対象となる車両周辺の車両や歩行者の位置については、遅延時間を考慮して提示されないので、周辺の車両や歩行者の位置を誤認してしまい、接触してしまう恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、遠隔地から車両を操縦する際、車両から送信される車両や周辺物体の位置情報を、通信に係る遅延時間を考慮して適切に提示できるようにするものである。
　本開示の一側面の信号処理装置および信号処理システムは、移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する予測部を備える信号処理装置信号処理装置および信号処理システムである。
　本開示の一側面の信号処理方法は、移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測するステップを含む信号処理方法である。
　本開示の一側面においては、移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置が予測される。
本開示の概要を説明する図である。 本開示の遠隔操縦システムの第１の実施の形態の構成例を説明する図である。 図２のオペレータ端末の構成例を説明する図である。 車両の位置情報を説明する図である。 図２の車両の構成例を説明する図である。 自車両の表示方法を説明する図である。 周辺車両の表示方法を説明する図である。 自車両の表示方法毎の周辺車両の表示方法を説明する図である。 周辺車両が減速していることを認識できる表示方法を説明する図である。 図２の遠隔操縦システムによる遠隔操縦制御処理を説明するフローチャートである。 図１０の自車位置予測処理を説明するフローチャートである。 自車位置の予測方法を説明する図である。 図１０の自車位置表示方法決定処理を説明するフローチャートである。 図１３の表示視点決定処理を説明するフローチャートである。 図１３の表示情報決定処理を説明するフローチャートである。 図１０の周辺物体予測処理を説明するフローチャートである。 図１０の周辺物体表示方法決定処理を説明するフローチャートである。 鳥瞰図の応用例を説明する図である。 図１８の鳥瞰図の応用例を用いた場合の表示視点決定処理を説明するフローチャートである。 周辺物体表示方法に警告表示をする場合の例を説明する図である。 図２０の警告表示をする場合の周辺物体表示方法決定処理を説明するフローチャートである。 遅延時間の要素を判断に用いる場合の周辺物体表示方法決定処理を説明するフローチャートである。 自車両の表示方法の応用例を説明する図である。 周辺車両の表示方法の応用例を説明する図である。 周辺車両の表示方法の応用例を説明する図である。 周辺車両の表示方法の応用例を説明する図である。 本開示の遠隔操縦システムの第２の実施の形態の構成例を説明する図である。 図２７の遠隔操縦システムによる遠隔操縦制御処理を説明するフローチャートである。 本開示の遠隔操縦システムの第２の実施の形態の変形例となる構成例を説明する図である。 図２９の遠隔操縦システムによる遠隔操縦制御処理を説明するフローチャートである。 図２９の遠隔操縦システムにおけるＶ２Ｘ通信を用いた警告表示の応用例を説明する図である。 図２９の遠隔操縦システムにおけるＶ２Ｘ通信を用いた周辺物体表示方法の応用例を説明する図である。 汎用のコンピュータの構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本開示の概要
　２．第１の実施の形態
　３．第２の実施の形態
　４．第２の実施の形態の変形例
　５．ソフトウェアにより実行させる例
　＜＜１．本開示の概要＞＞
　本開示は、特に、特に、遠隔地から車両を操縦する際、車両から送信される車両周辺の情報を、通信遅延を考慮して提示できるようにするものである。そこで、まず、本開示の概要について説明する。
　尚、本開示の技術は、車両に限らず、船舶および航空機など、遠隔操縦可能な移動体全般に適用できる技術であるが、ここでは、移動体のうち、車両を遠隔操縦する例を用いて説明を進めるものとする。
　自動運転技術の開発が進められており、近い将来、運転者が不要な完全な自動運転車両が実現しようとしている。しかしながら、自動運転が普及する前段階として、遠隔地の操縦者により、車両を監視・操縦する状況が想定される。この際、通信遅延の発生により遠隔操縦や監視に困難が生じる可能性がある。
　例えば、図１の上段で示されるように、車両１を、遠隔地の操縦者により操作される操作端末２で遠隔操縦する場合について考える。
　図１の上段においては、車両１がカメラなどにより周囲の画像を撮像するなどして車両周辺情報として操作端末２に送信する。
　操作端末２においては、車両１から送信されてくる車両周辺情報を取得すると、車両周辺情報に含まれる車両１の周囲の画像が操縦者に提示される。操縦者は、操作端末に提示される車両１の周辺の画像を参照して、車両１を操縦するための車両操舵情報を入力する。操作端末２は、操縦者により入力された車両操舵情報を車両１に送信する。
　そして、車両１は、操作端末２からの車両操舵情報を受信すると、受信した車両操舵情報に基づいた走行を実現する。このような一連の処理により、遠隔地の操縦者が操作端末２を操作することで、車両１を遠隔操縦することが可能となる。
　しかしながら、車両１と操作端末２との間の通信には、遅延が生じることが一般的である。
　このため、例えば、車両１により車両周辺情報として画像が撮像されて、操作端末２に送信され、操作端末２において受信された後、受信した画像が提示されるときには、画像が送信されたタイミングに対して遅延が生じていることになるので、提示される画像は遅延時間分だけ過去の画像が提示されることになる。
　より具体的には、車両１により進行方向前方の画像が撮像された後、操作端末２に送信され、操作端末２において、図１の左上部で示される、画像ＶＬが提示されるときには、既に遅延時間分だけ過去の画像が提示されていることになる。
　操作端末２において、図１の左上部で示される、画像ＶＬが提示されるタイミングにおいては、例えば、図１の右上部で示されるような画像ＶＣが撮像されているような状況となる。
　より詳細には、通信の遅延により、画像ＶＬが撮像されたタイミングでは、対向車両ＣＬが横断歩道ＰＣの奥側に存在していたが、車両１から操作端末２に送信される間に生じる遅延時間分だけ、対向車両ＣＬは、前進することになる。このため、画像ＶＬが提示されるタイミングにおいては、現実には、画像ＶＣで示されるように、対向車両ＣＬは、横断歩道ＰＣ上にまで移動している。
　すなわち、車両１の周辺状況は、画像ＶＣで示されるような状況であるにもかかわらず、操縦者は、通信に係る遅延時間分だけ過去の画像ＶＬが提示された状態で、車両操舵情報を入力することになる。
　結果として、遅延による操縦者の操作性が低下すると共に、現実には異なる位置に存在する対向車両や歩行者に基づいて操舵情報が入力されることになるので、対向車や周辺の歩行者などと接触してしまう可能性があり、安全性が低下してしまう恐れがあった。
　そこで、本開示においては、過去の車両周辺情報に基づいて、遅延時間分だけ移動した対向車両の位置を推定し、推定結果を重畳表示することで、車両周辺情報が提示されるタイミングにおける現実の対向車両の位置を認識できるようにする。
　より具体的には、例えば、図１の左下部における画像ＶＦで示されるように、車両周辺情報から得られる対向車両ＣＬに加えて、遅延時間分だけ対向車両が移動する位置を推定し、推定結果をフレームＣＦとして重畳表示する。
　これにより、車両１と操作端末２との間で通信に係る遅延が発生していても、提示される車両周辺情報としての画像ＶＦを視認するだけで、操縦者は、通信に係る遅延が考慮された現在のタイミングにおける対向車両の位置を認識することが可能となるので、遠隔操縦における操作性と安全性とを向上させることが可能となる。
　＜＜２．第１の実施の形態＞＞
　次に、図２を参照して、本開示の技術を適用した車両を遠隔地から操縦する遠隔操縦システムの構成例について説明する。
　図２の遠隔操縦システム１１は、操縦者であるオペレータ３１－１乃至３１－ｎのそれぞれにより操作されるオペレータ端末３２－１乃至３２－ｎ、ネットワーク３３、および車両３４－１乃至３４－ｍより構成される。
　尚、以降において、操縦者であるオペレータ３１－１乃至３１－ｎ、オペレータ端末３２－１乃至３２－ｎ、および車両３４－１乃至３４－ｍは、特に区別する必要がない場合、単にオペレータ３１、オペレータ端末３２、および車両３４と称するものとし、その他の構成も同様とする。
　車両３４は、オペレータ端末３２より供給される操舵情報に基づいて、遠隔操縦されることを想定したものであるが、運転者が搭乗することで、運転者が直接操縦することも可能な車両や完全な自動運転も可能な車両が、遠隔操縦されるモードとされていることを想定したものでもよい。
　車両３４は、自車位置、ステアリングの操舵角度、および速度、並びに、周辺物体の情報を取得して、車両情報としてネットワークを介してオペレータ端末３２に送信する。
　車両情報とは、オペレータ端末３２との通信に係る遅延時間を考慮した自車両や周辺物体の現在位置の推定に用いられる情報である。このうち、自車両の現在位置の推定には、車両情報を取得するタイミングにおける自車位置、ステアリングの操舵角度、および速度の情報が必要となる。
　また、周辺物体の情報には、例えば、車両３４の周辺をカメラなどで撮像した画像やデプスセンサなどで撮像した距離画像などである。すなわち、周辺物体の情報とは、車両３４の周辺の物体について、その位置や距離が認識可能な情報である。このため、周辺物体の情報としては、カメラで撮像した画像や距離画像のみならず、超音波センサやレーダなどのセンシング結果が含まれるようにしてもよい。
　オペレータ端末３２は、ネットワーク３３を介して、車両３４より送信されてくる車両情報を取得すると、自らと車両３４との通信に係る遅延時間を測定する。
　オペレータ端末３２は、車両情報および遅延時間に基づいて、車両３４、および、車両３４の周辺物体の位置を推定し、推定結果を、車両情報に含まれる遅延が考慮されていない元の位置情報上に重畳表示するなどして、遠隔操縦に使用される車両３４の周辺の表示画像を生成し、オペレータ３１に提示する。
　この際、オペレータ端末３２は、遅延時間に基づいて、提示方法を切り替えて、自車両や車両周辺の情報をオペレータ３１に提示する。
　尚、遠隔操縦に使用される車両３４の周辺の表示画像の提示は、車両３４の運転席にオペレータ３１が乗り込んだときに視認できるような画像がディスプレイなどのオペレータ端末３２を構成する表示装置などに表示されることを想定するものであるが、これに限らない。
　すなわち、遠隔操縦に使用される車両３４の周辺の表示画像は、例えば、HMD（Head Mounted Display）などに表示されるようにしてもよく、オペレータ３１がHMDを装着し、視線方向の変化に応じて、表示画像が切り替えて表示されるようにしてもよい。
　オペレータ３１は、オペレータ端末３２に提示された遠隔操縦に必要な表示画像に基づいて、車両３４を操縦するための操舵情報を入力する。
　オペレータ端末３２は、オペレータ３１により入力された操舵情報を、ネットワーク３３を介して車両３４に送信する。
　車両３４は、ネットワーク３３を介して、オペレータ端末３２により送信されてくる操舵情報を取得すると、取得した操舵情報に基づいて走行を制御する。
　オペレータ端末３２は、様々な形態の操作入力部を備えることが可能である。図２においては、オペレータ端末３２－１は、操作入力部３２ａがキーボードやマウスにより構成される例が示されている。また、オペレータ端末３２－２は、操作入力部３２ｂがステアリングにより構成される例が示されている。オペレータ端末３２－３は、操作入力部３２ｃが表示部としての機能を兼ね備えたタッチパネルにより構成される例が示されている。
　操作入力部３２ａ乃至３２ｃは、一例であり、オペレータ３１により操作可能であり、操舵情報が入力可能な構成であれば、他の構成であってもよい。
　また、オペレータ端末３２－１乃至３２－ｎのそれぞれが操作対象とする車両３４－１乃至３４－ｍは、必ずしも１対１でなくてもよいし、１つのオペレータ端末３２が、操縦対象となる車両３４を切り替えて遠隔操縦するようにしてもよい。
　以上のような構成により、オペレータ３１に提示される表示画像が、通信に係る遅延時間に応じて切り替えて提示されると共に、車両３４の位置が通信に係る遅延時間を考慮して推定されて、推定結果が重畳表示される。
　結果として、オペレータ３１は、通信に係る遅延の影響を視覚的に認識することが可能となるので、遠隔操縦における操作性と安全性を向上させることが可能となる。
　＜オペレータ端末の構成例＞
　次に、図３を参照して、オペレータ端末３２の構成例について説明する。
　オペレータ端末３２は、Windows（登録商標）/iOS（登録商標）/Linux（登録商標）/android（登録商標）などのOS（Operating System）などで動作するコンピュータなどからなる端末装置であり、制御部５１、入力部５２、出力部５３、記憶部５４、通信部５５、ドライブ５６、およびリムーバブル記憶媒体５７より構成されており、相互にバス５８を介して接続されており、データやプログラムを送受信することができる。
　制御部５１は、プロセッサやメモリから構成されており、オペレータ端末３２の動作の全体を制御する。また、制御部５１は、操舵情報取得部７１、遅延時間取得部７２、車両情報取得部７３、現在位置予測部７４、表示画像作成部７５、および操舵情報供給部７６を備えている。
　操舵情報取得部７１は、オペレータ３１により入力部５２が操作されて、操舵情報が入力されるとき、操作内容を取得する。尚、入力部５２は、図２における操作入力部３２ａ乃至３２ｃ等に対応する構成である。
　遅延時間取得部７２は、車両３４より送信されてくる車両情報が送信される際に付される時刻情報と、現在の時刻情報との比較により、ネットワーク３３の状態に応じた遅延時間を計測し、取得する。尚、この時刻情報には、例えば、位置情報の取得に利用される衛星波から得られる時刻情報が利用されてもよい。
　車両情報取得部７３は、通信部５５を制御して、車両３４から送られてくる車両情報を受信し、この車両情報に含まれる各車両３４の自己位置情報と、周辺物体情報に基づいて推定される、車両３４の周囲の車両や歩行者の位置情報とを時刻情報と対応付けて位置情報蓄積部９２に蓄積する。
　位置情報蓄積部９２に蓄積される情報は、例えば、図４で示されるような情報であり、対象となる車両または歩行者を個別に識別するID、種類、計測時刻、位置情報となるｘ，ｙ，ｚ、および、yaw情報である。
　種類は、車両または歩行者を分類したものであり、例えば、自車両、中型車、大型車、自動二輪、自転車、および歩行者などである。尚、自車両とは、車両情報を送信してきた車両３４そのものであり、その他は、周辺物体情報として検出される車両や歩行者を分類したものである。
　尚、この分類については、車両情報取得部７３が、撮像された画像に基づいて、セマンティックセグメンテーション処理により分類するようにしてもよいし、学習済のDNN（Deep Neural Network）等を利用するようにしてもよい。また、位置情報蓄積部９２で蓄積される情報として、さらに、他の情報を付加するようにしてもよく、例えば、姿勢の情報としてyawのみではなく、rollやpitchの情報を追加するようにしてもよい。
　現在位置予測部７４は、記憶部５４に記憶されている予測方法記憶部９１に記憶されている予測方法を読み出し、車両情報として送信されてくる操舵角度、速度、および自己位置情報に基づいて、自車両の現在位置を予測する。予測方法記憶部９１に記憶されている予測方法とは、例えば、操舵角度、速度、および自己位置情報等を入力すると、位置を推定することが可能となる演算式やプログラムである。
　また、現在位置予測部７４は、位置情報蓄積部９２に時刻情報と対応付けて蓄積されている、複数フレーム分の車両３４の周囲の車両や歩行者の位置の情報に基づいて、現在の位置を予測する。
　表示画像作成部７５は、車両情報取得部７３において取得された車両情報に基づいて、オペレータ３１に提示する表示画像を生成し、出力部５３の表示部８１に出力して表示させる。
　この際、表示画像作成部７５は、遅延時間に応じて、表示方法を切り替えて表示画像を生成する。
　遅延時間に応じて表示方法を切り替えて生成される表示画像については、詳細を後述する。
　操舵情報供給部７６は、通信部５５を制御して、操舵情報取得部７１により取得された操舵情報を操作対象となる車両３４に送信させて、供給する。
　入力部５２は、オペレータ３１が操舵情報を入力するキーボード、マウス、ステアリング、タッチパネルなどの入力デバイスより構成され、入力された操舵情報と対応する各種の信号を制御部５１に供給する。
　出力部５３は、制御部５１により制御され、表示部８１、および音声出力部８２を備えている。表示部８１は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示デバイスであり、表示画像作成部７５により作成された表示画像や各種の処理結果を表示する。また、音声出力部８２は、スピーカなどの音声出力デバイスからなり、各種の音声や音楽、効果音などを音声として出力する。
　記憶部５４は、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、制御部５１により制御され、各種のデータおよびプログラムを書き込む、または、読み出す。記憶部５４は、予測方法記憶部９１、および位置情報蓄積部９２を備えている。
　通信部５５は、制御部５１により制御され、有線または無線により、LAN（Local Area Network）やブルートゥース（登録商標）等に代表される通信を実現し、必要に応じてネットワーク３３を介して、車両３４との間で各種のデータやプログラムを送受信する。
　ドライブ５６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体５７に対してデータを読み書きする。
　＜車両の構成例＞
　次に、図５のブロック図を参照して、車両３４の構成例について説明する。
　車両３４は、車両制御ＥＣＵ（Electronic Control Unit）１１１、通信部１１２、地図情報蓄積部１１３、位置情報取得部１１４、外部認識センサ１１５、車内センサ１１６、車両センサ１１７、記憶部１１８、運転制御部１１９、ＤＭＳ（Driver Monitoring System）１２０、ＨＭＩ（Human Machine Interface）１２１、及び、車両制御部１２２を備える。
　車両制御ＥＣＵ１１１、通信部１１２、地図情報蓄積部１１３、位置情報取得部１１４、外部認識センサ１１５、車内センサ１１６、車両センサ１１７、記憶部１１８、運転制御部１１９、ＤＭＳ１２０、ＨＭＩ１２１、及び、車両制御部１２２は、通信ネットワーク１２３を介して相互に通信可能に接続されている。通信ネットワーク１２３は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、ＦｌｅｘＲａｙ（登録商標）、イーサネット（登録商標）といったデジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。
　車両制御ＥＣＵ１１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）といった各種のプロセッサにより構成される。車両制御ＥＣＵ１１１は、車両３４全体又は一部の機能の制御を行う。
　通信部１１２は、オペレータ端末３２、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部１１２は、複数の通信方式を用いて通信を行うことができる。
　通信部１１２が実行可能な車外との通信について、概略的に説明する。通信部１１２は、例えば、５Ｇ（第５世代移動通信システム）、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部１１２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部１１２が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でデジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
　また例えば、通信部１１２は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、ＭＴＣ（Machine Type Communication）端末である。さらに、通信部１１２は、Ｖ２Ｘ通信を行うこともできる。Ｖ２Ｘ通信とは、例えば、他の車両との間の車車間（Ｖ２Ｖ：Vehicle to Vehicle）通信、路側器等との間の路車間（Ｖ２Ｉ：Vehicle to Infrastructure）通信、家との間（Ｖ２Ｈ：Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Ｖ２Ｐ：Vehicle to Pedestrian）通信等の、自車と他との通信をいう。
　通信部１１２は、例えば、遠隔操縦システム１１の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる（Over The Air）。通信部１１２は、さらに、地図情報、交通情報、車両３４の周囲の情報等を外部から受信することができる。また例えば、通信部１１２は、車両３４に関する情報や、車両３４の周囲の情報等を外部に送信することができる。通信部１１２が外部に送信する車両３４に関する情報としては、例えば、車両３４の状態を示すデータ等がある。さらに例えば、通信部１１２は、ｅコール等の車両緊急通報システムに対応した通信を行う。
　例えば、通信部１１２は、電波ビーコン、光ビーコン、ＦＭ多重放送等の道路交通情報通信システム（ＶＩＣＳ（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。
　地図情報蓄積部１１３は、外部から取得した地図及び車両３４で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部１１３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
　位置情報取得部１１４は、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信し、車両３４の位置情報を取得する。取得した位置情報は、運転制御部１１９に供給される。なお、位置情報取得部１１４は、ＧＮＳＳ信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
　外部認識センサ１１５は、車両３４の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両３４の各部に供給する。外部認識センサ１１５が備えるセンサの種類や数は任意である。
　例えば、外部認識センサ１１５は、カメラ１３１、レーダ１３２、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）１３３、及び、超音波センサ１３４を備える。これに限らず、外部認識センサ１１５は、カメラ１３１、レーダ５１１、ＬｉＤＡＲ１３３、及び、超音波センサ１３４のうち１種類以上のセンサを備える構成でもよい。尚、周囲の車両や歩行者との距離が測定できれば、ＬｉＤＡＲ１３３以外のセンサであってもよく、例えば、デプスセンサやステレオカメラなどであってもよい。
　車内センサ１１６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを供給する。車内センサ１１６が備える各種センサの種類や数は、現実的に車両３４に設置可能な種類や数であれば特に限定されない。
　車両センサ１１７は、車両３４の状態を検出するための各種のセンサを備え、各センサからのセンサデータを供給する。車両センサ１１７が備える各種センサの種類や数は、現実的に車両３４に設置可能な種類や数であれば特に限定されない。
　例えば、車両センサ１１７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（ＩＭＵ（Inertial Measurement Unit））を備える。例えば、車両センサ１１７は、ステアリングホイールの操舵角度を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ１１７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ１１７は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
　記憶部１１８は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部１１８は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)及びＲＡＭ(Random Access Memory)として用いられ、記憶媒体としては、ＨＤＤ（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部１１８は、車両３４の各部が用いる各種プログラムやデータを記憶する。
　運転制御部１１９は、車両３４の運転機能の制御を行う。運転制御部１１９は、操舵制御部１４１、センサ情報取得部１４２、および車両情報通信部１４３を備える。
　操舵制御部１４１は、通信部１１２を制御して、オペレータ端末３２より送信されてくる操舵情報を取得し、取得した操舵情報に基づいて、車両制御部１２２を制御して、車両３４の走行に係る操舵、加速、減速、停止等の動作を制御する。
　センサ情報取得部１４２は、外部認識センサ１１５により取得される車両３４の周囲の他の車両および歩行者の位置および距離が認識可能な検出結果を、車両周辺情報として取得する。
　車両情報通信部１４３は、位置情報取得部１１４より取得される自車両の位置情報、およびセンサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能な周辺物体情報、並びに、車両センサ１１７により検出されている自車両の操舵角度、および速度の情報をまとめることで、車両情報を構成し、通信部１１２を制御して、オペレータ端末３２に送信する。この他、車両情報には、後述する自車位置の予測に必要とされる車両３４のホイールベース長やタイヤ径など、車両３４の車体やスペックに係る情報が含まれてもよい。
　ＤＭＳ１２０は、車内センサ１１６からのセンサデータ、及び、後述するＨＭＩ１２１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
　なお、ＤＭＳ１２０が、運転者以外の利用者の認証処理、及び、当該利用者の状態の認識処理を行うようにしてもよい。また、例えば、ＤＭＳ１２０が、車内センサ１１６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
　ＨＭＩ１２１は、各種のデータや指示等の入力と、各種のデータの利用者への提示を行う。
　車両制御部１２２は、車両３４の各部の制御を行う。車両制御部１２２は、ステアリング制御部１５１、ブレーキ制御部１５２、駆動制御部１５３、ボディ系制御部１５４、ライト制御部１５５、及び、ホーン制御部１５６を備える。
　ステアリング制御部１５１は、車両３４のステアリングシステムの状態の検出及び制御等を行う。ブレーキ制御部１５２は、車両３４のブレーキシステムの状態の検出及び制御等を行う。駆動制御部１５３は、車両３４の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。ボディ系制御部１５４は、車両３４のボディ系システムの状態の検出及び制御等を行う。ライト制御部１５５は、車両３４の各種のライトの状態の検出及び制御等を行う。ホーン制御部１５６は、車両３４のカーホーンの状態の検出及び制御等を行う。
　＜自車両の表示方法＞
　次に、図６を参照して、表示画像作成部７５において作成される表示画像の自車両の表示方法について説明する。
　自車両の表示方法には、表示視点と表示情報との２つの要素があり、表示画像作成部７５は、遅延時間に応じて表示視点と表示情報とをそれぞれ切り替えて、自車両を表示する表示画像を作成する。
　図６は、表示視点と表示情報とを切り替えて、表示方法を変更することで生成される表示画像例を示している。
　図６で示されるように、表示視点には、鳥瞰図、三人称視点図、および一人称視点図の３種類がある。
　鳥瞰図は、自車両と周辺の車両や歩行者を上から見下ろすような表示方法であり、一般的なカーナビゲーションシステムなどにも採用される２次元マップ上に、自車両と周辺車両や歩行者の予測位置を描画する表示画像であり、表示画像の生成に係る処理負荷が最も軽い表示視点である。
　三人称視点図は、車両情報に含まれているカメラ１３１で撮像された画像内に第三者の視点位置から自車両と周辺車両や歩行者の予測位置を描画する表示画像であり、鳥瞰図よりも表示画像の生成に係る処理負荷が重い表示視点である。
　一人称視点図は、車両３４に搭乗している搭乗者の視点位置からの、カメラ１３１により撮像された画像に相当する、３Ｄマップ情報に基づいたCG（Computer Graphics）画像上に、周辺車両や歩行者の予測位置を描画する表示画像であり、三人称視点図よりも表示画像の生成に係る処理負荷が重い表示視点である。
　一人称視点図は、遅延が発生していない場合に自車両に設けられたカメラ１３１により撮像される画像を再現したCG画像である。このため、一人称視点図からなる表示画像の生成においては、認知負荷や学習コストが低いが、事前に走行する場所の３Ｄマップ情報が必要となる。また、一人称視点図は、遅延が発生していない場合に自車両に設けられたカメラ１３１により撮像される画像を再現したCG画像であるので、自車両に搭乗したとき視認されることが想定される画像であるため、自車両そのものは表示されない。
　また、表示情報は、位置のみ、車体角度、およびルートの３種類がある。
　表示情報が位置のみである場合、表示画像においては、認識された自己位置と共に予測位置のみが円や四角といった２次元図形で表示される。
　表示情報が車体角度である場合、予測位置に付された円に尾をつける、立方体で表示するなどすることで、車体の角度やタイヤの角度がわかるようにする。これより車線変更や右左折といったステアリング操作が容易となる。
　表示情報がルートである場合、予測位置に加えて、走行することが想定されたルートを描画する。
　図６においては、図中の水平方向に左から順に、鳥瞰図、三人称視点図、および一人称視点図の表示画像例が示されており、垂直方向に上から順に、位置のみ、車体角度、およびルートの表示画像例が示されている。
　表示視点が鳥瞰図であって、表示情報が位置のみの表示画像の場合、図中の左側のレーンに方形状のマークにより周辺車両であるバイクが表現されている。また、右側のレーンの下側の薄いグレーの丸マークにより車両情報に基づいた自己位置が表現されている。さらに、上側の濃いグレーの丸マークにより、車両情報の自己位置と遅延時間とに基づいて予測された現在の自己位置が表現されている。
　表示視点が鳥瞰図であって、表示情報が車体角度である表示画像の場合、図中の左側のレーンに方形状のマークにより周辺車両であるバイクが表現されている。また、右側のレーンの下側の薄いグレーの丸マークにより車両情報に基づいた自己位置が表現されている。さらに、上側の濃いグレーの丸マークにより車両情報の自己位置と遅延時間とに基づいて予測された自己位置が表現され、さらに、凸部の向きにより車体角度が表現されている。
　表示視点が鳥瞰図であって、表示情報がルートである表示画像の場合、図中の左側のレーンに方形状のマークにより周辺車両であるバイクが表現されている。また、右側のレーンの下側の薄いグレーの丸マークにより自車両の自己位置情報に基づいた位置が表現されている。さらに、上側の濃いグレーの丸マークにより車両情報の自己位置と遅延時間とに基づいて予測された自己位置が表現されており、右側のレーン上の曲線によりルートが表現されている。
　表示視点が三人称視点図であって、表示情報が位置のみである表示画像の場合、カメラ１３１により撮像された画像上に、図中の左側のレーンに周辺車両としてのバイクが表示されている。また、右側のレーンのグレーの丸マークにより車両情報の自己位置と遅延時間とに基づいて予測された自己位置が表現されている。
　表示視点が三人称視点図であって、表示情報が車体角度である表示画像の場合、カメラ１３１により撮像された画像上に、図中の左側のレーンに周辺車両としてのバイクが表示されている。また、右側のレーンのボックス状のマークにより車両情報の自己位置と遅延時間とに基づいて予測された自己位置が表現されている。
　表示視点が三人称視点図であって、表示情報がルートである表示画像の場合、カメラ１３１により撮像された画像上に、図中の左側のレーンに周辺車両としてのバイクが表示されている。また、右側のレーンの丸マークにより車両情報の自己位置と遅延時間とに基づいて予測された自己位置が表現されており、右側のレーン上の曲線によりルートが表現されている。
　表示視点が一人称視点図であって、表示情報が位置のみである表示画像の場合、カメラ１３１により撮像された画像に相当する、３Ｄマップ情報に基づいて生成されたＣＧ画像上に、図中の左側のレーンに周辺車両としてのバイクが表示されている。
　表示視点が一人称視点図であって、表示情報が車体角度である表示画像の場合、カメラ１３１により撮像された画像に相当する、３Ｄマップ情報に基づいて生成されたＣＧ画像上に、図中の左側のレーンにバイクが表示されており、右側のレーンの丸マークと矢印により車体角度が表現されている。
　表示視点が一人称視点図であって、表示情報がルートである表示画像の場合、カメラ１３１により撮像された画像に相当する、３Ｄマップ情報に基づいて生成されたＣＧ画像上に、図中の左側のレーンにバイクが表示されており、右側のレーンの曲線によりルートが表現されている。
　表示視点については、処理負荷が重い方から、一人称視点図、三人称視点図、および鳥瞰図の順となる。したがって、基本的には、表示視点は、遅延時間が長いほど、より処理負荷の軽いものが選択される。
　また、表示情報については、視認性に応じて選択される。例えば、周辺車両が少ない場合には、重畳表示されるものが少ないので、ルートが表示情報として選択される。また、周辺車両がある程度ある場合、直線が長く続くようなときには車体変化を少ないと考えられるので、位置のみが表示情報として選択とされ、それ以外のときに、車体角度が表示方法として選択される。
　＜周辺物体の表示方法＞
　次に、図７を参照して、周辺物体の表示方法について説明する。
　周辺物体の位置は、蓄積された位置情報に基づいて、予測されるものであるので、絶対的な位置情報ではない。
　そこで、周辺物体である周辺車両や歩行者の位置については、予測結果であり、絶対的な位置ではないが、存在する可能性がある範囲を明示的に表示する。
　周辺物体の表示方法については、予測位置の重畳表示、エリア表示、および予測位置のみの表示の３種類がある。
　予測位置の重畳表示は、例えば、表示画像上にピンポイントで予測位置を示す表示であり、例えば、図７における表示画像（１－１），（１－２）などである。
　表示画像（１－１）においては、三人称視点図のカメラ画像において、予測位置が丸マークで表現されている。
　また、表示画像（１－２）においては、一人称視点図のＣＧ画像上に、予測位置がボックス状のマークで描画されているが、三人称視点図のカメラ画像上の対象物体と重なるような場合、対象物体にはボックス状のマークの描画が重ならないように表示する。
　予測位置のエリア表示は、予測結果をピンポイントで表現するのではなく、対象物体が存在する可能性がある範囲をエリアとして描画する。ただし、エリア表示は、広く予測結果を見られるため安全性があがるが、対象物体が多い場合、表示が重なってしまうので、個別に識別するのが難しくなる可能性がある。
　表示画像（２－１）においては、対象物体がボックスなどで存在する可能性のある範囲をすべて囲む表示とされている。対象物体画像をクリップし、拡大してエリアを描画するようにしてもよい。
　表示画像（２－２）においては、対象物体が、存在確立に応じたグラデーションエフェクトで描画されている。対象物体全体にエフェクトをかける方法の他、路面部分に重畳するように描画するようにしてもよい。
　表示画像（２－３）においては、対象物体に対してはエフェクトがかけられていないが、低画質化して表現されている。すなわち、対象物体が視認し難くなるので、減速する必要があることを認識し易くすることができる。
　表示画像（２－４）においては、対象物体の予測位置に対してエフェクトのみが描画されている。
　予測位置のみの表示は、生成されたＣＧ画像から対象物体を消去し、予測位置のみが描画されるようにする。このため、予測位置のみの表示は、表示がシンプルでありわかりやすいが、遅延が大きく予測精度が低いときは誤認を招く恐れがある。
　表示画像（３－１）においては、対象物体の画像がクリップされて予測位置に描画されて、重畳表示されている。尚、表示画像（３－１）の点線の楕円や矢印は、表示画像上で表示されるものではなく、点線の楕円が対象物体であるバイクの画像が元々存在していたクリップされる前の位置を表現しており、矢印がクリップされた画像が移動された距離と方向を表現している。
　表示画像（３－２）においては、対象物体の予測位置に、ボックスなどの図形が描画されて、重畳表示されている。
　周辺物体表示方法においては、表示画像の生成に係る負荷が重い順に、予測位置のみの表示、エリア表示、および予測位置の重畳表示となるため、基本的には、遅延時間が長いほど処理負荷の低い表示方法が選択される。
　尚、図７においては、一人称視点図について、説明してきたが、鳥瞰図や三人称視点図においても同様に表現するようにしてもよい。
　すなわち、図８の左部の表示画像で示されるように、鳥瞰図の場合には、方形状のマークで表現される、周辺車両としてのバイクに対して、予測位置を広くして表現した方形状のグレーのマークが重畳表示されている。
　また、図８の中央部の表示画像で示されるように、三人称視点図においても、一人称視点図と同様に、周辺車両であるバイクが描画された位置に、半透明状のボックスで予測範囲が重畳表示されている。
　尚、図８の右部の表示画像は、一人称視点図において、周辺車両であるバイクが描画された位置に、半透明状のボックスで予測範囲が重畳表示されている例を示している。
　＜周辺物体の表示方法の変形例＞
　以上においては、予測位置に基づいた周辺物体の表示方法の例について説明してきたが、予測位置と共に、複数のフレーム分の周辺物体の位置情報が取得できる場合、周辺物体の速度も推定することができる。
　ここで、自車両の前方で、速度変化から減速していることが認識できる周辺物体が存在する場合、その周辺物体の後方を走行しているときには、早めに減速する必要がある。
　そこで、自車両の前方で、速度変化から減速していることが認識できる周辺物体が存在する場合、減速していることを認識できるように、周辺物体を表示するようにしてもよい。
　すなわち、例えば、図９の左部の表示画像で示されるように、周辺物体の後方に予測位置が存在するようなボックス状のマークが重畳表示されるようにしてもよい。
　また、例えば、図９の中央部の表示画像で示されるように、周辺物体を含めて後方に延びるようなボックス状のマークが重畳表示されるようにしてもよい。
　さらに、例えば、図９の右部の表示画像で示されるように、周辺物体の画像をクリップして、後方にずらして表示するようにしてもよい。尚、図９の右部の表示画像においては、周辺物体となるバイクの画像が丸マークの点線部分の位置からクリップされて、矢印で表現される自車両側にずらして表示されていることが表現されており、現実に点線部や矢印は表示されない。
　＜遠隔操縦制御処理＞
　次に、図１０のフローチャートを参照して、図２の遠隔操縦システム１１による遠隔操縦制御処理について説明する。
　ステップＳ３１において、センサ情報取得部１４２は、外部認識センサ１１５により取得される車両３４の周囲の他の車両および歩行者の位置および距離が認識可能な検出結果を取得する。すなわち、センサ情報取得部１４２は、周囲を撮像するカメラ画像や周辺物体との距離が認識可能な距離画像などを周辺物体情報として取得する。
　ステップＳ３２において、センサ情報取得部１４２は、自車両の位置情報を位置情報取得部１１４より取得する。
　ステップＳ３３において、センサ情報取得部１４２は、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報を取得する。
　ステップＳ３４において、車両情報通信部１４３は、位置情報取得部１１４より取得される自車両の位置情報、センサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能なセンシング結果からなる周辺物体情報、並びに、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報をまとめて、車両情報を構成し、通信部１１２を制御して、オペレータ端末３２に送信する。
　この際、車両情報通信部１４３は、通信部１１２を制御して、車両情報を送信する際に、車両３４を識別する情報と共に、送信タイミングを示す時刻情報を付して送信する。
　ステップＳ５１において、車両情報取得部７３は、通信部５５を制御して、車両３４より送信されてくる車両情報を取得する。
　この際、車両情報取得部７３は、車両情報を取得したタイミングにおける時刻情報を車両情報と対応付ける。
　ステップＳ５２において、遅延時間取得部７２は、車両情報取得部７３により取得された車両情報に付与されている、送信タイミングを示す時刻情報と、車両情報と対応付けて記憶されている、車両情報を受信した時刻情報との差分から、車両３４とオペレータ端末３２との通信に係る遅延時間を計測して、計測結果となる遅延時間を取得する。
　ステップＳ５３において、現在位置予測部７４は、取得した車両情報に基づいて、自車位置予測処理を実行して、車両情報を送信してきた車両３４の自車位置を予測する。
　尚、自車位置予測処理については、図１１，図１２を参照して、詳細を後述する。
　ステップＳ５４において、表示画像作成部７５は、遅延時間に基づいて、自車位置表示方法決定処理を実行して、自車位置の表示方法を決定する。
　尚、自車位置表示方法決定処理については、図１３乃至図１５を参照して、詳細を後述する。
　ステップＳ５５において、現在位置予測部７４は、車両情報に基づいて、周辺物体予測処理を実行し、車両情報を送信してきた車両３４の周辺の車両や歩行者の位置を予測する。
　尚、周辺物体予測処理は、図１６を参照して、詳細を後述する。
　ステップＳ５６において、表示画像作成部７５は、遅延時間に基づいて、周辺物体表示方法決定処理を実行し、周辺物体の表示方法を決定する。
　尚、周辺物体表示方法決定処理については、図１７を参照して、詳細を後述する。
　ステップＳ５７において、表示画像作成部７５は、自車位置表示方法決定処理により決定された自車位置表示方法で、自車位置を表示し、周辺物体表示方法決定処理により決定された周辺物体表示方法で、周辺物体を表示する表示画像を生成し、表示部８１に出力して表示する。
　この処理により、自車両と、その周辺物体とが、通信遅延を考慮した表示方法で、かつ、通信遅延を考慮した予測位置に表示された表示画像が表示部８１に表示されることになる。
　これにより、オペレータ３１は、表示部８１に表示されている、通信遅延による影響が低減された状態の表示画像を視聴することで、車両３４における自車位置と周辺物体との位置関係を適切に視認しながら車両３４を操縦することが可能となる。
　ステップＳ５８において、操舵情報取得部７１は、オペレータ３１により入力部５２が操作されることにより入力される操舵情報を取得する。
　ステップＳ５９において、操舵情報供給部７６は、操舵情報取得部７１により取得された、オペレータにより入力部５２が操作されることで入力された操舵情報を、通信部５５を制御して、車両３４に送信する。
　ステップＳ３５において、操舵制御部１４１は、通信部１１２を制御して、オペレータ端末３２より送信されてくる操舵情報を取得する。
　ステップＳ３６において、操舵制御部１４１は、操舵情報に基づいて、車両制御部１２２を制御して、車両３４の走行を制御する。
　ステップＳ３７，Ｓ６０において、処理の終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、それぞれＳ３１，Ｓ５１に戻り、それ以降の処理が繰り返される。
　そして、ステップＳ３７，Ｓ６０において、処理の終了が指示されると、処理が終了する。
　以上の一連の処理により、車両３４からの車両情報に基づいて、オペレータ端末３２の表示部８１には、自車両と、その周辺物体が、通信に係る遅延時間に応じた表示方法で、かつ、通信に係る遅延時間に応じた予測位置に表示された表示画像を表示させることが可能となる。
　これにより、オペレータ３１は、表示部８１に表示されている、通信に係る遅延による影響が低減された状態の表示画像を視聴しながら、車両３４における自車位置と周辺物体との位置関係を適切に把握しながら車両３４を操縦することが可能となる。
　結果として、遠隔操縦システムを利用した遠隔操縦の操作性と安全性を向上させることが可能となる。
　＜自車位置予測処理＞
　次に、図１１のフローチャートを参照して、自車位置予測処理について説明する。
　ステップＳ７１において、現在位置予測部７４は、車両情報における車両３４の操舵角度Ｓを取得する。
　ステップＳ７２において、現在位置予測部７４は、車両情報における車両３４の速度Ｖを取得する。
　ステップＳ７３において、現在位置予測部７４は、遅延時間取得部７２により取得された遅延時間Ｔを取得する。
　ステップＳ７４において、現在位置予測部７４は、車両情報における位置情報Ｐｃを取得する。
　ステップＳ７５において、現在位置予測部７４は、予測方法記憶部９１に記憶されている自車両の現在位置の予測に必要な予測方法として、例えば、演算式（Ｐｐ＝Ｐｃ＋ｆ（Ｓ，Ｖ，Ｔ））を読み出して、操舵角度Ｓ、速度Ｖ、遅延時間Ｔ、および位置情報Ｐｃに基づいて、自車両の現在位置を予測する。
　例えば、操舵角度が０度以外であり、いずれかの方向に舵角が取られている場合、図１２で示されるように車両３４の現在位置が予測される。ここで、車両情報送信時の車両３４の位置が、位置情報Ｐｃ（Ｘ，Ｚ）で定義され、図中上方向となるＺ方向に対して、図中右方向となるＸ方向に向けて操舵角度Ｓが取られており、速度Ｖで、遅延時間Ｔだけ移動したとき、現在時刻における車両３４の予測位置Ｐｐ（Ｘ’、Ｚ’）におけるＸ’，Ｚ’は、それぞれ以下の式（１），式（２）で表現される。
　Ｘ’＝Ｒ－Ｒcos（ωＴ＋θ０）[ｍ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　Ｚ’＝Ｒsin（ωＴ＋θ０）[ｍ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここで、Ｒは、車両３４の回転半径であり、以下の式（３）で表現される。
　Ｒ＝Ｗ／sinＳ[ｍ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、Ｗは、車両３４のホイールベース長であり、Ｓは操舵角度である。
　また、ωは、車両３４のヨー角速度であり、以下の式（４）で表現される。
　ω＝（１０００Ｖ／３６００）／Ｒ[ｒａｄ／ｓ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　さらに、操舵角度が０である場合、車両３４は、図１２における図中の上方であるＺ方向に直線的に進むことになるので、予測位置Ｐｐ（Ｘ’、Ｚ’）におけるＸ’，Ｚ’は、それぞれ以下の式（５）、式（６）で表現される。
　Ｘ’＝０[ｍ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　Ｚ’＝（１０００Ｖ／３６００）×Ｔ[ｍ]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　以上のような演算により、オペレータ端末３２おいては、車両３４が車両情報の位置情報に基づいて、通信に係る遅延時間において走行することで移動する距離を推定し、現在位置を予測することが可能となる。
　＜自車位置表示方法決定処理＞
　次に、図１３のフローチャートを参照して、自車位置表示方法決定処理について説明する。自車位置の表示方法には、上述したように、表示視点および表示情報の２つの要素を決定する必要がある。
　すなわち、ステップＳ９１において、表示画像作成部７５は、表示視点決定処理を実行して、表示視点を決定する。
　尚、表示視点決定処理については、図１４のフローチャートを参照して、詳細を後述する。
　ステップＳ９２において、表示画像作成部７５は、表示情報決定処理を実行して、表示情報を決定する。
　尚、表示情報決定処理については、図１５のフローチャートを参照して、詳細を後述する。
　以上の処理により表示視点と表示情報が決定されることにより、図６で示されるように表示視点のうち、鳥瞰図、三人称視点図、または一人称視点図のいずれかが決定され、さらに、表示情報のうち、位置のみ、車体角度、またはルートのいずれかが決定され、表示画像の表示方法が特定される。
　＜表示視点決定処理＞
　次に、図１４のフローチャートを参照して、表示視点決定処理について説明する。
　ステップＳ１１１において、表示画像作成部７５は、遅延時間Ｔが、所定時間Ｎ１以上であるか否かを判定する。
　ステップＳ１１１において、遅延時間Ｔが、所定時間Ｎ１以上であると判定された場合、処理は、ステップＳ１１２に進む。
　ステップＳ１１２において、表示画像作成部７５は、表示視点を鳥瞰図に決定する。
　ステップＳ１１１において、遅延時間Ｔが、所定時間Ｎ１以上ではないと判定された場合、処理は、ステップＳ１１３に進む。
　ステップＳ１１３において、表示画像作成部７５は、遅延時間Ｔが、所定時間Ｎ２（＜Ｎ１）以上であるか否かを判定する。
　ステップＳ１１３において、遅延時間Ｔが、所定時間Ｎ２以上であると判定された場合、処理は、ステップＳ１１４に進む。
　ステップＳ１１４において、表示画像作成部７５は、表示視点を三人称視点図に決定する。
　ステップＳ１１３において、遅延時間Ｔが、所定時間Ｎ２以上ではないと判定された場合、処理は、ステップＳ１１５に進む。
　ステップＳ１１５において、表示画像作成部７５は、一人称視点図を生成するために必要とされる３Ｄマップがあるか否かを判定する。
　ステップＳ１１５において、一人称視点図を生成するために必要とされる３Ｄマップがあると判定された場合、処理は、ステップＳ１１６に進む。
　ステップＳ１１６において、表示画像作成部７５は、表示視点を一人称視点図に決定する。
　ステップＳ１１５において、一人称視点図を生成するために必要とされる３Ｄマップがないと判定された場合、処理は、ステップＳ１１４に進み、表示視点を三人称視点図に決定する。
　すなわち、遅延時間Ｔの長さに応じて、表示画像の生成に係る処理負荷の小さな表示画像を生成することができる表示視点が選択される。
　今の場合、遅延時間Ｔが最も長い所定時間Ｎ１よりも長い場合、最も処理負荷が小さく、表示画像の生成に遅延が生じ難い鳥瞰図が選択される。
　また、遅延時間Ｔが所定時間Ｎ１よりも短いが、所定時間Ｎ２（＜Ｎ１）よりも長い場合、すなわち、鳥瞰図を生成する余裕はあるが、一人称視点図を生成できるほど余裕がない長さの場合、処理負荷が鳥瞰図よりも大きいが、一人称視点図を表示するよりも小さい、三人称視点図が選択される。
　さらに、遅延時間Ｔが所定時間Ｎ２よりも短く一人称視点図を生成できるほど余裕があり、一人称視点図に必要な３Ｄマップ情報が存在する場合、オペレータ３１にとって視認負荷の小さな一人称視点図が選択される。
　ただし、遅延時間Ｔが所定時間Ｎ２よりも短く一人称視点図を生成できるほど余裕があっても、一人称視点図に必要な３Ｄマップ情報が存在しない場合、三人称視点図が選択される。
　このような処理により、遅延時間Ｔと、表示画像の生成に必要とされる処理負荷の余裕や３Ｄマップ情報の有無に応じて、適切な表示視点を決定することが可能となる。
　＜表示情報決定処理＞
　次に、図１５のフローチャートを参照して、表示情報決定処理について説明する。
　ステップＳ１３１において、表示画像作成部７５は、周辺物体情報に含まれる、例えば、カメラにより撮像された画像に基づいて、自車両の周辺車両が所定数以下であるか否かを判定する。
　ステップＳ１３１において、周辺車両が所定数以下であると判定された場合、処理は、ステップＳ１３２に進む。
　ステップＳ１３２において、表示画像作成部７５は、周辺車両が少なく、複数の表示が表示されて視認性の低下が少なく、また、周囲への意識をあまり持つ必要がないので、目的地までのルートを表示情報として決定する。
　ステップＳ１３１において、周辺車両が所定数以下ではないと判定された場合、処理は、ステップＳ１３３に進む。
　ステップＳ１３３において、表示画像作成部７５は、周辺物体情報に含まれる、例えば、カメラにより撮像された画像に基づいて、直線が続く道路を走行しているか否かを判定する。
　ステップＳ１３３において、直線が続く道路を走行していると判定された場合、処理は、ステップＳ１３４に進む。
　ステップＳ１３４において、表示画像作成部７５は、周辺車両が多少多くても、直線の続く道を走行している限り、周囲車両などの走行経路が大きく変化することは少ないので、位置のみを表示情報として決定する。
　ステップＳ１３３において、直線が続く道路を走行していないと判定された場合、処理は、ステップＳ１３５に進む。
　ステップＳ１３５において、表示画像作成部７５は、周辺車両が多くても、直線の続かない道を走行しているので、周囲車両などの走行経路が大きく変化すること等も考慮の必要があるので、車体角度を表示情報として決定する。
　すなわち、周辺に車両が少ない場合、ルートを表示しても周辺車両に重畳されることがないと考えられるため、ルートを表示するようにする。
　また、周辺車両が多い場合、走行する道路が直線か否かが判定される。直線が続く道路の場合、ステアリング操作は少ないと考えられるため位置のみを表示し、それ以外の場合、車体角度を表示することでステアリング操作に係る判断をし易い情報を提示するようにする。
　＜周辺物体予測処理＞
　次に、図１６のフローチャートを参照して、周辺物体予測処理について説明する。
　ステップＳ１５１において、現在位置予測部７４は、遅延時間取得部７２により取得された遅延時間Ｔを取得する。
　ステップＳ１５２において、現在位置予測部７４は、車両情報に基づいて、自車両の位置情報を取得する。
　ステップＳ１５３において、現在位置予測部７４は、車両情報に含まれるセンサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能な周辺物体情報を構成するセンシング結果を取得する。
　ステップＳ１５４において、現在位置予測部７４は、周辺物体情報を構成するセンシング結果に基づいて、自車両の周辺物体を個別に認識して、それぞれの周辺物体の自車両を原点とした位置情報を算出する。
　ステップＳ１５５において、現在位置予測部７４は、自車両の周辺物体のうち、未処理の周辺物体を処理対象物体に設定する。
　ステップＳ１５６において、現在位置予測部７４は、位置情報蓄積部９２にアクセスし、処理対象物体に係る位置情報がＮフレーム分蓄積されているか否かを判定する。
　ステップＳ１５６において、処理対象物体に係る位置情報がＮフレーム分蓄積されていると判定された場合、処理は、ステップＳ１５７に進む。
　ステップＳ１５７において、現在位置予測部７４は、位置情報蓄積部９２に蓄積されている、処理対象物体に係るＮフレーム分の位置情報を取得する。
　ステップＳ１５８において、現在位置予測部７４は、処理対象物体に係るＮフレーム分の位置情報と、取得した車両情報の周辺物体情報に基づいて算出した処理対象物体の位置情報とに基づいて、Ｎフレーム分の時系列の位置情報の変化から、遅延時間分の移動量を算出し、取得した車両情報の周辺物体情報に基づいて算出した処理対象物体の位置情報に移動量を加算することで、処理対象物体の現在位置を予測する。
　ステップＳ１５９において、現在位置予測部７４は、処理対象物体の予測結果となる現在位置の情報を位置情報蓄積部９２に、処理対象物体を識別する情報と対応付けて蓄積する。
　尚、ステップＳ１５６において、処理対象物体に係る位置情報がＮフレーム分蓄積されていないと判定された場合、ステップＳ１５７，Ｓ１５８の処理がスキップされる。
　すなわち、この場合、処理対象物体の現在位置は予測（推定）することができないので、周辺物体情報から認識された位置情報が、処理対象物体の現在位置情報として、位置情報蓄積部９２に蓄積される。
　ステップＳ１６０において、現在位置予測部７４は、未処理の周辺物体が存在するか否かを判定し、未処理の周辺物体が存在する場合、処理は、ステップＳ１５５に戻る。
　すなわち、全ての周辺物体について、現在位置が予測されて位置情報蓄積部９２に更新されて登録されるか、または、周辺物体情報の位置情報が位置情報蓄積部９２に登録されるまで、ステップＳ１５５乃至Ｓ１６０の処理が繰り返される。
　そして、ステップＳ１６０において、全ての周辺物体の現在位置が予測されて位置情報蓄積部９２に更新されて登録されたと判定されるか、または、周辺物体情報の位置情報が位置情報蓄積部９２に登録されたと判定された場合、処理は、終了する。
　以上の処理により、周辺物体の現在位置が予測されて、順次蓄積され、蓄積された情報に基づいて、現在位置が予測されていく。このため、予測が繰り返される度に、予測精度を向上させながら、周辺物体の現在位置を予測することが可能となる。
　結果として、周辺物体の現在位置を適切に予測することが可能となる。
　＜周辺物体表示方法決定処理＞
　次に、図１７のフローチャートを参照して、周辺物体表示方法決定処理について説明する。
　ステップＳ１７１において、表示画像作成部７５は、遅延時間Ｔが所定時間Ｍ１以上であるか否かを判定する。
　ステップＳ１７１において、遅延時間Ｔが所定時間Ｍ１以上であると判定された場合、処理は、ステップＳ１７２に進む。
　ステップＳ１７２において、表示画像作成部７５は、予測位置のみとする表示方法を、周辺物体表示方法とする。
　ステップＳ１７１において、遅延時間Ｔが所定時間Ｍ１以上ではないと判定された場合、処理は、ステップＳ１７３に進む。
　ステップＳ１７３において、表示画像作成部７５は、遅延時間Ｔが所定時間Ｍ２（＜Ｍ１）以上であるか否かを判定する。
　ステップＳ１７３において、遅延時間Ｔが所定時間Ｍ２以上であると判定された場合、処理は、ステップＳ１７４に進む。
　ステップＳ１７４において、表示画像作成部７５は、エリアで表示する表示方法を、周辺物体表示方法をとする。
　ステップＳ１７４において、遅延時間Ｔが所定時間Ｍ２以上ではないと判定された場合、処理は、ステップＳ１７５に進む。
　ステップＳ１７５において、表示画像作成部７５は、予測位置を重畳表示する表示方法を、周辺物体表示方法とする。
　以上の処理により、遅延時間Ｔが、最も長い所定時間Ｍ１よりも長い場合、表示画像の生成に十分な時間が確保できないので、処理負荷が最も軽く、高速処理が可能な予測位置のみとする。
　また、遅延時間Ｔが、所定時間Ｍ１よりも短いが所定時間Ｍ２（＜Ｍ１）よりも長い場合、予測位置のみの表示画像を生成するには余裕があるが、予測位置を重畳表示する表示画像を生成するほど余裕がない時には、エリア表示とする。
　そして、遅延時間Ｔが所定時間Ｍ２よりも短く、表示画像の生成時間をある程度確保できるときには、予測位置を重畳表示する。
　これにより、遅延時間に基づく表示画像の生成に係る処理時間と負荷に応じて、周辺物体の表示方法を適切に切り替えて表示することが可能となる。
　＜鳥瞰図の変形例＞
　以上においては、図６を参照して説明したように、鳥瞰図が、２Ｄデータで表示される例について説明してきた。
　しかしながら、図６を参照して説明したように、鳥瞰図を２Ｄデータで表示するのみではなく、イラスト鳥瞰図やカメラ画像鳥瞰図にしてもよい。
　図１８は、表示視点として、イラスト鳥瞰図およびカメラ画像鳥瞰図を用いた場合の表示画像の例を示している。図１８の左部は、イラスト鳥瞰図の例を示した表示画像ＢＶ１であり、図１８の右部は、カメラ画像鳥瞰図の例を示した表示画像ＢＶ２である。
　図１８のイラスト鳥瞰図からなる表示画像ＢＶ１は、車線を跨いで左右に左から図中下方向に向かう車両と、図中上方向に向かい車両とがイラストで表示されている例である。表示画像ＢＶ１は、イラストを用いた描画がなされることにより、必要とされるデータを小さくすることができ、また、これにより表示画像の生成や描画に係る処理負荷を低減し、処理時間を短縮することが可能となる。
　図１８のカメラ画像鳥瞰図からなる表示画像ＢＶ２は、自車両を真上から見たときの様子を表現するカメラ画像、いわゆる、アラウンドビューモニタ画像からなる鳥瞰図である。
　カメラ画像鳥瞰図からなる表示画像ＢＶ２は、イラスト鳥瞰図からなる表示画像ＢＶ１と比べると、車両情報に車両３４の周囲の画像を撮像したカメラ画像の通信が必要となるだけ通信負荷が大きく、通信に係る遅延が発生する可能性がある。
　しかしながら、カメラ画像鳥瞰図からなる表示画像ＢＶ２は、中心位置に必ず自車両が存在する画像となるため、三人称視点図と比べて、通信に係るデータ量を小さくできるので、三人称視点図よりは表示画像の生成に係る処理負荷が小さく、処理時間も短くできる。
　＜イラスト鳥瞰図とカメラ画像鳥瞰図を含めた表示視点決定処理＞
　次に、図１９のフローチャートを参照して、図１８のイラスト鳥瞰図とカメラ画像鳥瞰図を含めた表示視点決定処理について説明する。
　尚、図１９のフローチャートにおけるステップＳ１９５乃至Ｓ１９８の処理については、図１４のフローチャートを参照して説明したステップＳ１１３乃至Ｓ１１６の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１９１において、表示画像作成部７５は、遅延時間Ｔが、所定時間Ｎ０（＞Ｔ１）以上であるか否かを判定する。
　ステップＳ１９１において、遅延時間Ｔが、所定時間Ｎ０（＞Ｔ１）以上であると判定された場合、処理は、ステップＳ１９２に進む。
　ステップＳ１９２において、表示画像作成部７５は、表示視点をイラスト鳥瞰図に決定する。
　ステップＳ１９１において、遅延時間Ｔが、所定時間Ｎ０（＞Ｔ１）以上ではないと判定された場合、処理は、ステップＳ１９３に進む。
　ステップＳ１９３において、表示画像作成部７５は、遅延時間Ｔが、所定時間Ｎ１（＜Ｎ０）以上であるか否かを判定する。
　ステップＳ１９３において、遅延時間Ｔが、所定時間Ｎ１（＜Ｎ０）以上であると判定された場合、処理は、ステップＳ１９４に進む。
　ステップＳ１９４において、表示画像作成部７５は、表示視点をカメラ画像鳥瞰図に決定する。
　ステップＳ１９３において、遅延時間Ｔが、所定時間Ｎ１（＜Ｎ０）以上ではないと判定された場合、処理は、ステップＳ１９５に進み、三人称視点図、または、一人称視点図のいずれかとされる。
　すなわち、遅延時間Ｔの長さに応じて、所定時間Ｎ０（＞Ｎ１）より長い時には、鳥瞰図のうち、イラスト鳥瞰図が選択され、所定時間Ｎ０（＞Ｎ１）より短く、所定時間Ｎ１よりも長い時には、鳥瞰図のうち、カメラ画像鳥瞰図が選択される。
　このような処理により、遅延時間Ｔの長さに応じて、視認性および処理時間が考慮された表示視点が適切に設定される。
　＜周辺物体表示方法に警告情報を含ませる例＞
　次に、例えば、遅延時間Ｔが極端に長く、位置の推定精度などが低下して、遠隔操縦が危険と見做せる状態となった場合のため、表示情報として、遅延時間の具体的な提示や、付近に停車して遠隔操縦を終了するような警告情報を周辺情報表示方法の１つとするようにしてもよい。
　警告情報は、例えば、図２０の表示画像ＷＶ１で示されるように、表示画像上に警告文表示欄ＷＴを設定するようにしてもよい。表示画像ＷＶ１の警告文表示欄ＷＴにおいては、「通信遅延が発生しています。停車して下さい。」と表示されており、遅延時間Ｔが長いので、表示される情報の精度が担保されないので、車両３４を停車させて、遠隔操縦を終了するように促す情報が提示されている。
　また、警告情報は、図２０の表示画像ＷＶ２で示されるように、警告マークＷＣが表示されるようにしてもよい。警告マークＷＣは、遅延時間の長さに応じて色や大きさが変化するものである。
　すなわち、警告マークＷＣは、例えば、遅延時間Ｔが短いほど青色で、かつ、小さなサイズで表示されるようにしてもよい。そして、警告マークＷＣは、例えば、遅延時間Ｔが長くなるにつれて青色から黄色へと変化し、かつ、徐々に大きなサイズとなるようにしてもよい。さらに、警告マークＷＣは、例えば、遅延時間Ｔが所定時間よりも長く、停車して遠隔操縦を停止させる必要がある場合には、黄色から赤色へと変化して、かつ、表示画像ＷＶ２を見ながら遠隔操縦が困難な程度まで大きなサイズとされるようにしてもよい。
　さらに、警告情報は、図２０の表示画像ＷＶ３で示されるように、全体に半透明なハッチングを掛けることにより、視界が悪い状態を疑似的に演出し、視認性を低下させるように表示するようにしてもよい。このような警告表示にすることで、オペレータ３１に対して操縦し難い状況を作り上げることで、自主的にスピードの低下を促すようにしてもよい。
　以上のように、遅延時間に応じて、遅延時間が所定の時間より長く、自車位置や周辺物体の予測精度が下がり、遠隔からの監視・操縦は危険になるような場合には、図２０の表示画像ＷＶ１乃至ＷＶ３で示されるような警告表示がなされるようにすることで安全性を確保することが可能となる。
　尚、図２０の表示画像ＷＶ１乃至ＷＶ３で示されるような警告表示は、少なくとも予測位置のみ表示などで生成された表示画像上に警告を認識させる情報を重畳表示させるものである。このため、周辺車両表示方法として警告表示が選択されるときには、例えば、予測位置のみの表示方法で周辺物体を表現した上で、警告文表示欄ＷＴ、警告マークＷＣ、およびハッチングが掛けられるようにする。
　＜警告情報を含む周辺物体表示方法決定処理＞
　次に、図２１のフローチャートを参照して、警告情報を含む周辺物体表示方法決定処理について説明する。
　尚、図２１のフローチャートにおいて、ステップＳ２１３乃至Ｓ２１７の処理は、図１７のフローチャートを参照して説明したステップＳ１７１乃至Ｓ１７５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ２１１において、表示画像作成部７５は、遅延時間Ｔが所定時間Ｍ０（＞Ｍ１）以上であるか否かを判定する。
　ステップＳ２１１において、遅延時間Ｔが所定時間Ｍ０以上であると判定された場合、処理は、ステップＳ２１２に進む。
　ステップＳ２１２２において、表示画像作成部７５は、図２０で参照して説明した表示画像ＷＶ１乃至ＷＶ３で示されるような警告表示を、周辺物体表示方法とする。
　尚、ステップＳ２１１において、遅延時間Ｔが所定時間Ｍ０以上ではないと判定された場合、処理は、ステップＳ２１３に進み、予測位置のみ、エリア表示、または予測位置を重畳表示のいずれかが周辺物体表示方法として決定される。
　以上の処理により、所定時間Ｍ０として、遅延時間Ｔが、遠隔操縦に支障をきたすことが想定される時間が設定されるようにすることで、これを超えた場合には、図２０の表示画像ＷＶ１乃至ＷＶ３で示されるような警告表示がなされるようになるので、安全性を確保することが可能となる。
　＜遅延時間以外の条件に基づいた周辺物体表示方法決定処理＞
　以上においては、遅延時間Ｔに基づいて、周辺物体表示方法を決定する例について説明してきたが、遅延時間以外の条件に基づいて、周辺物体表示方法を切り替えるようにしてもよい。
　例えば、遅延時間Ｔが、所定時間Ｍ１以上ではない場合については、ある程度、遅延時間が短いので、遅延時間Ｔを条件とした判定ではなく、例えば、周辺車両が所定数よりも少ないか否かに基づいて判定されるようにしてもよい。
　この場合、周辺車両が所定数よりも多いときや、道幅が狭いときには、表示画像上に多くの周辺車両の情報が提示されることになり、煩雑な表示画像となって、視認性が低下する恐れがあるので、例えば、周辺物体表示方法として位置のみが設定されるようにしてもよい。
　逆に、周辺車両が所定数よりも少ないときには、表示画像上に提示される周辺車両の情報が少ないことになり、すっきりとした見やすい表示画像となり、視認性が担保されるので、周辺物体表示方法としてエリアでの表示が設定されるようにしてもよい。すなわち、遅延時間に基づいた判定ではなく、視認性に基づいて判定されるようにしてもよい。
　図２２は、遅延時間Ｔが、所定時間Ｍ１以上ではない場合について、周辺車両が所定数よりも少ないか否かが判定されるようにした周辺物体表示方法判定処理を説明するフローチャートである。
　尚、図２２のフローチャートにおいては、ステップＳ２３１，Ｓ２３２，Ｓ２３４，Ｓ２３５の処理は、図１７のフローチャートを参照して説明したステップＳ１７１，Ｓ１７２，Ｓ１７４，Ｓ１７５の処理と同様であるので、その説明は省略する。
　すなわち、図２２のフローチャートにおいては、ステップＳ２３１において、遅延時間Ｔが、所定時間Ｍ１以上ではない場合、処理が、ステップＳ２３３に進む。
　ステップＳ２３３において、表示画像作成部７５は、周辺物体情報に基づいて、周辺車両が所定数より少ないか否かを判定する。
　ステップＳ２３３において、周辺車両が所定数よりも少ないときには、ステップＳ２３４の処理により、周辺物体表示方法としてエリアでの表示が設定されるようにしてもよい。
　ステップＳ２３３において、周辺車両が所定数よりも多いときには、ステップＳ２３５の処理により、周辺物体表示方法として位置のみが設定される。
　以上の処理により、遅延時間のみならず、周辺車両数や道幅等に応じた視認性も考慮して、周辺物体表示方法を選択することが可能となる。
　＜応用例（その１）＞
　以上においては、遅延時間に応じて、自車両と周辺車両とのそれぞれの表示方法が切り替えられて表示される例について説明してきたが、さらに、走行に係る情報を提示するようにしてもよい。
　鳥観図や三人称視点図では自己の予測位置を明示するため、自己位置に注目し易くなる。そこで、信号や交通情報など、位置の変化を予測する必要がない情報を、注目し易い自己位置の情報が提示される周辺に提示することで、視線移動を低減し、情報を把握し易くするようにしてもよい。
　例えば、図２３の左部の表示画像ＷＶ１１で示されるように、自車両の速度や、前方の信号機の情報を文字や記号で表示するようにしてもよい。
　表示画像ＷＶ１１においては、右下部の自車両の位置を示す自車位置マークＷＬ上に、自車両の走行速度が提示されており、図２３においては、「52km/h」と提示されている。また、マークＷＬの右上には、信号機マークＳＧが提示されており、図２３においては、一番右側の赤色が点灯していることが提示されている。
　表示画像ＷＶ１１で示されるように、視線が集中し易い自車位置マークＷＬに速度が提示され、その近傍において、直近の信号機の点灯情報が提示されることによりオペレータ３１の視線移動を極力小さくさせると共に、情報把握を容易にさせることが可能になる。
　また、図２３の右部の表示画像ＷＶ１２で示されるように、自車両の位置を示す自車位置マークＷＳの色や色の濃さ、および、大きさを速度に応じて変化するように表示することで、速度を知覚させるようにしてもよい。
　すなわち、図２３の表示画像ＷＶ１２において、自車位置マークＷＳは、自車の速度に応じて、色や濃さ、および、大きさが変化して表示されており、詳細な速度は不明ながら、感覚的にどの程度の速度で走行しているのかを知覚させることが可能とされている。
　自車位置マークＷＳは、自車の速度に応じて、色や濃さ、および、大きさに加えて、形が変化するようにしてもよい。
　より具体的には、自車の速度が、法定速度に近い場合、自車位置マークＷＳが、透明度高で、かつ、サイズ小で表示されるようにしてもよい。すなわち、現在の速度が、法定速度であることから、現在の速度を意識させる必要がないので、周囲の情報を視認し易くして、運転により集中できるような表示にすることが可能となる。
　また、自車の速度が、法定速度超えているような場合、自車位置マークＷＳが、透明度低で、かつ、サイズ大で表示されるようにしてもよい。すなわち、現在の速度が、法定速度を超過しているので、現在の速度を意識させるため、周囲の情報を、多少視認し難い状態を敢えて作り出すことで、減速を促すような表示にすることが可能となる。
　いずれにおいても、速度を直感的に認識させることが可能となる。また、遠隔操縦の場合には、速度を超過している場合、通常時よりも周辺の情報の視認性を低下させることで、自然と減速を促すことが期待される。
　＜応用例（その２）＞
　以上においては、周辺車両の予測位置を通信に係る遅延時間を考慮して提示する例について説明してきたが、さらに、周辺物体の種類や挙動の種別に応じて危険度を設定し、危険度に応じたオフセットを掛けて表示するようにしてもよい。
　周辺物体の種類は、位置情報蓄積部９２の情報を利用するようにしてもよく、例えば、図２４の左部で示されるように、「子供・高齢者」は、危険度１０、「歩行者」は、危険度９、「自転車」は、危険度８、「バイク」は、危険度７、「軽自動車」は、危険度６、「乗用車」は、危険度５、「トラック」は、危険度４などに設定されるようにしてもよい。危険度は、数値が大きいほど、危険性が高いことを示している。
　また、挙動の種別に応じた危険度として、例えば、図２４の右部で示されるように、「他車両との車間が狭い」、「ウィンカーを出さずに車線変更する」といった挙動に対する危険度が「高」とされ、「車線変更の頻度が高い」、「加減速が急、高速」といった挙動に対する危険度が「中」とされるようにする。
　例えば、図２４で示されるように、車両の種類や挙動の種別に応じて、危険度が設定されており、かつ、周辺物体が図７における表示例（２－１）で示されるように対象物体が存在する可能性のある範囲を、ボックス状のマークで描画している場合について考える。
　ここで、例えば、危険度に応じたオフセットが考慮されない通常の表示状態の場合、周辺車両が、マークＭＢとして、自車両がマークＭＣとして、それぞれ図２５の左部の表示画像ＯＦＳＯＦＦのように表示されるものとする。ここで、マークＭＢ，ＭＣのそれぞれの両者の間隔は、端部Ｐｂ，Ｐｃ間で表現されるものとする。
　これに対して、例えば、危険度に応じたオフセットが考慮される表示状態の場合、周辺車両がマークＭＢ’として、自車両がマークＭＣとして、それぞれ図２５の右部の表示画像ＯＦＳＯＮのように表示されるようにする。表示画像ＯＦＳＯＮで示されるように、マークＭＢ’は、マークＭＢの端部Ｐｂに対して，端部Ｐｂ’が、種類の危険度の値に応じた幅Ｄａだけ、自車両のマークＭＣ側に近づくように、オフセットが掛けられた位置に設定されるようにする。
　このような表示により、オペレータ３１は、危険度が設定された周辺物体に対して、予測されている位置関係よりも、より近づいているように認識することになるので、危機意識をより高く持つように促すことが可能となる。
　また、オフセットの幅Ｄａは、種類に応じて設定される危険度に加えて、挙動に応じて設定される危険度に応じた大きさもさらに考慮されるようにすることで、オペレータ３１は、マークＭＢ’，ＭＣの間隔を見るだけで、危険度に応じた危機意識を認識することが可能となる。
　さらに、危険度に応じて、視認され易く表示するようにしてもよく、例えば、危険度の高いものほど、濃い色で表示するようにしてもよい。
　図２６の左部の表示画像ＷＶ３１においては、例えば、図中左側にはバイクからなる周辺物体のマークＭＢ１が表示され、図中右側には乗用車からなる周辺物体のマークＭＣ１が表示されているものとする。
　上述した図２４において、バイクは危険度が７であり、乗用車は危険度が５であるので、表示画像ＷＶ３１のマークＭＢ１，ＭＣ１は、それぞれ設定される危険度に応じた濃度で表現される。また、危険度に応じた濃度の設定に際しては、種類に基づいて設定される危険度に加えて、挙動において分類される危険度が加味されて設定されるようにしてもよい。
　また、例えば、危険度の低いものほど、解像度を低下させて表示するようにして、危険度の高い周辺物体を詳細に認識できるようにしてもよい。
　例えば、図２６の左から２番目の表示画像ＷＶ３２においては、図中左側にはバイクからなる周辺物体のマークＭＢ２が表示され、図中右側には乗用車からなる周辺物体のマークＭＣ２が表示されている。図２６においては、マークＭＢ２，ＭＣ２は、それぞれ図２４において設定される、バイクの危険度７と、乗用車の危険度５に応じた解像度で表現されている。このため、バイクの危険度は、乗用車の危険度よりも高いので、乗用車のマークＭＣ２は、バイクのマークＭＢ２よりも低解像度である。
　さらに、例えば、危険度が高いものは、枠線で囲んで表示するようにしてもよい。
　例えば、図２６の左から３番目の表示画像ＷＶ３３においては、図中左側にはバイクからなる周辺物体のマークＭＢ３が表示され、図中右側には乗用車からなる周辺物体のマークＭＣ３が表示されている。図２４において、バイクは危険度が７であり、乗用車は危険度が５であるので、例えば、危険度が６よりも高いバイクについては、マークＭＢ３で示されるように枠線で囲まれており、危険度が６より低い乗用車のマークＭＣ３には、枠線で囲まれていない。
　また、例えば、危険度が高いものは、輪郭を強調して表示するようにしてもよい。
　例えば、図２６の左から４番目の表示画像ＷＶ３４においては、図中左側にはバイクからなる周辺物体のマークＭＢ４が表示され、図中右側には乗用車からなる周辺物体のマークＭＣ４が表示されている。図２４において、バイクは危険度が７であり、乗用車は危険度が５であるので、例えば、危険度が６よりも高いバイクについては、マークＭＢ４で示されるように周囲の輪郭が太線で囲まれて強調表示されており、危険度が６より低い乗用車のマークＭＣ３には、強調表示がなされていない。
　さらに、例えば、危険度が高いものほど、マークの幅を広めにして表示するようにしてもよい。
　例えば、図２６の右部の表示画像ＷＶ３５においては、例えば、図中左側にはバイクからなる周辺物体のマークＭＢ５が表示され、図中右側には乗用車からなる周辺物体のマークＭＣ５が表示されている。図２４において、バイクは危険度が７であり、乗用車は危険度が５であるので、マークＭＢ５，ＭＣ５はそれぞれ危険度に応じた幅で表現されている。
　尚、マークの幅は、単純に危険度に応じた幅とされているのではなく、マークそれぞれに対してデフォルトで設定された幅に対して、危険度に応じて幅が広めに設定される。したがって、図２６においては、マークＭＢ５は、マークＭＣ５よりも幅が狭いが、これは、マークＭＢ５のバイクの危険度が、マークＭＣ５の乗用車の危険度より低いことを表現しているのではない。これは、マークＭＢ５，ＭＣ５それぞれバイクと乗用車を模したマークであり、両者はデフォルトでマークＭＢ５の幅が、マークＭＣ５の幅より狭いためである。
　従って、図２６の右部の表示画像ＷＶ３５においては、マークＭＢ５の幅が、デフォルトサイズの幅よりも、危険度分だけ幅広にされていることが表現されている。逆に、マークＭＣ５の幅は、危険度が閾値６よりも小さいので、デフォルトサイズのままであることが表現されている。
　＜＜３．第２の実施の形態＞＞
　以上においては、オペレータ端末３２と車両３４とがネットワーク３３を介して車両情報と操舵情報を送受信する構成例からなる遠隔操縦システム１１について説明してきた。
　しかしながら、Ｖ２Ｖ通信を利用して、特定の車両３４が周辺車両との車車間通信により周辺車両の車両情報を収集し、代表してオペレータ端末３２に複数の車両３４の車両情報をオペレータ端末３２に送信するようにしてもよい。
　図２７は、Ｖ２Ｖ通信を利用した遠隔操縦システム１１’の構成例を示している。尚、図２７において、図２の遠隔操縦システム１１における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　上述した車両３４は、Ｖ２Ｖ通信を実現する機能を備えている。このため、例えば、図２７においては、車両３４－１が、車両３４－２，３４－ｍとの間で車車間通信により、それぞれの車両情報を取得すると、自車両の車両情報と併せて、ネットワーク３３を介してオペレータ端末３２－１乃至３２－ｎに送信するようにしてもよい。
　オペレータ端末３２－１乃至３２－ｎにおいては、いずれかが複数の車両３４の車両情報を受信すると、他のオペレータ端末３２に分散して処理をするように分配するようにしてもよいし、１つのオペレータ端末３２で、複数の車両３４の車両情報を利用して、複数の車両３４を遠隔操縦するようにしてもよい。
　＜遠隔操縦制御処理（Ｖ２Ｖ）＞
　次に、図２８のフローチャートを参照して、図２７のＶ２Ｖ通信を利用した遠隔操縦システム１１’による遠隔操縦制御処理について説明する。
　尚、オペレータ端末３２によるステップＳ２９２乃至Ｓ３００の処理については、図１０のフローチャートにおけるステップＳ５２乃至Ｓ６０の処理と同様であるので、その説明は省略する。また、ステップＳ２５５乃至Ｓ２５７の処理、およびステップＳ２７７乃至Ｓ２７９の処理は、それぞれ図１０のフローチャートにおけるステップＳ３５乃至Ｓ３７の処理と同様であるので、その説明は省略する。
　また、車両情報を送受信する処理以外は、基本的に、図１０のフローチャートを参照して説明した処理と同様であるので、車両情報を送受信する処理以外については、説明を適宜省略する。
　さらに、図２８のフローチャートにおいては、左部のフローチャートが、図２７における車両３４－１から見た周辺車両となる車両３４－２，３４－ｍの処理であり、中央部のフローチャートが、車両３４－１の処理となり、右部がオペレータ端末３２の処理となる。
　すなわち、ステップＳ２５１乃至Ｓ２５４において、周辺車両となる車両３４－２，３４－ｍのセンサ情報取得部１４２が、周囲を撮像するカメラ画像や周辺物体との距離が認識可能な距離画像などを周辺物体情報、自車両の位置情報、および、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報を取得する。
　そして、ステップＳ２５４において、周辺車両となる車両３４－２，３４－ｍの車両情報通信部１４３が、位置情報取得部１１４より取得される自車両の位置情報、センサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能なセンシング結果からなる周辺物体情報、並びに、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報をまとめて、車両情報を構成し、通信部１１２を制御して、車車間通信により、車両３４－１に送信する。
　ステップＳ２７１乃至Ｓ２７３において、車両３４－１のセンサ情報取得部１４２が、周囲を撮像するカメラ画像や周辺物体との距離が認識可能な距離画像などを周辺物体情報、自車両の位置情報、および、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報を取得する。
　そして、ステップＳ２７４において、車両３４－１の車両情報通信部１４３が、位置情報取得部１１４より取得される自車両の位置情報、センサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能なセンシング結果からなる周辺物体情報、並びに、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報をまとめて、車両情報を構成する。
　ステップＳ２７５において、車両３４－１の車両情報通信部１４３が、通信部１１２を制御して、車車間通信により、車両３４－２，３４－ｍより送信されてくるそれぞれの車両情報を受信する。
　ステップＳ２７６において、車両３４－１の車両情報通信部１４３が、自車両の車両情報と、周辺車両となる車両３４－２，３４－ｍの車両情報とを併せて、通信部１１２を制御して、オペレータ端末３２に送信する。
　ステップＳ２９１において、車両情報取得部７３は、通信部５５を制御して、車両３４―１より送信されてくる車両３４－１，３４－２，３４－ｍの車両情報を取得する。
　この際、車両情報取得部７３は、車両３４－１，３４－２，３４－ｍの車両情報を取得したタイミングにおける時刻情報を車両情報と対応付ける。
　以降の処理により、車両３４－１，３４－２，３４－ｍの車両情報に基づいて、個別に操舵情報が生成されて、個別に供給される。
　以上の処理によりオペレータ端末３２と車両３４との通信負荷が低減されることになるので、全体として通信遅延を低減させることが可能となる。
　＜＜４．第２の実施の形態の変形例＞＞
　以上においては、Ｖ２Ｖ通信を利用して、オペレータ端末３２と車両３４と車両情報と操舵情報を送受信する構成例からなる遠隔操縦システム１１’について説明してきた。
　しかしながら、Ｖ２Ｘ通信を利用して、車両３４以外の機器との通信により車両情報をオペレータ端末３２に送信するようにしてもよい。
　図２９は、Ｖ２Ｘ通信を利用した遠隔操縦システム１１’’の構成例を示している。尚、図２９において、図２の遠隔操縦システム１１および図２７の遠隔操縦システム１１’における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
　図２９の遠隔操縦システム１１’’において、図２の遠隔操縦システム１１および図２７の遠隔操縦システム１１’と異なる点は、さらに、交通情報クラウドサーバ２０１および道路上通信設備２０２が設けられている点である。
　交通情報クラウドサーバ２０１は、走行する車両３４や道路上のインフラの情報を集約するクラウドサーバであり、車両３４より車両情報を取得して、オペレータ端末３２に供給する。
　道路上通信設備２０２は、信号機などの道路上設備の情報を取得する機器であり、ネットワーク３３を介して、道路上設備情報を交通情報クラウドサーバ２０１に送信する。
　交通情報クラウドサーバ２０１は、車両情報および道路上設備情報をオペレータ端末３２に供給する。
　オペレータ端末３２は、交通情報クラウドサーバ２０１を介して供給される車両３４の車両情報を取得して、操舵情報を供給する。この際、対応する道路上設備情報も取得することで、例えば、信号機の制御状態や踏切などの動作状態を認識し、遠隔制御に利用することができる。
　＜遠隔操縦制御処理（Ｖ２Ｘ）＞
　次に、図３０のフローチャートを参照して、図２９のＶ２Ｘ通信を利用した遠隔操縦システム１１’’による遠隔操縦制御処理について説明する。
　尚、オペレータ端末３２によるステップＳ３５２乃至Ｓ３６０の処理については、図１０のフローチャートにおけるステップＳ５２乃至Ｓ６０の処理と同様であるので、その説明は省略する。また、ステップＳ３１５乃至Ｓ３１７の処理は、図１０のフローチャートにおけるステップＳ３５乃至Ｓ３７の処理と同様であるので、その説明は省略する。
　また、車両情報を送受信する処理以外は、基本的に、図１０のフローチャートを参照して説明した処理と同様であるので、車両情報を送受信する処理以外については、説明を適宜省略する。
　さらに、図３０のフローチャートにおいては、左部のフローチャートが、図２７における車両３４の処理であり、中央部のフローチャートが、交通情報クラウドサーバ２０１の処理となり、右部がオペレータ端末３２の処理となる。
　すなわち、ステップＳ３１１乃至Ｓ３１３において、車両３４のセンサ情報取得部１４２が、周囲を撮像するカメラ画像や周辺物体との距離が認識可能な距離画像などを周辺物体情報、自車両の位置情報、および、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報を取得する。
　そして、ステップＳ３１４において、車両３４の車両情報通信部１４３が、位置情報取得部１１４より取得される自車両の位置情報、センサ情報取得部１４２により取得された、車両３４の他の車両および歩行者の位置および距離が認識可能なセンシング結果からなる周辺物体情報、並びに、車両センサ１１７により検出されている自車両の操舵角（操舵角度）、および速度の情報をまとめて、車両情報を構成し、通信部１１２を制御して、Ｖ２Ｘ通信により、交通情報クラウドサーバ２０１に送信する。
　ステップＳ３３１において、交通情報クラウドサーバ２０１は、車両３４より送信されてくる車両情報を取得し、車両３４毎に対応付けて記憶する。
　ステップＳ３３２において、交通情報クラウドサーバ２０１は、道路上通信設備２０２より送信されてくる道路上設備情報を取得する。
　ステップＳ３３３において、交通情報クラウドサーバ２０１は、車両情報と道路上設備情報をオペレータ端末３２に送信する。
　ステップＳ３５１において、車両情報取得部７３は、通信部５５を制御して、車両情報と道路上設備情報とを受信する。
　以降の処理により、車両３４の車両情報に基づいて、個別に操舵情報が生成されて供給される。
　以上の処理によりオペレータ端末３２と車両３４との通信負荷が低減されることになるので、全体として通信遅延を低減させることが可能となる。
　＜Ｖ２Ｘ通信を用いた応用例＞
　また、Ｖ２Ｘ通信を用いることにより、車車間通信が不能な車両３４間の車両情報を取得したり、道路上通信設備２０２からの道路上設備情報を取得することが可能となる。
　これにより、信号機や、交差点などで死角にいる周辺車両の情報を取得することが可能となる。
　そこで、これらの情報を利用して、通過直前で赤信号に変わることが予測される場合や周辺車両との衝突が予測される場合にブレーキを踏むことを警告することで、急ブレーキや衝突を回避することができる。
　すなわち、例えば、図３１の左部における表示画像ＷＶ５１で示されるように、上段に警告欄を設けて、「あと４［ｓ］で赤信号に変わります。減速を始めてください。」といった表示が可能となる。
　また、例えば、図３１の右部における表示画像ＷＶ５２で示されるように、上段に警告欄を設けて、「交差点内に車両がいます。減速を始めてください。」といった表示が可能となる。
　いずれにおいても、急ブレーキを回避させることが可能となる。
　また、周辺物体の予測結果を用いた表示にＶ２Ｘ通信で取得された周辺車両の情報を付加して表現することが可能となるので、周辺車両の進行方向を適切に認識させることが可能となる。
　例えば、図３２で示されるように、バイクからなる周辺車両のマークＷＢ１１が表示されるような場合、周辺車両の予測位置に基づいて、進行方向に沿って三角マークＷＣ１１乃至ＷＣ１３を配置し、表示画像ＷＶ６１乃至ＷＶ６３で示されるように、図中左から右に向かって時系列に、三角マークＷＣ１１乃至ＷＣ１３の順序で色が変わるようにアニメーションを表示するような表現により、周辺車両の進行方向を適切に認識させることが可能となる。
　また、Ｖ２Ｘ通信を利用することで、マークＷＢ１１で示される周辺車両からのウィンカーの点滅情報を交通情報クラウドサーバ２０１で取得することができるので、交通情報クラウドサーバ２０１を介してオペレータ端末３２に供給することで、オペレータ端末３２上に表示される表示画像上で、ウィンカーの点滅方向が反映されるようにしてもよい。
　＜＜５．ソフトウェアにより実行させる例＞＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図３３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　尚、図３３におけるCPU１００１が、図３のオペレータ端末３２の制御部５１の機能を実現させる。
　尚、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する予測部
　を備える信号処理装置。
＜２＞　前記周辺物体の前記現在位置の予測結果を時系列に蓄積する蓄積部をさらに備え、
　前記予測部は、前記蓄積部に蓄積された前記予測結果に基づいて、前記周辺物体の前記現在位置を予測する
　＜１＞に記載の信号処理装置。
＜３＞　前記予測部は、前記周辺物体の情報に基づいて、前記周辺物体の情報が生成された時点での前記周辺物体の位置を算出し、前記蓄積部に蓄積された前記時系列の前記予測結果の変化から前記遅延時間の移動量を算出し、前記周辺物体の情報が生成された時点での前記周辺物体の位置に、前記移動量を加算することで、前記周辺物体の前記現在位置を予測する
　＜２＞に記載の信号処理装置。
＜４＞　前記予測された前記現在位置に基づいて、前記周辺物体を表示する表示画像を作成する表示画像作成部をさらに含む
　＜１＞に記載の信号処理装置。
＜５＞　前記表示画像作成部は、前記遅延時間に基づいて、前記周辺物体の表示方法である周辺物体表示方法を切り替えて前記表示画像を作成する
　＜４＞に記載の信号処理装置。
＜６＞　前記表示画像作成部は、前記遅延時間に基づいて、
　　前記周辺物体の情報に基づいて表示される前記周辺物体の前記現在位置のみを表示する第１の周辺物体表示方法と、
　　前記周辺物体の情報に基づいて表示される前記周辺物体の前記現在位置を含むエリアで表示する第２の周辺物体表示方法と、
　　前記周辺物体の情報に基づいて表示される前記周辺物体と、前記現在位置とを重畳表示する第３の周辺物体表示方法と
　を切り替えて前記表示画像を作成する
　＜５＞に記載の信号処理装置。
＜７＞　前記遅延時間が第１の所定時間よりも長い場合、前記表示画像作成部は、前記第１の周辺物体表示方法で前記表示画像を生成し、
　前記遅延時間が前記第１の所定時間よりも短い場合、前記表示画像作成部は、前記第２の周辺物体表示方法と、前記第３の周辺物体表示方法とを切り替えて前記表示画像を作成する
　＜６＞に記載の信号処理装置。
＜８＞　前記遅延時間が前記第１の所定時間よりも短い場合、
　　前記遅延時間が、前記第１の所定時間よりも短い、第２の所定時間よりも長いとき、前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成し、
　　前記遅延時間が、前記第１の所定時間よりも短く、前記第２の所定時間よりも短いとき、前記表示画像作成部は、前記第３の周辺物体表示方法で前記表示画像を作成する
　＜７＞に記載の信号処理装置。
＜９＞　前記遅延時間が前記第１の所定時間よりも短い場合、
　　前記周辺物体が所定数より少ないとき、前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成し、
　　前記周辺物体が前記所定数より多きとき、前記表示画像作成部は、前記第３の周辺物体表示方法で前記表示画像を作成する
　＜７＞に記載の信号処理装置。
＜１０＞　前記表示画像作成部は、前記遅延時間に基づいて、前記第１の周辺物体表示方法、前記第２の周辺物体表示方法、および前記第３の周辺物体表示方法に加えて、前記現在位置の予測精度が所定値より低いことを警告する警告情報を表示する第４の周辺物体表示方法を切り替えて前記表示画像を作成する
　＜６＞に記載の信号処理装置。
＜１１＞　前記遅延時間が第１の所定時間よりも長い場合、前記表示画像作成部は、前記第１の周辺物体表示方法で前記表示画像を生成し、
　前記遅延時間が前記第１の所定時間よりも短い場合、前記表示画像作成部は、前記第２の周辺物体表示方法と、前記第３の周辺物体表示方法とを切り替えて前記表示画像を作成し、
　前記遅延時間が前記第１の所定時間よりも長い、第４の所定時間よりも長い場合、前記表示画像作成部は、前記第４の周辺物体表示方法で前記表示画像を生成する
　＜１０＞に記載の信号処理装置。
＜１２＞　前記予測部は、前記移動体との前記通信により受信される、前記移動体の位置情報および操舵情報に基づいて、前記遅延時間を考慮した前記移動体の前記現在位置を予測し、
　前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成するとき、前記エリアを、前記周辺物体の危険度に応じて、前記移動体の前記現在位置に近付くようにオフセットさせて表示する
　＜６＞に記載の信号処理装置。
＜１３＞　前記周辺物体の前記危険度は、前記周辺物体の種類および挙動に応じて設定される
　＜１２＞に記載の信号処理装置。
＜１４＞　前記予測部は、前記移動体との前記通信により受信される、前記移動体の位置情報および操舵情報に基づいて、前記通信に係る前記遅延時間を考慮した前記移動体の前記現在位置を予測し、
　前記表示画像作成部は、前記移動体の前記現在位置と、前記周辺物体の前記現在位置とを用いて、前記移動体と前記周辺物体とを、前記遅延時間に応じて、前記移動体の表示方法である移動体表示方法を切り替えて前記表示画像を生成する
　＜４＞に記載の信号処理装置。
＜１５＞　前記移動体表示方法は、表示視点および表示情報とを含み、
　前記表示画像作成部は、前記遅延時間に基づいて、前記表示視点を切り替えて、前記表示画像を生成する
　＜１４＞に記載の信号処理装置。
＜１６＞　前記表示視点は、鳥瞰図、三人称視点図、および一人称視点図を含み、
　前記表示画像作成部は、
　　前記遅延時間が第１の所定時間よりも長い場合、前記表示視点を前記鳥瞰図に切り替えて、前記表示画像を生成し、
　　前記遅延時間が前記第１の所定時間よりも短い、第２の所定時間よりも長い場合、前記表示視点を前記三人称視点図に切り替えて、前記表示画像を生成し、
　　前記遅延時間が前記第２の所定時間よりも短い場合、前記表示視点を前記一人称視点図に切り替えて、前記表示画像を生成する
　＜１５＞に記載の信号処理装置。
＜１７＞　前記一人称視点図は、３Ｄマップ情報に基づいて生成されるＣＧ（Computer Graphics）画像であり、
　前記表示画像作成部は、前記遅延時間が前記第２の所定時間よりも短い場合であって、前記３Ｄマップ情報を取得しているとき、前記表示視点を前記一人称視点図に切り替えて、前記表示画像を生成し、前記３Ｄマップ情報を取得していないとき、前記表示視点を前記三人称視点図に切り替えて、前記表示画像を生成する
　＜１６＞に記載の信号処理装置。
＜１８＞　前記鳥瞰図は、イラスト鳥瞰図およびカメラ画像鳥瞰図とを含み、
　前記表示画像作成部は、
　　前記遅延時間が前記第１の所定時間よりも長い、第３の所定時間よりも長い場合、前記表示視点を前記イラスト鳥瞰図に切り替えて、前記表示画像を生成し、
　　前記遅延時間が前記第３の所定時間よりも短く、前記第１の所定時間よりも長い場合、前記表示視点を前記カメラ画像鳥瞰図に切り替えて、前記表示画像を生成する
　＜１６＞に記載の信号処理装置。
＜１９＞　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する
　ステップを含む信号処理方法。
＜２０＞　　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する予測部と、
　　前記予測された前記現在位置に基づいて、前記周辺物体の情報を示す表示画像を作成する表示画像作成部と
　を備える信号処理装置と、
　　前記表示画像を表示する表示部
　を備えた表示装置と
　を有する信号処理システム。
　１１，１１’，１１’’　遠隔操縦システム，　３１，３１－１乃至３１－ｎ　オペレータ，　３２，３２－１乃至３２－ｎ　オペレータ端末，　３３　ネットワーク，　３４－１乃至３４－ｍ　車両，　５５　通信部，　７１　操舵情報取得部，　７２　遅延時間取得部，　７３　車両情報取得部，　７４　現在位置予測部，　７５　表示画像作成部，　７６　操舵情報供給部，　８１　表示部，　９１　予測方法記憶部，　９２　位置情報蓄積部，　１１２　通信部，　１１５　外部認識センサ，　１３１　カメラ，　１３２　レーダ，　１３３　ＬｉＤＡＲ，　１３４　超音波センサ，　１４１　操舵制御部，　１４２　センサ情報取得部，　１４３　車両情報通信部，　２０１　交通情報クラウドサーバ，　２０２　道路上通信設備

Claims (20)

  1. 　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する予測部
    　を備える信号処理装置。
  2. 　前記周辺物体の前記現在位置の予測結果を時系列に蓄積する蓄積部をさらに備え、
    　前記予測部は、前記蓄積部に蓄積された前記予測結果に基づいて、前記周辺物体の前記現在位置を予測する
    　請求項１に記載の信号処理装置。
  3. 　前記予測部は、前記周辺物体の情報に基づいて、前記周辺物体の情報が生成された時点での前記周辺物体の位置を算出し、前記蓄積部に蓄積された前記時系列の前記予測結果の変化から前記遅延時間の移動量を算出し、前記周辺物体の情報が生成された時点での前記周辺物体の位置に、前記移動量を加算することで、前記周辺物体の前記現在位置を予測する
    　請求項２に記載の信号処理装置。
  4. 　前記予測された前記現在位置に基づいて、前記周辺物体を表示する表示画像を作成する表示画像作成部をさらに含む
    　請求項１に記載の信号処理装置。
  5. 　前記表示画像作成部は、前記遅延時間に基づいて、前記周辺物体の表示方法である周辺物体表示方法を切り替えて前記表示画像を作成する
    　請求項４に記載の信号処理装置。
  6. 　前記表示画像作成部は、前記遅延時間に基づいて、
    　　前記周辺物体の情報に基づいて表示される前記周辺物体の前記現在位置のみを表示する第１の周辺物体表示方法と、
    　　前記周辺物体の情報に基づいて表示される前記周辺物体の前記現在位置を含むエリアで表示する第２の周辺物体表示方法と、
    　　前記周辺物体の情報に基づいて表示される前記周辺物体と、前記現在位置とを重畳表示する第３の周辺物体表示方法と
    　を切り替えて前記表示画像を作成する
    　請求項５に記載の信号処理装置。
  7. 　前記遅延時間が第１の所定時間よりも長い場合、前記表示画像作成部は、前記第１の周辺物体表示方法で前記表示画像を生成し、
    　前記遅延時間が前記第１の所定時間よりも短い場合、前記表示画像作成部は、前記第２の周辺物体表示方法と、前記第３の周辺物体表示方法とを切り替えて前記表示画像を作成する
    　請求項６に記載の信号処理装置。
  8. 　前記遅延時間が前記第１の所定時間よりも短い場合、
    　　前記遅延時間が、前記第１の所定時間よりも短い、第２の所定時間よりも長いとき、前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成し、
    　　前記遅延時間が、前記第１の所定時間よりも短く、前記第２の所定時間よりも短いとき、前記表示画像作成部は、前記第３の周辺物体表示方法で前記表示画像を作成する
    　請求項７に記載の信号処理装置。
  9. 　前記遅延時間が前記第１の所定時間よりも短い場合、
    　　前記周辺物体が所定数より少ないとき、前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成し、
    　　前記周辺物体が前記所定数より多きとき、前記表示画像作成部は、前記第３の周辺物体表示方法で前記表示画像を作成する
    　請求項７に記載の信号処理装置。
  10. 　前記表示画像作成部は、前記遅延時間に基づいて、前記第１の周辺物体表示方法、前記第２の周辺物体表示方法、および前記第３の周辺物体表示方法に加えて、前記現在位置の予測精度が所定値より低いことを警告する警告情報を表示する第４の周辺物体表示方法を切り替えて前記表示画像を作成する
    　請求項６に記載の信号処理装置。
  11. 　前記遅延時間が第１の所定時間よりも長い場合、前記表示画像作成部は、前記第１の周辺物体表示方法で前記表示画像を生成し、
    　前記遅延時間が前記第１の所定時間よりも短い場合、前記表示画像作成部は、前記第２の周辺物体表示方法と、前記第３の周辺物体表示方法とを切り替えて前記表示画像を作成し、
    　前記遅延時間が前記第１の所定時間よりも長い、第４の所定時間よりも長い場合、前記表示画像作成部は、前記第４の周辺物体表示方法で前記表示画像を生成する
    　請求項１０に記載の信号処理装置。
  12. 　前記予測部は、前記移動体との前記通信により受信される、前記移動体の位置情報および操舵情報に基づいて、前記遅延時間を考慮した前記移動体の前記現在位置を予測し、
    　前記表示画像作成部は、前記第２の周辺物体表示方法で前記表示画像を作成するとき、前記エリアを、前記周辺物体の危険度に応じて、前記移動体の前記現在位置に近付くようにオフセットさせて表示する
    　請求項６に記載の信号処理装置。
  13. 　前記周辺物体の前記危険度は、前記周辺物体の種類および挙動に応じて設定される
    　請求項１２に記載の信号処理装置。
  14. 　前記予測部は、前記移動体との前記通信により受信される、前記移動体の位置情報および操舵情報に基づいて、前記通信に係る前記遅延時間を考慮した前記移動体の前記現在位置を予測し、
    　前記表示画像作成部は、前記移動体の前記現在位置と、前記周辺物体の前記現在位置とを用いて、前記移動体と前記周辺物体とを、前記遅延時間に応じて、前記移動体の表示方法である移動体表示方法を切り替えて前記表示画像を生成する
    　請求項４に記載の信号処理装置。
  15. 　前記移動体表示方法は、表示視点および表示情報とを含み、
    　前記表示画像作成部は、前記遅延時間に基づいて、前記表示視点を切り替えて、前記表示画像を生成する
    　請求項１４に記載の信号処理装置。
  16. 　前記表示視点は、鳥瞰図、三人称視点図、および一人称視点図を含み、
    　前記表示画像作成部は、
    　　前記遅延時間が第１の所定時間よりも長い場合、前記表示視点を前記鳥瞰図に切り替えて、前記表示画像を生成し、
    　　前記遅延時間が前記第１の所定時間よりも短い、第２の所定時間よりも長い場合、前記表示視点を前記三人称視点図に切り替えて、前記表示画像を生成し、
    　　前記遅延時間が前記第２の所定時間よりも短い場合、前記表示視点を前記一人称視点図に切り替えて、前記表示画像を生成する
    　請求項１５に記載の信号処理装置。
  17. 　前記一人称視点図は、３Ｄマップ情報に基づいて生成されるＣＧ（Computer Graphics）画像であり、
    　前記表示画像作成部は、前記遅延時間が前記第２の所定時間よりも短い場合であって、前記３Ｄマップ情報を取得しているとき、前記表示視点を前記一人称視点図に切り替えて、前記表示画像を生成し、前記３Ｄマップ情報を取得していないとき、前記表示視点を前記三人称視点図に切り替えて、前記表示画像を生成する
    　請求項１６に記載の信号処理装置。
  18. 　前記鳥瞰図は、イラスト鳥瞰図およびカメラ画像鳥瞰図とを含み、
    　前記表示画像作成部は、
    　　前記遅延時間が前記第１の所定時間よりも長い、第３の所定時間よりも長い場合、前記表示視点を前記イラスト鳥瞰図に切り替えて、前記表示画像を生成し、
    　　前記遅延時間が前記第３の所定時間よりも短く、前記第１の所定時間よりも長い場合、前記表示視点を前記カメラ画像鳥瞰図に切り替えて、前記表示画像を生成する
    　請求項１６に記載の信号処理装置。
  19. 　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する
    　ステップを含む信号処理方法。
  20. 　　移動体との通信により受信される、前記移動体の周辺に存在する物体である周辺物体の情報に基づいて、前記通信に係る遅延時間を考慮した前記周辺物体の現在位置を予測する予測部と、
    　　前記予測された前記現在位置に基づいて、前記周辺物体の情報を示す表示画像を作成する表示画像作成部と
    　を備える信号処理装置と、
    　　前記表示画像を表示する表示部
    　を備えた表示装置と
    　を有する信号処理システム。
PCT/JP2024/024709 2023-07-24 2024-07-09 信号処理装置、および信号処理方法、並びに信号処理システム Pending WO2025022997A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023119708 2023-07-24
JP2023-119708 2023-07-24

Publications (1)

Publication Number Publication Date
WO2025022997A1 true WO2025022997A1 (ja) 2025-01-30

Family

ID=94374335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/024709 Pending WO2025022997A1 (ja) 2023-07-24 2024-07-09 信号処理装置、および信号処理方法、並びに信号処理システム

Country Status (1)

Country Link
WO (1) WO2025022997A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、被操作車両、情報処理方法及びプログラム
WO2018155159A1 (ja) * 2017-02-24 2018-08-30 パナソニックＩｐマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
EP3702864A1 (en) * 2019-02-27 2020-09-02 Ree Technology GmbH Accounting for latency in teleoperated remote driving
JP2020167551A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 制御装置、制御方法及びプログラム
WO2021002116A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2022208675A1 (ja) * 2021-03-30 2022-10-06 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018106676A (ja) * 2016-12-22 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、被操作車両、情報処理方法及びプログラム
WO2018155159A1 (ja) * 2017-02-24 2018-08-30 パナソニックＩｐマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
EP3702864A1 (en) * 2019-02-27 2020-09-02 Ree Technology GmbH Accounting for latency in teleoperated remote driving
JP2020167551A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 制御装置、制御方法及びプログラム
WO2021002116A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2022208675A1 (ja) * 2021-03-30 2022-10-06 三菱電機株式会社 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム

Similar Documents

Publication Publication Date Title
US10915101B2 (en) Context-dependent alertness monitor in an autonomous vehicle
US10803746B2 (en) System and method for providing an infrastructure based safety alert associated with at least one roadway
CN111833650A (zh) 车辆路径预测
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
JP7593328B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2019035300A1 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
CN111801260A (zh) 利用底盘反馈的高级驾驶员注意力升级
US11926259B1 (en) Alert modality selection for alerting a driver
JP7626632B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US12097892B2 (en) System and method for providing an RNN-based human trust model
JP2025061744A (ja) 情報処理装置、および情報処理システム、並びにプログラム
CN112825127A (zh) 生成用于自动驾驶标记的紧密2d边界框的新方法
CN107599965B (zh) 用于车辆的电子控制装置及方法
US20230121905A1 (en) Information processing apparatus, information processing method, and program
US12358520B2 (en) Enhanced map display for autonomous vehicles and passengers
US12391271B2 (en) Enhanced signage display for autonomous vehicles and passengers
EP4177732B1 (en) Information processing device, information processing method, information processing system, and program
WO2025022997A1 (ja) 信号処理装置、および信号処理方法、並びに信号処理システム
US20240412632A1 (en) Information processing apparatus, information processing method, and program
CN119698367A (zh) 用于平视显示的系统和方法
JP7585123B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102771197B1 (ko) 차량을 원격 제어하기 위한 방법 및 장치
JP7582338B2 (ja) 車載装置、処理方法及びプログラム
WO2024225024A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2024252912A1 (ja) 情報処理装置、情報処理方法、および情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24845378

Country of ref document: EP

Kind code of ref document: A1