[go: up one dir, main page]

WO2024219350A1 - 遠隔装置および遠隔操縦システム - Google Patents

遠隔装置および遠隔操縦システム Download PDF

Info

Publication number
WO2024219350A1
WO2024219350A1 PCT/JP2024/014953 JP2024014953W WO2024219350A1 WO 2024219350 A1 WO2024219350 A1 WO 2024219350A1 JP 2024014953 W JP2024014953 W JP 2024014953W WO 2024219350 A1 WO2024219350 A1 WO 2024219350A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
remote
work vehicle
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/014953
Other languages
English (en)
French (fr)
Inventor
孝文 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Publication of WO2024219350A1 publication Critical patent/WO2024219350A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/648Performing a task within a working area or space, e.g. cleaning

Definitions

  • the present invention relates to a remote device and a remote control system for remotely controlling a work vehicle.
  • Patent Document 1 discloses a driving assistance system for a work vehicle that allows the user to select a desired route from multiple past work routes.
  • This driving assistance system includes a server that stores the work route of the work vehicle as work history information by communicating with the work vehicle, and a terminal device that is capable of communicating with the work vehicle in the work area of the work vehicle.
  • the server stores the work history information in association with a work area identifier and a worker identifier.
  • the terminal device receives the work history information from the server, it displays multiple past work routes in a selectable manner.
  • the driving assistance system in Patent Document 1 is configured to automatically drive a work vehicle along a desired route selected from multiple past work routes, and is not configured to remotely drive the work vehicle by remote control. Therefore, this driving assistance system cannot assist in remote control.
  • the present invention aims to provide a remote device and a remote control system that can assist in remote control.
  • a remote control device includes a remote control device for remotely controlling a work vehicle, a display device for displaying an image of the travel direction of the work vehicle while being remotely controlled, and a control device for displaying actual driving information on the display device at least while the work vehicle is being remotely controlled.
  • the actual driving information may include information showing the route taken when the work vehicle was actually driven manually or automatically in the past.
  • the actual driving information may not be information about the route and operation of the vehicle currently being remotely operated by the remote driver, but may be information about the route and operation of another vehicle other than the vehicle.
  • the information regarding the route and operation of the manual driving included in the actual driving information may be information regarding the route and operation when a driver is in the other vehicle and drives it manually, or when a remote operator is not in the other vehicle and drives it manually remotely.
  • the display device may display the captured image on a remote driving screen, and the control device may superimpose the actual driving route, which is the route that would be taken if the vehicle were driven manually and is included in the actual driving information, on the captured image on the remote driving screen.
  • the remote device may include a storage device that stores at least one of the past driving information, and the control device may select the past driving information stored in the storage device based on a selection instruction from a remote operator, and display the route indicated by the past driving information as the trajectory on the remote driving screen.
  • the remote device includes a storage device that stores at least one of the actual driving information, and a communication device that receives the position information of the work vehicle and the captured image, and the actual driving information includes information that associates the driving information when the work vehicle was actually driven in advance with the position information of the work vehicle, and when remotely driving the work vehicle with the remote driving device, the control device may select from the storage device the actual driving information related to a target range that includes the position indicated by the current position information of the work vehicle received by the communication device, and display the actual driving route indicated by the selected actual driving information as the trajectory on the remote driving screen.
  • the captured image may be an image captured in the traveling direction of the work vehicle by an imaging device installed inside or outside a protection mechanism surrounding a driver's seat installed in the work vehicle.
  • the remote device may include a storage device that stores at least one of the past driving information, and the control device may select the past driving route stored in the storage device based on priority information, and display the past driving route as the trajectory on the remote driving screen.
  • the storage device may store a plurality of pieces of the actual driving information
  • the control device may cause the display device to display the latest actual driving information among the plurality of pieces of the actual driving information stored in the storage device as a first trajectory with a first transparency, and may cause the remote driving screen to display actual driving information other than the latest actual driving information as a second trajectory with a second transparency that is higher than the first transparency.
  • the remote control system includes a work vehicle and a remote device.
  • the work vehicle includes a position detection device that detects the position of the work vehicle, an imaging device that captures an image in the direction of travel of the work vehicle, and an on-board communication device that transmits position information indicating the position detected by the position detection device and an image captured by the imaging device in association with each other.
  • the remote device includes a communication device that receives the position information and the image.
  • the control device causes the display device to display the actual driving information at least during the remote control of the work vehicle.
  • the present invention can assist in remote control.
  • FIG. 1 is a configuration diagram of a remote control system according to an embodiment of the present invention
  • 1 is a side view of a tractor, which is an example of a work vehicle.
  • FIG. 11 is a diagram illustrating an example of correspondence data.
  • FIG. 4 illustrates an example of a storage table of a storage device.
  • FIG. 13 is a diagram illustrating an example of a storage table according to a second modified example.
  • 1 is a diagram showing an example of a past travel route on a farm road, a planned travel route in a farm field, and the past travel route.
  • FIG. FIG. 4 is a diagram showing an example of actual driving information.
  • FIG. 13 is a diagram showing an example of a remote operation screen.
  • FIG. 13 is a diagram showing an example of a remote operation screen.
  • FIG. 13 is a diagram showing an example of a remote operation screen.
  • FIG. 13 is a diagram showing an example of a remote operation screen.
  • FIG. 13 is a diagram showing an example of a remote operation screen.
  • FIG. 13 is a diagram showing a fourth modified example of a remote operation screen.
  • FIG. 4 is a diagram showing an example of a display mode table stored in a storage device.
  • FIG. 13 is a diagram showing an example of a selection screen of the display device.
  • FIG. 13 is a diagram showing an example of a selection screen of the display device.
  • FIG. 13 is a diagram showing an example of a selection screen of the display device.
  • 4 is a flowchart showing the operation of the work vehicle during remote driving. 4 is a flowchart showing the operation of a remote device when remotely controlling a work vehicle.
  • 10 is a flowchart of a first modified example showing the operation of a remote device when a work vehicle is remotely controlled.
  • 10 is a flowchart of a second modified example showing the operation of a remote device when a work vehicle is remotely controlled.
  • 13 is a flowchart of a third modified example showing the operation of a remote device when a work vehicle is remotely controlled.
  • FIG. 13 is a diagram showing an example of a remote operation screen of a fifth modified example.
  • FIG. 13 is a diagram showing an example of a remote operation screen of a fifth modified example.
  • FIG. 23 is a diagram showing an example of a remote operation screen of a sixth modified example.
  • FIG. 1 is a configuration diagram of a remote control system 100 according to one embodiment of the present invention.
  • the remote control system 100 includes a work vehicle 1 and a remote device 30.
  • the remote control system 100 and the remote device 30 enable remote control (or remote operation) of the work vehicle 1 and remote monitoring of the work vehicle 1.
  • the work vehicle 1 is a farm machine (also called a "remotely controlled agricultural machine") that can be remotely driven (e.g., remotely traveled and remotely operated) by the remote device 30.
  • the work vehicle 1 is, for example, a tractor.
  • a tractor is an example of an agricultural machine that performs agricultural work in a field. Note that the work vehicle 1 may be an agricultural machine, construction machine, or working machine other than a tractor.
  • FIG. 2 is a side view of a tractor, which is an example of a work vehicle 1.
  • the work vehicle 1 is equipped with a body 3.
  • the body 3 is provided with a traveling device 7.
  • the traveling device 7 is provided with front wheels 7F and rear wheels 7R on both the left and right sides of the body 3, and supports the body 3 so that it can travel.
  • the traveling device 7 may be a crawler-type device.
  • the vehicle body 3 is equipped with a prime mover 4, a transmission 5, a braking device 13 (Fig. 1), and a steering device 14 (Fig. 1).
  • the prime mover 4 is composed of an engine (diesel engine, gasoline engine) or an electric motor.
  • the transmission 5 varies the propulsive force of the traveling device 7 and switches the traveling device 7 between forward and reverse, for example by performing a gear change operation.
  • the braking device 13 brakes the vehicle body 3.
  • the steering device 14 steers the vehicle body 3.
  • a driver's seat 10 and a control device 11 are provided inside the cabin 9.
  • the work vehicle 1 is a tractor that can travel (drive) unmanned and perform work using the work device 2, but an operator seated in the driver's seat 10 can operate the control device 11 to travel the work vehicle 1 and perform work using the work device 2.
  • the cabin 9 protects the driver's seat 10 by surrounding it from the front, rear, above, left and right sides. Note that the protection mechanism is not limited to the cabin 9 and may be a ROPS or the like.
  • the direction indicated by arrow A1 in Figure 2 is the front of the work vehicle 1.
  • the direction indicated by arrow A2 is the rear of the work vehicle 1.
  • the direction indicated by arrow Z1 is above the work vehicle 1.
  • the direction indicated by arrow Z2 is below the work vehicle 1.
  • the direction perpendicular to the arrows A1, A2, Z1, and Z2 is the width direction (left-right direction) of the work vehicle 1.
  • the near side in Figure 2 is the left side of the work vehicle 1, and the far side is the right side of the work vehicle 1.
  • a coupling device 8 is provided at the rear of the vehicle body 3.
  • the coupling device 8 is composed of a three-point link mechanism or the like.
  • a work device 2 (implement, etc.) can be attached and detached to the coupling device 8.
  • the coupling device 8 can also raise and lower the work device 2 and change the attitude of the work device 2.
  • the work equipment 2 includes a tilling equipment for tilling, a fertilizer spreading equipment for spreading fertilizer, a pesticide spreading equipment for spreading pesticides, a harvesting equipment for harvesting, a harvesting equipment for cutting grass etc., a spreading equipment for spreading grass etc., a grass collecting equipment for collecting grass etc., a shaping equipment for shaping grass etc., etc. Each of these equipment can be attached to and detached from the work vehicle 1 by a coupling device 8.
  • the work vehicle 1 performs agricultural work in the field using the work equipment 2.
  • a bonnet 12 is provided in front of the cabin 9.
  • the bonnet 12 is attached to the vehicle body 3.
  • a storage room is formed between the bonnet 12 and the vehicle body 3. This storage room contains not only the engine 4, but also a cooling fan, a radiator, a battery, etc.
  • the work vehicle 1 is equipped with an on-board control device 21, on-board communication device 23, position detection device 24, sensing device 25, state detection device 26, memory device 28, steering device 11, actuator group 27, prime mover 4, running device 7, transmission 5, braking device 13, steering device 14, and coupling device 8.
  • An on-board network such as CAN, LIN, or FlexRay is also constructed in the work vehicle 1.
  • the on-board control device 21 is electrically connected to the on-board communication device 23, position detection device 24, sensing device 25, state detection device 26, memory device 28, steering device 11, actuator group 27, and work device 2 coupled to the work vehicle 1 via the on-board network.
  • the on-board control device 21 is composed of an ECU (electronic control unit) including a processor 21a and memory 21b.
  • the on-board control device 21 is a controller that controls the operation of each part of the work vehicle 1.
  • the memory 21b is composed of volatile or non-volatile memory, etc.
  • Various information and data used by the on-board control device 21 to control the operation of each part of the work vehicle 1 are stored in a readable and writable manner in the memory 21b of the on-board control device 21.
  • the storage device 28 is, for example, an SSD (solid state drive) or HDD (hard disk drive), and stores actual driving information, etc., which will be described later.
  • the in-vehicle communication device 23 is composed of an antenna, an IC (integrated circuit), and an electric circuit for wireless communication via a mobile phone communication network, the Internet, or a wireless LAN.
  • the in-vehicle control device 21 wirelessly communicates with the remote device 30 via the in-vehicle communication device 23.
  • the in-vehicle control device 21 also has an RTC (real-time clock) and can measure the date and time.
  • the work vehicle 1 and the remote device 30 communicate via a mobile phone communication network or the like, but in addition to this, for example, the work vehicle 1 and the remote device 30 may communicate with a mobile phone communication network or the like via an external device such as a server or a repeater. Also, the work vehicle 1 and the remote device 30 may communicate directly using a short-range wireless signal such as a BLU (Bluetooth (registered trademark) Low Energy) signal or a UHF (Ultra High Frequency) signal. In this case, it is sufficient that the on-board communication device 23 and the remote device 30 are each provided with an interface for short-range wireless communication.
  • a BLU Bluetooth (registered trademark) Low Energy) signal
  • UHF Ultra High Frequency
  • the position detection device 24 is installed, for example, on the top of the cabin 9 ( Figure 2).
  • the installation location of the position detection device 24 is not limited to the top of the cabin 9, and may be another location on the vehicle body 3 or a specified location on the work device 2.
  • the position detection device 24 detects its own position (positioning information including latitude and longitude) using a satellite positioning system. That is, the position detection device 24 receives signals transmitted from positioning satellites (position of the positioning satellite, transmission time, correction information, etc.) and detects its own position based on the signals.
  • the position detection device 24 may detect its own position as a position corrected based on signals such as corrections from a base station (reference station) that can receive signals from the positioning satellites.
  • the position detection device 24 may also have an inertial measurement device such as a gyro sensor or an acceleration sensor. In this case, the position detection device 24 may correct the position (latitude, longitude) detected based on the signal received from the positioning satellite using the inertial measurement device, and detect the corrected position as its own position. The position detection device 24 regards its own detected position as the position of the work vehicle 1. The position detection device 24 may also calculate the position of the work vehicle 1 based on its own detected position and pre-stored external information of the work vehicle 1. The position detection device 24 may also calculate the position of the work device 2 based on its own detected position, pre-stored external information of the work device 2, and the mounting position of the work device 2 relative to the vehicle body 3.
  • an inertial measurement device such as a gyro sensor or an acceleration sensor.
  • the position detection device 24 may correct the position (latitude, longitude) detected based on the signal received from the positioning satellite using the inertial measurement device, and detect the corrected position as its own position.
  • the sensing device 25 senses (monitors) the surroundings of the work vehicle 1. More specifically, the sensing device 25 has a laser sensor 25a, an ultrasonic sensor 25b, a camera 25c, and an object detection unit 25d. For example, there are multiple laser sensors 25a and multiple ultrasonic sensors 25b.
  • the multiple laser sensors 25a and multiple ultrasonic sensors 25b are installed at predetermined locations such as the front, rear, left and right sides of the work vehicle 1, respectively, and detect surrounding conditions such as the front, rear, left and right sides of the work vehicle 1, and objects in the surroundings.
  • the laser sensor 25a and the ultrasonic sensor 25b are installed at predetermined positions on the vehicle body 3 where they can detect objects that are within a predetermined target detection distance from the work vehicle 1 and that are lower than the vehicle body 3.
  • the laser sensor 25a and the ultrasonic sensor 25b are examples of object sensors. Note that at least one of the laser sensor 25a and the ultrasonic sensor 25b may be provided in multiple numbers in the sensing device 25 as object sensors. Also, multiple other object sensors may be provided in the sensing device 25.
  • the laser sensor 25a is composed of an optical sensor such as LiDAR (Light Detection And Ranging).
  • the laser sensor 25a emits pulsed measurement light (laser light) millions of times per second from a light source such as a laser diode, and scans the measurement light in the horizontal or vertical direction by reflecting it off a rotating mirror, projecting it onto a predetermined detection range (sensing range).
  • the laser sensor 25a then receives the reflected light from the object of the measurement light using a light receiving element.
  • the object detection unit 25d is composed of an electric circuit or IC that detects the presence or absence of an object, the position of the object, and the type of object based on the light receiving signal output from the light receiving element of the laser sensor 25a.
  • the object detection unit 25d detects the distance to the object based on the time between when the laser sensor 25a emits measurement light and when it receives the reflected light (TOF (Time of Flight) method).
  • TOF Time of Flight
  • Objects detected by the object detection unit 25d include the work site where the work vehicle 1 travels and works, the field, crops in the field, the ground, the road surface, other objects, and people.
  • the ultrasonic sensor 25b is composed of an airborne ultrasonic sensor such as a sonar.
  • the ultrasonic sensor 25b transmits measurement waves (ultrasound waves) to a specified detection range using a transmitter, and receives the reflected waves that are reflected by an object using a receiver.
  • the object detection unit 25d detects the presence or absence of an object, the position of the object, and the type of object based on the signal output from the receiver of the ultrasonic sensor 25b.
  • the object detection unit 25d also detects the distance to the object based on the time from when the ultrasonic sensor 25b transmits the measurement wave to when it receives the reflected wave (TOF method).
  • Camera 25c is composed of a CCD camera equipped with a CCD (Charge Coupled Devices) image sensor, or a CMOS camera equipped with a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As shown in FIG. 2, camera 25c is installed at predetermined locations such as the front, rear, left and right sides of work vehicle 1, and inside cabin 9, and captures images of the surroundings such as the front, rear, left and right sides of work vehicle 1, and outputs the data of the captured images. Camera 25c is an example of an imaging device.
  • multiple cameras 25c are installed on the work vehicle 1.
  • the internal camera 25c1 installed inside the cabin 9 as shown in FIG. 2 captures an image of the front of the work vehicle 1 from the driver's seat 10. More specifically, the internal camera 25c1 captures an image of the front (traveling direction) of the work vehicle 1 with a field of view that is substantially the same as that of a worker seated in the driver's seat 10. In other words, the internal camera 25c1 provides an image capturing the traveling direction of the work vehicle 1.
  • the object detection unit 25d can also detect the presence or absence of an object, the position of the object, and the type of object based on the captured image data output from the camera 25c.
  • the sensing device 25 senses (monitors) the surrounding conditions of the work vehicle 1 and the work device 2 using the laser sensor 25a, ultrasonic sensor 25b, camera 25c, and object detection unit 25d, and outputs sensing information indicating the results to the on-board control device 21.
  • the sensing information includes at least the detection information of the object detection unit 25d and the image data captured by the camera 25c, but in addition to these, the sensing information may also include detection information from the laser sensor 25a and ultrasonic sensor 25b.
  • the state detection device 26 detects the operating states of the work vehicle 1 and the work equipment 2. Specifically, the state detection device 26 includes various sensors installed in each part of the work vehicle 1 and the work equipment 2, and a calculator, and the calculator detects (calculates) the operating states of the work vehicle 1 and the work equipment 2 based on output signals from the various sensors.
  • the state of the work vehicle 1 detected by the state detection device 26 includes the drive and stop states of each part of the work vehicle 1, the traveling direction, traveling speed, acceleration, and posture of the work vehicle 1, etc.
  • the state of the work equipment 2 detected by the state detection device 26 includes the drive and stop states and posture of each part of the work equipment 2, etc.
  • the state detection device 26 may acquire the position of the vehicle body 3 (position of the work vehicle 1) detected by the position detection device 24 at a predetermined cycle, and detect (calculate) the position of the work device 2 from the position of the vehicle body 3, or detect changes (transitions) in the position of the vehicle body 3.
  • the state detection device 26 may also detect the traveling speed of the vehicle body 3 from changes in the position of the vehicle body 3.
  • a rotation speed sensor may be provided that detects the rotation speed of the front wheels 7F and rear wheels 7R of the traveling device 7 or the rotation speed of a traveling motor that rotates the front wheels 7F and rear wheels 7R, and the state detection device 26 may detect the traveling speed of the vehicle body 3 based on the output signal of the rotation speed sensor.
  • the state detection device 26 generates detection information indicating the detected operating state of the work vehicle 1 and the work device 2, and outputs the detection information to the on-board control device 21.
  • the detection information of the state detection device 26 includes driving information of the work vehicle 1 and the work device 2.
  • This driving information includes, for example, at least one of the following information: the speed (or acceleration) of the work vehicle 1, the gear shift position of the transmission 5, the braking position of the brake device 13, and the operating position of the work device 2.
  • the position detection device 24 and the state detection device 26 output detection information indicating the results of detection at a predetermined cycle or at a predetermined timing to the in-vehicle control device 21 as needed.
  • the sensing device 25 also outputs sensing information indicating the results of sensing at a predetermined cycle or at a predetermined timing to the in-vehicle control device 21 as needed.
  • the in-vehicle control device 21 stores the detection information and sensing information input from the position detection device 24, the state detection device 26, and the sensing device 25 in the internal memory 21b.
  • the in-vehicle control device 21 sequentially transmits the detection information of the position detection device 24 and the state detection device 26 stored in the internal memory 21b and the sensing information of the sensing device 25 to the remote device 30 via the in-vehicle communication device 23 at a predetermined cycle or at a predetermined timing in the case of remote driving.
  • the detection information and sensing information transmitted from the work vehicle 1 in this manner includes correspondence data (see FIG. 3) that associates the position information of the work vehicle 1 with the captured images captured in the traveling direction of the work vehicle 1.
  • FIG. 3 is a diagram showing an example of the correspondence data. That is, the correspondence data that associates the detection information of the position detection device 24 (i.e., the position information of the work vehicle 1) with the sensing information of the sensing device 25 (e.g., the captured images by the internal camera 25c1) is sequentially transmitted to the remote device 30.
  • the captured images as shown in FIG.
  • the correspondence data that associates the position information of the work vehicle 1 detected by the position detection device 24 e.g., positions PU1, PV1, PW1, PX1 with the captured images by the internal camera 25c1 (e.g., captured images GPU1, GPV1, GPW1, GPX1) is sequentially transmitted to the remote device 30.
  • the on-vehicle control device 21 also communicates with the control unit 2a provided in the work device 2, causing the control unit 2a to control the operation of the work device 2. That is, the on-vehicle control device 21 performs work on the field by controlling the operation of the work device 2 via the control unit 2a.
  • the control unit 2a is composed of a CPU, memory, etc. Note that some work devices 2 do not have a control unit 2a. In this case, the on-vehicle control device 21 controls the attitude of the work device 2 using the coupling device 8, and the work device 2 performs work on the field.
  • the on-board control device 21 controls the driving of the work vehicle 1, the work performed by the work device 2, and other operations of the work vehicle 1 based on the sensing information of the sensing device 25, the detection information of the state detection device 26, the detection information of the position detection device 24, etc. Furthermore, when the on-board control device 21 receives a remote control signal transmitted from the remote device 30 via the on-board communication device 23, it controls the driving of the work vehicle 1, the work performed by the work device 2, and other operations of the work vehicle 1 based on the remote control signal in addition to the above information.
  • the on-board control device 21 determines, from the detection information of the object detection unit 25d, whether an object is approaching the work vehicle 1 or the work device 2 within a predetermined distance and there is a risk of contact. Then, when the on-board control device 21 determines that an object is approaching the work vehicle 1 or the work device 2 within a predetermined distance and there is a risk of contact, it controls the driving device 7 or the work device 2, etc., to automatically stop the driving or work of the work vehicle 1 and avoid contact with the object.
  • the remote device 30 As shown in FIG. 1, the remote device 30 is disposed at a location away from the work vehicle 1.
  • the remote device 30 allows the work vehicle 1 to be remotely controlled by a remote operator, and allows the state of the work vehicle 1 and the surrounding conditions of the work vehicle 1 to be monitored.
  • the remote device 30 includes a control device 31, a storage device 32, a communication device 33, a display device 34, a remote control device 35, and an alarm device 36.
  • the control device 31 is a processor that controls the operation of each part of the remote device 30. This processor functions as the control device 31 that controls the operation of each part of the remote device 30, for example, by executing a remote control program stored in the storage device 32.
  • the internal memory 32a provided in the control device 31 is a volatile or non-volatile memory. Various information and data used by the control device 31 to control the operation of each part of the remote device 30 are stored in a readable and writable manner in the internal memory 32a.
  • the storage device 32 prestores control programs such as a remote control program for remotely operating the work vehicle 1 and a remote monitoring program for remotely monitoring the work vehicle 1, as well as various data.
  • the storage device 32 is, for example, an SSD (solid state drive) or an HDD (hard disk drive).
  • the communication device 33 is composed of an antenna, an IC, and an electric circuit for wireless communication via a mobile phone communication network, the Internet, or a wireless LAN.
  • the communication device 33 communicates wirelessly with the work vehicle 1 under the control of the control device 31.
  • the communication device 33 receives various data transmitted from the on-board communication device 23 (detection information from the position detection device 24 and the status detection device 26, sensing information from the sensing device 25, etc.). For example, the communication device 33 receives correspondence data that associates the position information of the work vehicle 1 with an image captured of the traveling direction of the work vehicle 1.
  • the display device 34 is, for example, a liquid crystal display or an organic EL display.
  • the display device 34 displays various information for remotely operating the work vehicle 1.
  • the display device 34 displays a remote driving screen G2 (see FIG. 7A described later).
  • the remote driving screen G2 displays an image captured by the internal camera 25c1, that is, an image captured of the traveling direction of the work vehicle 1 during remote operation.
  • the display device 34 is also provided with a touch panel on its display screen, and is capable of detecting touch operations on the display screen.
  • the remote control device 35 is a device for remotely controlling the work vehicle 1.
  • the remote control device 35 is equipped with a steering wheel 35a, an accelerator pedal 35b, a brake pedal 35c, and a gear shift lever 35d, which are arranged around the remote control seat.
  • the remote operator sits in the remote control seat and operates the remote control device 35 to remotely control the travel of the work vehicle 1 or the work performed by the work device 2.
  • the remote operator also monitors the work vehicle 1 and the surrounding conditions using the display device 34.
  • the remote operator can also input specified information or instructions to the remote device 30 by operating the remote control device 35.
  • the remote control device 35 may be a touchpad or a hardware switch, etc.
  • the notification device 36 is equipped with a speaker 36a that outputs audio notifications to the remote operator.
  • the control device 31 When an operation instruction for the work vehicle 1 is input by the remote operator operating the remote control device 35, the control device 31 generates a remote control signal corresponding to the operation instruction, and transmits the remote control signal to the work vehicle 1 via the communication device 33. In other words, a remote control signal corresponding to the operation of the steering wheel 35a, accelerator pedal 35b, brake pedal 35c, and gear shift lever 35d is transmitted to the work vehicle 1.
  • the on-board control device 21 of the work vehicle 1 When the on-board control device 21 of the work vehicle 1 receives the remote control signal from the remote device 30 via the on-board communication device 23, it operates each part of the work vehicle 1 based on the remote control signal, the detection information of the position detection device 24, the sensing information of the sensing device 25, and the detection information of the state detection device 26, to control the running and steering of the work vehicle 1 and to control the work operation by the work device 2.
  • the on-board control device 21 also transmits the detection information of the position detection device 24 and the status detection device 26, and the sensing information of the sensing device 25 to the remote device 30 via the on-board communication device 23.
  • the control device 31 of the remote device 30 receives the detection information of the position detection device 24 and the status detection device 26, and the sensing information of the sensing device 25 via the communication device 33, it stores this information in the internal memory 32a and displays it on the display device 34.
  • the remote device 30 may be composed of a display terminal 70 and a remote control device 35. That is, the display terminal 70 may be a terminal device equipped with a control device 31, a storage device 32, a communication device 33, a display device 34, and an alarm device 36.
  • the display terminal 70 may be, for example, a portable terminal device such as a tablet device or a smartphone, or a stationary computer installed in a base station (not shown).
  • the display terminal 70 may also be a user interface device.
  • the control device 31 displays the driving route along which the work vehicle 1 should travel on the display device 34, and changes the display format of the driving route, in accordance with information for teaching remote operation of the work vehicle 1.
  • the information for teaching remote operation is information provided to the remote operator during remote operation, and is model driving information J that includes a model driving route that serves as a model for remote operation of the work vehicle 1, and model driving information that includes driving instructions for the model driving route.
  • the driving instructions include instructions for various types of driving operations (speed, gear shifting, braking, raising or lowering the work device 2, etc.) when operating the work vehicle 1 and the work device 2.
  • the control device 31 displays the model driving route as a line K (see FIG. 7A, etc.), and changes the display mode of this line K according to the model steering information included in the model driving route.
  • the control device 31 changes the display mode of the line K (for example, the color of the line K as shown in FIG. 7A and FIG. 8) according to steering instructions (for example, speed instructions) on the model driving route.
  • the remote operator can, for example, see the color of the line K to understand the speed instruction, and can remotely operate the work vehicle 1 using the speed instruction as an example.
  • FIG. 4A is a diagram showing an example of a storage table TB1 of the storage device 32.
  • the storage device 32 has a storage table TB1 in which one or more pieces of model driving information J are stored.
  • the model driving information J is broadly divided into actual driving information JA and simulated driving information JS.
  • the actual driving information JA is information that associates position information of a driving route when the work vehicle 1 has actually been manually driven (driven by manual or remote control) or automatically driven (driven by automatic steering) in the past with steering information for each piece of position information.
  • the simulated driving information JS is information that associates position information of a driving route when the work vehicle 1 is simulatedly driven with steering information for each piece of position information.
  • the information about the route and operation of manual driving included in the actual driving information JA is information about the route and operation when a driver gets in the other vehicle 1B and manually drives the other vehicle 1B, or when a remote operator remotely drives the other vehicle 1B without getting in the other vehicle 1B. It is assumed that the position detection device 24 of the other vehicle 1B (e.g., the work vehicle 1) is located at the center position in the width direction of the work vehicle 1 in a plan view.
  • the first, second, and fourth model driving information J1, J2, and J4 are transmitted from the work vehicle 1 to the remote device 30 and stored in the memory table TB1.
  • the first, second, and fourth model driving information J1, J2, and J4 are actual driving information JA that associates the driving information of the work vehicle 1 when the work vehicle 1 was actually driven manually, remotely, or automatically in the past with the position information of the work vehicle 1.
  • the first, second, and fourth model driving information J1, J2, and J4 are actual driving information JA that associates the actual driving route with the driving information of the work vehicle 1 and the work device 2 on the actual driving route.
  • the actual driving information JA is information that associates multiple positions (i.e., multiple position information) that constitute the actual driving route of the work vehicle 1 with the driving information of the work vehicle 1 and the work device 2 at the multiple positions (multiple position information).
  • This steering information includes, for example, at least one of the following information: the speed (or acceleration) of the work vehicle 1, the gear shift position of the transmission 5 provided on the work vehicle 1, the braking position of the brake device 13 provided on the work vehicle 1, and the operating position of the work device 2.
  • This operation information includes, for example, at least one or more pieces of information among the speed (or acceleration) of the work vehicle 1, the gear shift position of the transmission 5 provided on the work vehicle 1, the braking position of the brake device 13 provided on the work vehicle 1, and the operation position of the work device 2.
  • the control device 31 selects model driving information J and displays the selected model driving route as a line K, superimposed on the remote driving screen G2. In other words, the control device 31 changes the display mode of the line K according to the model driving information.
  • the line K is a line that indicates the model driving route.
  • the line K may be various types of line, such as a solid line or a dashed line.
  • the control device 31 changes the display mode of the line K by changing at least one of the size, color, density, shape, and pattern of the line K in accordance with the model driving information.
  • FIG. 5 is a diagram showing an example of an actual driving route of a farm road, a planned driving route of a field, and an actual driving route.
  • the on-board control device 21 of the vehicle 1A can set in advance the actual driving route LX1 of the farm road FR by the other vehicle 1B from the barn to the field H1. Therefore, by using the actual driving route LX1 of the farm road FR by the other vehicle 1B as a model, it can be used to help the remote operator make decisions about remote driving on the farm road FR.
  • the on-board control device 21 of the other vehicle 1B stores, as actual driving information of the farm road FR, position information and steering information on the actual driving route LX1 of the farm road FR when the other vehicle 1B was manually driven on the farm road FR in the past, together with time information indicating the date and time of manual driving, in the storage device 28.
  • the on-board control device 21 can obtain the manual driving date and time by RTC.
  • the position information on the actual driving route LX1 of the farm road FR corresponds to the position information detected by the position detection device 24.
  • the steering information on the actual driving route LX1 of the farm road FR corresponds to the detection information detected by the state detection device 26 (information indicating the steering content of the work vehicle 1 and the work device 2).
  • the vehicle control device 21 of the vehicle 1A and the other vehicle 1B can also set a planned driving route L1 in advance in the work area WA1 of the field H1.
  • the planned driving route L1 consists of a number of straight-line paths L1a and a number of semicircular arc-shaped turning paths L1b that connect the ends of two adjacent straight-line paths L1a.
  • an operator seated in the driver's seat 10 of the other vehicle 1B operates the steering device 11 to manually drive the other vehicle 1B along the planned driving route L1 and perform work using the work device 2.
  • FIG. 5 shows a case in which the actual driving route L11 during manual driving of the other vehicle 1B coincides with the planned driving route L1.
  • the vehicle control device 21 of the other vehicle 1B stores the position information and steering information on the actual driving route L11 during manual driving as actual driving information in the storage device 28 together with time information indicating the date and time of manual driving.
  • the vehicle control device 21 of the other vehicle 1B can obtain the manual driving date and time by RTC.
  • the position information on the actual travel path L11 corresponds to the position information detected by the position detection device 24.
  • the operation information on the actual travel path L11 corresponds to the detection information detected by the state detection device 26 (information indicating the operation content of the work vehicle 1 and the work device 2).
  • Figure 6 is a diagram showing an example of actual driving information. As shown in Figure 6, when the position information of the actual driving information JA is position PU1 (position PU1 shown in Figure 5), the steering information is that the work vehicle 1 is at a speed SD5 (acceleration), the gear change position of the transmission 5 is the second gear change position, the braking of the braking device 13 is off, and the operation position of the work device 2 is in the raised position.
  • position information of the actual driving information JA position PU1 (position PU1 shown in Figure 5)
  • the steering information is that the work vehicle 1 is at a speed SD5 (acceleration)
  • the gear change position of the transmission 5 is the second gear change position
  • the braking of the braking device 13 is off
  • the operation position of the work device 2 is in the raised position.
  • the steering information is that the work vehicle 1 is at a speed SD3 (deceleration), the gear change position of the transmission 5 is the first gear change position, the braking of the braking device 13 is on, and the operation position of the work device 2 is in the raised position.
  • the position information of the actual driving information JA is position PW1 (position PW1 shown in FIG. 5)
  • the steering information is that the work vehicle 1 is at a speed SD5 (accelerating)
  • the gear shift position of the transmission 5 is the second gear shift position
  • the braking device 13 is off, and the operating position of the work device 2 is in the lowered position.
  • the steering information is that the work vehicle 1 is at a speed SD3 (deceleration), the gear shift position of the transmission 5 is the first gear shift position, the braking device 13 is on, and the operating position of the work device 2 is in the raised position.
  • the on-board control device 21 of the other vehicle 1B After driving on the farm road FR, after work in the field H1, or when a transmission command is received from the operator of the other vehicle 1B, the on-board control device 21 of the other vehicle 1B causes the actual driving information JA during manual driving stored in the storage device 28 to be transmitted to the remote device 30 via the on-board communication device 23 either all at once or divided into multiple pieces. Note that when the actual driving information JA during manual driving is divided into multiple pieces and transmitted to the remote device 30, the multiple pieces of actual driving information JA during manual driving are stored together as one piece of actual driving information JA during manual driving in the storage device 32 of the remote device 30.
  • the on-board control device 21 may cause the remote device 30 to transmit the actual driving information JA when there is a request command from the remote device 30 or when a predetermined transmission timing is reached. Also, the on-board control device 21 may cause the remote device 30 to transmit the actual driving information JA acquired up to that point each time a predetermined data amount or a predetermined time is reached for the actual driving information JA during manual driving.
  • the actual driving information JA is not limited to manual driving, and may be actual driving information JA when the other vehicle 1B has been remotely driven by the remote device 30 in the past.
  • the on-board control device 21 of the other vehicle 1B may store the actual driving information JA of the remote driving together with time information indicating the date and time of the remote driving in the memory 21b or the storage device 28, and transmit it to the remote device 30 via the on-board communication device 23.
  • the on-board control device 21 may also sequentially transmit position information and driving information during remote driving together with time information to the remote device 30, and store the series of position information and driving information and time information received by the remote device 30 in the storage device 32 as actual driving information JA of the remote driving.
  • the other vehicle 1B transmits the above-mentioned actual driving information JA to the remote device 30 (S101).
  • the remote device 30 saves (stores) the received actual driving information JA in a storage table TB1 of the storage device 32 (S102).
  • the storage table TB1 also stores simulated driving information JS that has been generated in advance by a simulation. Therefore, the storage device 32 of the remote device 30 stores the actual driving information JA and simulated driving information JS of the other vehicle 1B in advance.
  • the control device 31 of the remote device 30 can select any model driving information J from the multiple model driving information J in the memory table TB1, and superimpose the model driving route indicated by the selected model driving information J as a line K on the captured image displayed on the remote driving screen G2, as shown in FIG. 7A.
  • the control device 31 can select the model driving information J in accordance with the operation of the remote operator.
  • FIG. 7A is a diagram showing an example of the remote operation screen G2.
  • the line K is formed, for example, by a series of multiple arrow feather-shaped display elements (display elements Kb to Ke in FIG. 7A).
  • the display elements (display elements Kb to Ke in FIG. 7A) that make up the line K are not limited to an arrow feather shape, and may be of various shapes such as a triangle, a rectangle, or an arrow.
  • the control device 31 changes the display mode of the line K according to the driving information of the model driving information J (actual driving information JA, simulation driving information JS).
  • the storage device 32 stores a display mode table MT as shown in FIG. 8.
  • FIG. 8 is a diagram showing an example of the display mode table MT stored in the storage device 32.
  • the control device 31 changes the display mode of the line K by changing at least one of the size, color, density, shape, and pattern of the line K according to the driving information of the model driving information J (actual driving information JA, simulation driving information JS) using the display mode table MT.
  • the line K can be said to be a trajectory.
  • an object other than the line K may be displayed only when an event occurs.
  • the speed may be displayed in the color of the line K
  • the braking (braking) location may be displayed as an object other than the line K (for example, an x mark) (spot-like at the position where the brakes are applied).
  • the display Kb is displayed in light green, indicating that the running speed of the work vehicle 1 is [0.5 km/h].
  • the display Kc is displayed in yellow, indicating that the running speed of the work vehicle 1 is [1 km/h].
  • the display Kd is displayed in yellowish orange, indicating that the running speed of the work vehicle 1 is [1.5 km/h].
  • the display Ke is displayed in orange, indicating that the running speed of the work vehicle 1 is [2 km/h].
  • the size (e.g., width) of the line K changes depending on the gear shift position of the transmission 5, which is an example of steering information.
  • the transmission 5 is switched to first gear in a first speed range by shifting the gear lever 11d to the first forward gear position, and to second gear in a second speed range that is faster than the first speed range by shifting the gear lever 11d to the second forward gear position.
  • the gear shift position of the transmission 5, which is an example of steering information is information that it has been switched to first gear
  • the size (width) of the line K is displayed with a first width
  • the information is information that the transmission 5 has been switched to second gear
  • the size (width) of the line K is displayed with a second width that is larger than the first width.
  • the shape of the line K changes depending on the operating position (e.g., raised position, lowered position) of the work device 2, which is an example of the operation information. If the work device 2 is in the raised position, the line K is displayed in a first shape, and if the work device 2 is in the lowered position, the line K is displayed in a second shape that is different from the first shape.
  • the operating position e.g., raised position, lowered position
  • the density of the line K changes depending on the braking position of the braking device 13 provided on the work vehicle 1, which is an example of steering information.
  • the line K is displayed darker (displayed with a first density), and when the braking is off, the line K is displayed lighter (displayed with a second density that is lighter than the first density).
  • control device 31 may display the line K shown in FIG. 7A on the remote driving screen G2 by executing a projection transformation process for the corresponding area of the map, which is a part of the planar map including the actual driving path L11 during manual driving shown in FIG.
  • the control device 31 appropriately sets the display length of the line K on the remote driving screen G2, but may display all lines K included in the remote driving screen G2. For example, when the current position of the vehicle 1A and the position of the line K are at a first set distance (e.g., 2 m, 3 m), the control device 31 may display the line K for a distance of a predetermined reference length (e.g., 10 m) from the starting point position, which is the position of the shortest distance from the current position of the vehicle 1A on the actual driving route, and when the second set distance (e.g., 4 m or more) is greater than the first set distance, the control device 31 may display the line K at a first length (e.g., 20 m) greater than the predetermined reference length from the starting point position or a second length (e.g., 5 m) smaller than the first set distance.
  • a predetermined reference length e.g. 10 m
  • the control device 31 may display the line K at a first length (e.g
  • the control device 31 displays, for example, the actual driving route indicated by the actual driving information JA (i.e., the actual driving route with the widthwise center position of the other vehicle 1B as the reference position) as a line K.
  • the remote driving screen G2 shown in FIG. 7A displays a state in which the widthwise center position of the host vehicle 1A (work vehicle 1) being remotely controlled is aligned with the line K indicating the actual driving route of the other vehicle 1B. This makes it possible to display the line K with the widthwise center position of the work vehicle 1 as the reference position.
  • the control device 31 may also display the line K with the maximum width of the work vehicle 1 as a reference position, as shown in FIG. 7C.
  • the control device 31 displays a left end line WL1 indicating the left end of the maximum width of the work vehicle 1 and a right end line WL2 indicating the right end, and displays the line K at the midpoint between the left end line WL1 and the right end line WL2.
  • the left end line WL1 is a line obtained by offsetting the actual driving route of the other vehicle 1B by the distance from the center position in the width direction of the vehicle 1A to the left end.
  • the right end line WL2 is a line obtained by offsetting the actual driving route of the other vehicle 1B by the distance from the center position in the width direction of the vehicle 1A to the right end.
  • the line K may be displayed with a width from the left end line WL1 to the right end line WL2. This allows the line K to be displayed with the maximum width of the work vehicle 1 as a reference position.
  • the control device 31 may also display the line K with the maximum width of the work vehicle 1 and the work device 2 (i.e., the overall maximum width of the work vehicle 1 and the work device 2) as the reference position. This allows the line K to be displayed with the maximum width of the work vehicle 1 and the work device 2 as the reference position.
  • the control device 31 displays five selectable items: the widthwise center position of the work vehicle 1, the wheel position of the work vehicle 1, the widthwise center position of the driver's seat 10, the maximum width of the work vehicle 1, and the maximum width of the work vehicle 1 and the work device 2.
  • the control device 31 moves the selectable items upward each time the remote operator operates the up button, and moves the selectable items downward each time the remote operator operates the down button.
  • FIG. 9B shows the state in which the down button has been operated twice, changing the reference position to the widthwise center position of the driver's seat 10.
  • FIG. 10A is a flowchart showing the operation of the work vehicle 1 during remote driving.
  • FIG. 10B is a flowchart showing the operation of the remote device 30 when the work vehicle 1 is remotely operated.
  • the actual driving information JA is transmitted from the other vehicle 1B to the remote device 30 (S101 in FIG. 10B), and the actual driving information JA is saved (stored) in advance in the storage device 32 of the remote device 30 (S102 in FIG. 10B).
  • the communication device 33 receives device information indicating the specifications of the work vehicle 1 and the work device 2, and stores it in the storage device 32.
  • the storage device 32 also stores map information of the area in which the work vehicle 1 is located in advance.
  • the control device 31 extracts the position of the work vehicle 1 from the detection information of the position detection device 24, and regards an area within a predetermined distance from the position of the work vehicle 1 as the periphery of the work vehicle 1, and reads map information of that area from the storage device 32 to the internal memory 32a.
  • the control device 31 may receive map information of an area within a predetermined distance from the position of the work vehicle 1 from an external server via the Internet or the like in S106 using the communication device 33, and read the received map information.
  • the control device 31 determines whether or not there is an instruction to select line K (S108). If there is an instruction to select line K from the remote driver (S108: YES), the control device 31 extracts the actual driving information JA of the other vehicle 1B selected by the remote driver (S109). For example, assume that the second actual driving information JA2 was selected by the operation of the remote driver, and therefore the control device 31 extracts the second actual driving information JA2. Note that if "Instruction to display line K has been issued" is set as the default value in S108, the control device 31 extracts the actual driving information JA of the other vehicle 1B set as the default value (S109).
  • the control device 31 displays the second actual driving information JA2 extracted in S109 as a line K on the remote driving screen G2 of the display device 34 (S110). For example, as shown in FIG. 7A, the control device 31 displays the actual driving route indicated by the position information of the second actual driving information JA2 as a line K on the remote driving screen G2, and also displays the line K in a display mode indicated by the steering information of the second actual driving information JA2.
  • the control device 31 sets the "center position of the work vehicle 1" as the reference position of line K, and when the reference position of line K is changed to the "center position of the driver's seat 10" as shown in FIG. 9C, the control device 31 sets the "center position of the driver's seat 10" as the reference position of line K.
  • the control device 31 transmits a remote control signal corresponding to the steering operation by the remote control device 35 to the vehicle 1A via the communication device 33 (S111).
  • a remote control signal including various operation signals corresponding to the operation of the steering wheel 35a, accelerator pedal 35b, brake pedal 35c, and gear lever 35d by the remote operator is transmitted from the remote device 30 to the work vehicle 1.
  • the vehicle control device 21 of the vehicle 1A transmits the position information, image information, and driving information to the remote device 30 via the vehicle communication device 23 (S112).
  • the work vehicle 1 operates according to remote control signals from the remote device 30.
  • the on-board control device 21 operates the steering wheel 11a ( Figure 2), accelerator pedal, brake pedal, and shift lever 11d of the control device 11 according to various operation signals corresponding to the operation of the steering wheel 35a, accelerator pedal 35b, brake pedal 35c, and shift lever 35d by the remote operator.
  • the control device 31 of the remote device 30 updates and displays the remote driving screen G2 (S113). For example, the control device 31 performs the screen display update process each time it receives corresponding data from the work vehicle 1 during remote driving.
  • the control device 31 determines whether or not there is a change in the type of line K (S114). For example, if a change button for the type of line K arranged on an operating device around the driver's seat 10 is operated (S114: YES), the type of line K is changed to that shown in Figures 7B and 7C and displayed (S115).
  • the on-board control device 21 sets an area up to a preset distance from the work vehicle 1 in the traveling direction of the work vehicle 1 as an emergency stop area. Therefore, when the work vehicle 1 is traveling under remote control by the remote device 30 and, based on sensing information from the sensing device 25, the on-board control device 21 detects that an obstacle has entered the emergency stop area, the on-board control device 21 automatically brings the work vehicle 1 to an emergency stop to avoid contact between the work vehicle 1 and the obstacle (S15: YES), and returns to S12.
  • the vehicle control device 21 determines whether or not remote driving is to be ended (S16). For example, if the vehicle control device 21 receives an end signal for remote driving from the remote device 30 (S16: YES), it ends remote driving. On the other hand, if the vehicle control device 21 does not receive an end signal for remote driving from the remote device 30 (S16: NO), it returns to S12.
  • the control device 31 determines whether or not remote driving has ended (S116). For example, if the position information of the remotely controlled work vehicle 1 has not reached the end position of the actual driving route indicated by the actual driving information on the farm road FR (S116: NO), the control device 31 returns to S111. On the other hand, if it has reached the end position (S116: YES) or if an instruction to end remote driving has been received, the control device 31 ends remote driving on the farm road FR.
  • the line K may be superimposed on the remote driving screen G2.
  • a remote control device 30 including a remote control device 35 for remotely controlling a work vehicle 1, a display device 34 for displaying an image of the travel direction of the work vehicle 1 during remote control, and a control device 31 for displaying on the display device 34 the travel route along which the work vehicle 1 should travel in accordance with information for teaching the remote control of the work vehicle 1, and for changing the display format of the travel route.
  • the remote operator can check the driving route on the display device 34, and by looking at the display form of the driving route on the display device 34, can grasp information for teaching remote operation, and can perform remote operation as indicated by the display form. In other words, it is possible to assist (support) remote operation.
  • the control device 31 is a remote device 30 described in Item A1 that changes the display format of the travel route in response to steering instructions when the information for teaching includes steering instructions.
  • model driving information J including a model driving route that is a model for remotely driving the work vehicle 1 and model driving information including driving instructions along the model driving route
  • the control device 31 displays the model driving route as a line K and changes the display mode of the line K according to the model driving information included in the model driving route.
  • the remote operator can see the line K displayed on the display device 34 and know the model driving route and model driving information, and can perform remote control to approach the model driving route and model driving information.
  • the model driving information J is actual driving information JA having a route when the work vehicle 1 was actually driven manually or automatically in the past and steering information including steering instructions for the route, and the control device 31 displays the route as a line K and changes the display mode of the line K according to the steering information included in the route.
  • the display device 34 can display lines showing the driving route and driving information of the work vehicle 1 that was actually driven manually or automatically in the past, and remote driving can be assisted by the line display showing model driving information for manual or remote driving.
  • the model driving information J is simulation driving information JS including a route when the work vehicle 1 is simulated driven and steering information on the route, and the control device 31 displays the route as a line K and changes the display mode of the line K according to the steering information included in the route.
  • the driving route and model driving information of the work vehicle 1 that is being simulated can be displayed as lines on the display device 34, and remote driving can be assisted by the line display showing the model driving information from the simulated driving.
  • the actual driving information JA is information that associates position information of the work vehicle 1 when the work vehicle 1 has actually been driven in the past by manual driving, remote driving, or automatic driving with driving information for each of the position information.
  • the display device 34 can display a line K indicating a driving route based on position information of a work vehicle 1 that has actually been driven manually, remotely, or automatically in the past, and the driving information for each position on the line K. This makes it possible to perform remote driving that approximates the driving route and driving information of a work vehicle 1 that has actually been driven.
  • a line K whose display mode changes depending on at least one of information items among the speed of the work vehicle 1, the gear shift position of the transmission 5, the braking position of the brake device 13, and the operating position of the work device 2 can be displayed on the display device 34.
  • speed information, gear shift position information, brake position information, and operating information of the work device 2 can be displayed as the line K.
  • At least one of the size, color, density, shape, and pattern of the line K displayed on the display device 34 changes, so that the remote operator can learn the control information associated with the changed display mode of the line K, that is, the size, color, density, shape, and pattern, from the change in the line K, and can perform control in accordance with the control information obtained from the line K whose display mode changes, thereby assisting (supporting) the remote control.
  • a remote device 30 as described in Item A7 which includes a communication device 33 that receives the position information of the work vehicle 1 and the captured image, and when the control device 31 remotely controls the work vehicle 1 using the remote control device 35, generates model driving information J including the position indicated by the current position information of the work vehicle 1 received by the communication device 33, and displays the model driving route indicated by the generated model driving information J as the line K on the display device 34.
  • the remote operator can remotely control the vehicle while viewing the model driving route generated by simulation in parallel with the remote control.
  • a remote device 30 described in Item A6 or A7 which includes a communication device 33 that receives the position information of the work vehicle 1 and the captured image, and a storage device 32 that stores the model driving information J in advance, and when the control device 31 remotely controls the work vehicle 1 using the remote control device 35, selects the model driving information J related to a target range including the position indicated by the current position information of the work vehicle 1 received by the communication device 33, and displays the model driving route indicated by the selected model driving information J as the line K on the display device 34.
  • the remote operator can remotely control the work vehicle using model driving information that is similar to the work vehicle being remotely controlled.
  • a camera 25c imaging device
  • a line K whose display mode changes according to the driving information of the actual driving information can be displayed on an image captured in the traveling direction of the work vehicle 1 from the driver's seat 10 or a protective mechanism (cabin 9, ROPS, etc.) surrounding the driver's seat 10, allowing remote control according to the line K while sitting in the driver's seat 10 of the work vehicle 1 in a remote location, and assistance can be received from the past line K of the work vehicle 1.
  • a protective mechanism cabin 9, ROPS, etc.
  • the remote device 30 described in Item A11 is provided with the notification device 36, and when there is a deviation between the line K and the work vehicle 1 remotely controlled by the remote control device 35, the control device 31 causes the notification device 36 to notify the deviation from the line K, and when there is a deviation between the control information when the work vehicle 1 was actually driven in the past and the control information when the work vehicle 1 is remotely controlled, causes the notification device 36 to notify the deviation of the control information.
  • the remote operator can be notified of the deviation. Also, if there is a deviation between the operation information of the remotely operated work vehicle 1 and the operation information indicated by the line K, the deviation of the operation information can be notified. Therefore, it is possible to have the operator adhere to the driving route and operation content by using the line K as a model.
  • the control device 31 is a remote control device 30 described in Item A13 that, when the work vehicle 1 approaches an operating position on the line K, causes the notification device 36 to notify the work vehicle 1 that it is at the operating position.
  • the remote operator when the remotely operated work vehicle 1 approaches the operation position (for example, when the position where the impulse should be raised is approaching), the remote operator can be notified in advance (by display on the screen, by voice, etc.). This can increase the reliability of operation.
  • the storage device 32 pre-stores reference information associating warning information WM with the past historical route HR of a moving body other than the work vehicle 1, and the control device 31 causes the display device 34 to display at least one of the past historical route HR of the moving body and the warning information WM when the remotely controlled work vehicle 1 is located within a predetermined distance from the past historical route HR of the moving body.
  • the control device 31 is the remote device 30 described in Item A9 that displays the line K using any one of the following as a reference position: the wheel position of the work vehicle 1, the center position in the width direction of the work vehicle 1, the center position in the width direction of the driver's seat 10 provided in the work vehicle 1, and the maximum width of the work vehicle 1.
  • line K can be displayed as various reference positions.
  • the control device 31 when the remote operator selects, by a selection operation, which of the wheel positions of the work vehicle 1, the center position in the width direction of the work vehicle 1, the center position in the width direction of the driver's seat 10, the maximum width of the work vehicle 1, and the maximum width consisting of the work vehicle 1 and the work equipment 2 provided on the work vehicle 1, as the reference position, displays a line K with the selected reference position as the starting point, the remote device 30 described in Item A16.
  • the reference position of line K can be appropriately changed by the remote operator by appropriately selecting which of the wheel positions of the work vehicle 1, the center position in the width direction of the work vehicle 1, the center position in the width direction of the driver's seat 10, the maximum width of the work vehicle 1, and the maximum width consisting of the work vehicle 1 and the work equipment 2, and line K can be appropriately changed to one that is easy for the remote operator to see depending on the driving conditions of the work vehicle 1 or the work performed by the work vehicle 1, and the degree of freedom in displaying line K can be further expanded.
  • the control device 31 selects an exemplary driving route stored in the storage device 32 based on this selection instruction, and displays the exemplary driving route as a line K on the remote driving screen G2 of the display device 34.
  • a remote control system 100 comprising a work vehicle 1 and a remote device 30 described in any one of Items A1 to A17, the work vehicle 1 comprising a position detection device 24 that detects the position of the work vehicle 1, a camera 25c (imaging device) that captures images in the direction of travel of the work vehicle 1, and an on-board communication device 23 that transmits position information indicating the position detected by the position detection device 24 and the captured image captured by the camera 25c in association with each other, the remote device 30 comprising a communication device 33 that receives the position information and the captured image, and the control device 31 causes the display device 34 to display the travel route that the work vehicle 1 should travel in accordance with information for teaching remote control of the work vehicle 1, and changes the display format of the travel route.
  • the work vehicle 1 comprising a position detection device 24 that detects the position of the work vehicle 1, a camera 25c (imaging device) that captures images in the direction of travel of the work vehicle 1, and an on-board communication device 23 that transmits position information indicating the position detected by the position detection
  • the remote operator can see the display form of the driving route on the display device 34, understand the operation content that the display form teaches, and perform remote operation as indicated by the display form. In other words, it is possible to assist (support) remote operation.
  • the control device 31 may increase the size of the line K (e.g., make the width wider) as the speed increases, and decrease the size of the line K (e.g., make the width narrower) as the speed decreases.
  • the width of the line K has the relationship display body Kb ⁇ display body Kc ⁇ display body Kd ⁇ display body Ke. With this configuration, the speed can be roughly determined from the size (width) of the line K.
  • the remote control system 100 of this embodiment can provide assistance in making appropriate driving decisions.
  • the memory table TB1 in FIG. 4A includes the simulation driving information JS, it may be composed of only the actual driving information JA.
  • the control device 31 may select only the actual driving information JA from the memory table TB1 in FIG. 4A. In this way, the actual driving information JA is appropriately selected.
  • a remote control device 30 including a remote control device 35 for remotely controlling a work vehicle 1, a display device 34 for displaying an image captured in the direction of travel of the work vehicle 1 during remote control, and a control device 31 for displaying actual driving information JA on the display device 34 at least during remote control of the work vehicle 1.
  • the remote operator when remotely operating the work vehicle 1, the remote operator can remotely operate the work vehicle 1 while viewing the actual driving route displayed on the display device 34. In other words, the remote operator can assist (support) the remote operation.
  • the display device 34 can display a route (e.g., line K) of the work vehicle 1 that was actually driven manually or automatically in the past, and the remote operation can be assisted by the line K from the past manual or automatic driving.
  • a route e.g., line K
  • remote control can be performed by viewing actual driving information JA regarding the route and operation of another vehicle 1B other than the vehicle 1A being remotely controlled.
  • the information on the route and maneuvering of the manual driving included in the actual driving information JA is information on the route and maneuvering when a driver is in the other vehicle 1B and drives it manually, or when a remote operator is not in the other vehicle 1B and drives it manually remotely.
  • the remote device 30 is described in any one of items B1 to B3.
  • the display device 34 displays the captured image on a remote driving screen G2, and the control device 31 displays the actual driving route, which is the route that would be taken if the vehicle were driven manually and is included in the actual driving information JA, as a line K, superimposed on the captured image on the remote driving screen G2.
  • the remote device 30 described in any one of items B1 to B4.
  • the remote operator can remotely control the vehicle while checking the actual driving route by looking at the line K superimposed on the captured image on the remote driving screen G2, and can assist (support) the remote control.
  • the remote operator can select any of the past driving information JA, and the route indicated by the selected past driving information JA is displayed as line K on the remote driving screen G2 of the display device 34, so that the remote operator can remotely control the vehicle while watching the display form of this line K, and can remotely control the vehicle to match the past driving route.
  • a remote device 30 according to any one of items B5 or B6, which includes a storage device 32 that stores at least one piece of actual driving information JA, and a communication device 33 that receives the position information of the work vehicle 1 and the captured image, and the actual driving information JA includes information that associates the driving information when the work vehicle 1 was actually driven in advance with the position information of the work vehicle 1, and when the control device 31 remotely controls the work vehicle 1 with the remote control device 35, selects from the storage device 32 the actual driving information JA related to a target range that includes the position indicated by the current position information of the work vehicle 1 received by the communication device 33, and displays the actual driving route indicated by the selected actual driving information JA as the trajectory on the remote driving screen.
  • the remote operator can remotely control the work vehicle using actual driving information JA that is close to the work vehicle being remotely controlled.
  • a camera 25c imaging device
  • a line K whose display mode changes according to the driving information of the actual driving information can be displayed on an image captured in the traveling direction of the work vehicle 1 from the driver's seat 10 or a protective mechanism (cabin 9, ROPS, etc.) surrounding the driver's seat 10, allowing remote control according to the line K while sitting in the driver's seat 10 of the work vehicle 1 in a remote location, and assistance can be received from the past line K of the work vehicle 1.
  • a protective mechanism cabin 9, ROPS, etc.
  • a high-priority actual driving route can be preferentially displayed as a line K from one or more pieces of actual driving information JA stored in the storage device 32. Therefore, a line K with a high reliability can be displayed as a guide.
  • the storage device 32 stores a plurality of pieces of actual driving information JA
  • the control device 31 causes the display device 34 to display the latest actual driving information JA among the plurality of pieces of actual driving information JA stored in the storage device 32 as a first trajectory (first line K1) with a first transparency, and causes the remote driving screen G2 to display actual driving information JA other than the latest actual driving information JA as a second trajectory (second line K2) with a second transparency higher than the first transparency.
  • first trajectory first line K1 with a first transparency
  • second line K2 causes the remote driving screen G2 to display actual driving information JA other than the latest actual driving information JA as a second trajectory (second line K2) with a second transparency higher than the first transparency.
  • a remote device as described in Item B9.
  • the most recent actual driving information JA is displayed as a first line K1 with a first transparency, and actual driving information JA other than the most recent actual driving information JA is displayed as a second line K2 with a second transparency higher than the first transparency, so that while multiple past lines K (i.e., the first line K1 and the second line K2) are displayed, the most recent actual driving information JA with high reliability can be displayed preferentially. Therefore, while showing the distribution of multiple lines K, the most recent actual driving information JA with high reliability can be clearly shown.
  • a remote control system 100 comprising a work vehicle 1 and any one of the remote devices 30 of items B1 to B10, the work vehicle 1 comprising a position detection device 24 that detects the position of the work vehicle 1, a camera 25c (imaging device) that captures images in the direction of travel of the work vehicle 1, and an on-board communication device 23 that transmits position information indicating the position detected by the position detection device 24 and an image captured by the camera 25c in association with each other, the remote device 30 comprising a communication device 33 that receives the position information and the image, and the control device 31 causes the display device 34 to display actual driving information JA at least during remote control of the work vehicle 1.
  • the remote operator when remotely operating the work vehicle 1, the remote operator can remotely operate the work vehicle 1 while viewing the actual driving route displayed on the display device 34. In other words, the remote operator can assist (support) the remote operation.
  • the model driving information J is selected in accordance with the operation of the remote operator (S108 in Figure 10B).
  • the remote device 30 of the first modified example differs from the remote device 30 of the above embodiment in that it is capable of selecting model driving information J that is close to the position of the vehicle 1A, as shown in Figure 10C.
  • the control device 31 of the remote device 30 extracts the actual driving information JA of the other vehicle 1B based on information from the host vehicle 1A (S109A). Specifically, when the control device 31 remotely controls the host vehicle 1A (work vehicle 1) using the remote control device 35, it selects model driving information J (which may be actual driving information JA) related to a target range including the position indicated by the current position information of the host vehicle 1A received by the communication device 33.
  • model driving information J which may be actual driving information JA
  • the control device 31 selects model driving information part of which is located within a target range (for example, within a range of 20 m) including the current position of the host vehicle 1A. In other words, the control device 31 selects model driving information J that is close to the position of the host vehicle 1A.
  • the model driving information J related to this target range is model driving information for a range within a specified distance (e.g., 20 m) from the position of the vehicle 1A, but may be any model driving information that matches the current position of the vehicle 1A.
  • the model driving information J related to the target range may be model driving information for the farm field H1 in which the vehicle 1A is located, or model driving information for the farm road FR in which the vehicle 1A is located.
  • control device 31 displays the model driving route (here, the actual driving route) indicated by the selected model driving information J as a line K, as shown in FIG. 7A, superimposed on the captured image displayed on the remote driving screen G2 (S110).
  • model driving route here, the actual driving route
  • a communication device 33 that receives the position information and captured images of the work vehicle 1, and a storage device 32 that prestores model driving information.
  • the control device 31 selects model driving information J related to a target range that includes the position indicated by the current position information of the work vehicle 1 received by the communication device 33, and displays the model driving route indicated by the selected model driving information J as a line K on the display device 34.
  • the remote operator can remotely control the work vehicle using model driving information that is similar to the vehicle being remotely controlled.
  • the model driving information J is selected in accordance with the operation of the remote operator (S108 in Figure 10B), but the remote device 30 of the second modified example differs from the remote device 30 of the above embodiment and the first modified example in that it can select model driving information J based on priority information, as shown in Figure 10D.
  • FIG. 4B is a diagram showing an example of a memory table of the second modified example.
  • a plurality of model driving information J is stored in memory table TB2 held by memory device 32.
  • Priority information is associated with and stored in the first to fourth model driving information J1 to J4.
  • the priority information is information indicating the recording date and time.
  • the recording date and time indicates the date and time of manual or automatic driving, or the date and time of simulation.
  • priority information (for example, information indicating the recording date and time) that gives the latest model driving information J the highest priority can be stored in memory table TB2.
  • the control device 31 of the remote device 30 extracts the model driving information J of the other vehicle 1B based on the priority information (S109B). For example, the control device 31 displays the latest model driving information J among the multiple pieces of model driving information J stored in the storage device 32 as a line K on the remote driving screen G2 of the display device 34. In other words, since the recording date and time of the second model driving information J2 is the latest, the second model driving information J2 is displayed as a line K on the remote driving screen G2.
  • control device 31 displays the model driving route indicated by the second model driving information J2 extracted based on the priority information as a line K on the remote driving screen G2 of the display device 34 (S110).
  • favorite information may be added as priority information.
  • the favorite information is set to on for model driving information J that the remote operator or the like wants to use preferentially, and set to off for other model driving information J, so that model driving information J with favorite information on is selected preferentially regardless of the recording date and time.
  • the favorite information for the first model driving information J1 is on, and the favorite information for the second to fourth model driving information J2 to J4 is all off. Therefore, the first model driving information J1 with favorite information on may be displayed as line K on the remote driving screen G2 of the display device 34, rather than the second model driving information J2 with the most recent recording date and time.
  • a storage device 32 that stores at least one model driving information J (e.g., actual driving information JA, simulated driving information JS), and the control device 31 selects the model driving information J (e.g., actual driving information JA, simulated driving information JS) stored in the storage device 32 based on priority information, and displays the model driving route (e.g., actual driving route, simulated driving route) as a line K on the remote driving screen G2.
  • model driving information J e.g., actual driving information JA, simulated driving information JS
  • a high priority model driving route e.g., a past driving route, a simulated driving route
  • a line K from among one or more model driving information J (e.g., actual driving information JA, simulated driving information JS) stored in the storage device 32. Therefore, it is possible to display a line K with a high reliability as a guide.
  • the remote device 30 in the above embodiment and the first to second modified examples is configured to select model driving information J (e.g., actual driving information JA, simulated driving information JS) stored in the memory device 32, but the remote device 30 in the third modified example differs from the remote device 30 in the above embodiment and the first to second modified examples in that it is capable of displaying model driving information J generated by simulation in parallel with remote driving, as shown in Figure 10E.
  • model driving information J e.g., actual driving information JA, simulated driving information JS
  • control device 31 When the work vehicle 1 is remotely controlled by the remote control device 35, the control device 31 generates model driving information including the position indicated by the current position information of the work vehicle 1 received by the communication device 33.
  • the control device 31 performs image analysis on the captured image received by the communication device 33 to identify the farm road FR in the captured image. Based on the identified farm road FR, the control device 31 creates an exemplary driving route that runs from the center position in the width direction of the work vehicle 1 in the captured image through the center position of the road width of the identified farm road FR along the length direction of the farm road FR, and generates exemplary driving information that includes exemplary driving information that indicates driving information (speed, presence or absence of braking, gear shifting, etc.) for each position of the exemplary driving route according to the shape of the farm road FR (e.g., straight, curved, meandering, increase or decrease in road width, etc.) and road surface condition (flat, uneven, etc.).
  • exemplary driving route that runs from the center position in the width direction of the work vehicle 1 in the captured image through the center position of the road width of the identified farm road FR along the length direction of the farm road FR, and generates exemplary driving information that includes exemplary driving information that indicates driving information (speed
  • the control device 31 may also generate model driving information by converting the model driving route of the model driving information J that is close to the position of the host vehicle 1A (work vehicle 1) in the first modified example into a driving route based on the position of the host vehicle 1A.
  • control device 31 of the remote device 30 generates model driving information, i.e., simulated driving information, through a simulation in parallel with the remote control (S109C).
  • the remote control system 100 of the third modified example includes a communication device 33 that receives the position information and captured images of the work vehicle 1, and when the work vehicle 1 is remotely controlled by the remote control device 35, the control device 31 generates model driving information including the position indicated by the current position information of the work vehicle 1 received by the communication device 33, and displays the model driving route indicated by the generated model driving information as a line K on the remote driving screen G2.
  • the control device 31 while acquiring driving information from remote driving, the control device 31 simultaneously generates position information of an exemplary driving route when the work vehicle 1 is simulated and exemplary driving information for each of the position information, and displays them on the remote driving screen G2. In other words, a simulation is performed simultaneously with remote driving to generate an exemplary driving route, and the exemplary driving route is displayed.
  • the remote operator can remotely control the vehicle while viewing the model driving route generated by simulation in parallel with the remote control.
  • the remote device 30 of the fourth modified example differs from the remote device 30 of the above embodiment in that it can simultaneously superimpose multiple lines K (e.g., a first line K1 and a second line K2) on the remote driving screen G2, as shown in FIG. 7E.
  • lines K e.g., a first line K1 and a second line K2
  • the storage device 32 stores multiple pieces of actual driving information JA, as shown in FIG. 4.
  • the control device 31 of the remote device 30 of the fourth modified example causes the display device 34 to display the latest actual driving information JA from the multiple pieces of actual driving information JA stored in the storage device 32 as a first line K1 with a first transparency, and causes the display device 34 to display the actual driving information JA other than the latest actual driving information JA as a second line K2 with a second transparency that is higher than the first transparency, as shown in FIG. 7E.
  • the second actual driving information JA2 since the second actual driving information JA2 is the latest, the second actual driving information JA2 is displayed as the first line K1 with the first transparency, and the first actual driving information JA1 is displayed as the second line K2 with the second transparency.
  • the most recent actual driving information JA from among the multiple past actual driving information JA stored in the storage device 32 is displayed as a first line K1 with a first transparency
  • the actual driving information JA other than the most recent actual driving information JA is displayed as a second line K2 with a second transparency higher than the first transparency. Therefore, while displaying multiple past lines K (i.e., the first line K1 and the second line K2), it is possible to preferentially display the most recent actual driving information JA with high reliability. Therefore, it is possible to clearly show the most recent actual driving information JA with high reliability while showing the distribution of the multiple lines K.
  • the remote device 30 of the fifth modified example differs from the remote device 30 of the above embodiment and the first to fourth modified examples in that it can report when there is a deviation of the remotely driven work vehicle 1 from the line K, as shown in Figures 11A and 11B.
  • "Deviation from the line K" includes a deviation of the vehicle position and a deviation of the steering information. It is also possible to report at least one of a deviation of the vehicle position and a deviation of the steering information.
  • a deviation of the steering information means a deviation between the steering information when the work vehicle 1 was actually driven in the past and the steering information when the work vehicle 1 is remotely operated.
  • the notification device 36 notifies of any deviation from the line K.
  • the control device 31 causes the notification device 36 to notify of the deviation from the line K.
  • the notification device 36 when there is a deviation from line K, notifies the deviation from line K by changing the display mode of the line K on the display device 34 to a mode different from the normal display mode, and/or by outputting a notification sound from the speaker 36a.
  • the control device 31 determines whether or not a line PR indicating the travel path of the remotely driven work vehicle 1 is misaligned by a predetermined value or more with respect to a line K displayed on the remote driving screen G2.
  • the line PR is a line that extends in the travel direction from the current position of the vehicle 1A. For example, the control device 31 determines that there is a misalignment when the distance between the line PR and the line K is equal to or greater than a predetermined value.
  • control device 31 determines that there is a misalignment, it notifies the user of the misalignment from the line K by audio output from the notification device 36 and/or by displaying the line K in a first display pattern (e.g., blinking at a first cycle) on the display device 34.
  • the notification device 36 outputs a voice such as, for example, "There is a misalignment from the line K.”
  • the control device 31 causes the notification device 36 to notify of the deviation from the steering information indicated by line K.
  • deviations of the information content that are greater than a predetermined value include deviations in the driving speed, deviations in the gear shift switching position, deviations in the braking position, deviations in the operating position of the work device 2, etc.
  • the control device 31 If the driving speed (e.g., speed SD5) of the remotely controlled work vehicle 1 deviates by a predetermined value or more from the driving speed (e.g., speed SD3) of the steering information indicated by line K, the control device 31 notifies the driver of the deviation in driving speed (e.g., "Set driving speed to speed SD3") by voice and/or by displaying line K in a second display pattern (e.g., flashing at a second frequency).
  • line PR and line K match, but line K is displayed in the second display pattern due to a deviation between the steering information content of the vehicle 1A and the steering information indicated by line K.
  • the control device 31 If the gear shift position (e.g., the second gear shift position) of the remotely controlled work vehicle 1 deviates by a predetermined value or more from the gear shift position (e.g., the first gear shift position) of the steering information indicated by line K (i.e., there is a mismatch), the control device 31 notifies the driver of the deviation in the gear shift position (e.g., "Please change the gear shift position to the first gear shift position") by voice and/or by displaying line K in a third display pattern (e.g., flashing at the gear shift cycle).
  • a third display pattern e.g., flashing at the gear shift cycle
  • the control device 31 When the braking position (e.g., brake off) of the braking device 13 of the remotely controlled work vehicle 1 deviates by a predetermined value or more from the braking position (e.g., brake on) of the work vehicle 1 in the control information indicated by line K (i.e., there is a mismatch), the control device 31 notifies the driver of the deviation in the braking position (e.g., "Please turn on the brakes of the braking device 13") by voice and/or by displaying line K in a fourth display pattern (e.g., lit at a brightness higher than normal).
  • a fourth display pattern e.g., lit at a brightness higher than normal
  • the control device 31 notifies the user of the deviation in the operating position (e.g., "Move the operating position of the work device 2 to the lowered position") by voice and/or by displaying line K in a fifth display pattern (e.g., flashing with high brightness).
  • a fifth display pattern e.g., flashing with high brightness
  • the remote device 30 of the fifth modified example includes an alarm device 36 that alarms deviation from the line K, and the control device 31 has the alarm device 36 alarm the deviation from the line K when there is a deviation between the line K and the work vehicle 1 remotely controlled by the remote control device 35, and has the alarm device 36 alarm the deviation in the control information when there is a deviation between the control information when the work vehicle 1 was actually driven in the past and the control information when the work vehicle 1 is remotely controlled.
  • the remote operator can be notified of the deviation.
  • the deviation in the control information can be notified. Therefore, it is possible to have the operator comply with the driving route and control contents by using the line K as a model.
  • the notification device 36 notifies the deviation from the line K by changing the display mode of the line K from the normal display mode and/or by outputting a notification sound.
  • the notification device 36 may notify the deviation from line K by changing the operation load of the remote control device 35 to a larger load than the normal operation load when there is a deviation from line K.
  • the operation load of the remote control device 35 is changed to a larger load than the normal operation load, thereby notifying the remote operator that there is a deviation. This allows the remote operator to follow line K as a model.
  • the remote device 30 of the sixth modified example differs from the remote devices 30 of the above embodiment and the first to fifth modified examples in that it is capable of predicting danger to other moving objects (e.g., automobiles, pedestrians, other work vehicles, etc.) while remotely driving the work vehicle 1.
  • other moving objects e.g., automobiles, pedestrians, other work vehicles, etc.
  • the storage device 32 pre-stores reference information that associates the past historical routes HR of moving bodies other than the work vehicle 1 with warning information WM.
  • the historical routes HR are a series of routes of other moving bodies (e.g., automobiles, pedestrians, other work vehicles, etc.) actually detected by the sensing device 25 of the work vehicle 1, routes created by interpolating fragmentary sensing information detected by the sensing device 25, routes pre-registered by a remote operator, or caution/dangerous routes provided by an external server.
  • the warning information WM is information such as letters, figures, symbols, etc. that indicate a warning (audio information, display information, etc.).
  • the control device 31 displays the past historical route HR of the moving object and warning information WM on the remote driving screen G2.
  • the control device 31 may also display the past historical route HR of the moving object or warning information WM on the remote driving screen G2.
  • the storage device 32 records not only the line K of the work vehicle 1 (host vehicle 1A) but also the past historical routes HR of moving objects other than the work vehicle 1 (e.g., automobiles, pedestrians, other work vehicles, etc.), and when the remotely controlled work vehicle 1 approaches the past historical route HR of the moving object, the control device 31 displays at least one of the past historical route HR of the moving object and warning information WM on the remote driving screen G2 of the display device 34, so that dangers of moving objects other than the work vehicle 1 can be notified in advance. For example, at a T-junction with many vehicles or a narrow road with many pedestrians, for example, it is possible to predict the presence of many moving objects and to be careful of contact with moving objects, thereby improving the safety of remote control.
  • the control device 31 displays at least one of the past historical route HR of the moving object and warning information WM on the remote driving screen G2 of the display device 34, so that dangers of moving objects other than the work vehicle 1 can be notified in advance. For example, at a T-jun
  • the control device 31 may cause the notification device 36 to notify that the work vehicle 1 is in the operating position.
  • the control device 31 can identify the operating position based on the driving information of the actual driving information JA stored in the storage table TB1. For example, in the case of an operating position for changing the position of the work device 2, the control device 31 has previously identified that the position PW1 shown in FIG. 6 is the lowering position of the work device 2, and the position PX1 shown in FIG. 6 is the raising position of the work device 2.
  • the control device 31 may cause the notification device 36 to output a voice such as "approaching the operating position for lowering the work device 2" or cause the display device 34 to display a notification.
  • the control device 31 may also cause the notification device 36 to notify or cause the display device 34 to display a notification of the operating positions for the travel speed, the gear shift switching position, or the braking position.
  • the remotely operated work vehicle 1 approaches the operation position (for example, when the position where the impulse should be raised is approaching), the remote operator can be notified in advance (by displaying on the screen, announcing by voice, etc.). This increases the reliability of operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

遠隔操縦をアシスト(支援)すること。 遠隔装置(30)は、作業車両(1)を遠隔操縦する遠隔操縦装置(35)と、作業車両(1)が走行したときの実績である実績走行経路を記憶する記憶装置(32)と、遠隔操縦中の作業車両(1)の進行方向を撮像した撮像画像を表示する表示装置(34)と、少なくとも作業車両(1)の遠隔操縦中に、記憶装置(32)に記憶された前記実績走行経路を表示装置(34)に表示させる制御装置(31)と、を備える。

Description

遠隔装置および遠隔操縦システム
 本発明は、作業車両を遠隔操縦する遠隔装置および遠隔操縦システムに関する。
 例えば特許文献1には、過去の複数の作業経路から所望の経路を選択可能な作業車両の運転支援システムが開示されている。この運転支援システムは、作業車両との通信により作業車両の作業経路を作業履歴情報として記憶するサーバと、作業車両の作業領域において作業車両と通信可能な端末装置とを備える。サーバは、作業領域識別子及び作業者識別子と関連付けて作業履歴情報を記憶している。端末装置は、サーバから作業履歴情報を受信すると、過去の複数の作業経路を選択可能に表示する。
日本国特許公報「特許第7047015号公報」
 特許文献1の運転支援システムは、過去の複数の作業経路から選択した所望の経路に沿って作業車両を自動運転させる構成であり、遠隔操縦によって作業車両を遠隔運転させる構成ではない。よって、この運転支援システムでは、遠隔操縦を支援することができない。
 本発明は、上記問題に鑑み、遠隔操縦を支援することができる遠隔装置及び遠隔操縦システムを提供することを目的とする。
 上記技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。
 本発明の一態様に係る遠隔装置は、作業車両を遠隔操縦する遠隔操縦装置と、遠隔操縦中の前記作業車両の進行方向を撮像した撮像画像を表示する表示装置と、少なくとも前記作業車両の遠隔操縦中に、実績走行情報を前記表示装置に表示させる制御装置と、を備える。
 前記実績走行情報は、過去に実際に前記作業車両を手動運転又は自動運転したときの経路を示す情報を含んでもよい。
 前記実績走行情報は、現時点で遠隔操縦者が遠隔操縦を行っている自車の経路及び操縦に関する情報ではなく、当該自車以外の他車の経路及び操縦に関する情報であってもよい。
 前記実績走行情報に含まれる手動運転の経路及び操縦に関する情報は、前記他車に運転者が乗って手動で運転した場合、又は、前記他車に乗らずに遠隔操縦者が遠隔で手動で運転した場合の経路及び操縦に関する情報であってもよい。
 前記表示装置は、前記撮像画像を遠隔運転画面に表示し、前記制御装置は、前記実績走行情報に含まれる前記手動で運転した場合の経路である実績走行経路を軌跡として、前記遠隔運転画面の前記撮像画像に重畳表示させてもよい。
 前記遠隔装置は、前記実績走行情報を少なくとも1つ以上記憶する記憶装置を備え、前記制御装置は、遠隔操縦者による選択指示に基づいて、前記記憶装置に記憶された前記実績走行情報を選択し、当該実績走行情報が示す経路を前記軌跡として、前記遠隔運転画面に表示させてもよい。
 前記遠隔装置は、前記実績走行情報を少なくとも1つ以上記憶する記憶装置と、前記作業車両の位置情報と前記撮像画像とを受信する通信装置と、を備え、前記実績走行情報は、前記作業車両が事前に実際に運転された場合の前記操縦情報と当該作業車両の位置情報とを対応付けた情報を含み、前記制御装置は、前記遠隔操縦装置にて前記作業車両を遠隔操縦する場合に、前記通信装置にて受信された当該作業車両の現時点の位置情報が示す位置を含む対象範囲に関連する前記実績走行情報を前記記憶装置から選択し、当該選択した前記実績走行情報が示す前記実績走行経路を前記軌跡として、前記遠隔運転画面に表示させてもよい。
 前記撮像画像は、前記作業車両に設けられた運転席を囲う保護機構の内部又は外部に設けられた撮像装置にて当該作業車両の進行方向を撮像した画像であってもよい。
 前記遠隔装置は、前記実績走行情報を少なくとも1つ以上記憶する記憶装置を備え、前記制御装置は、優先度情報に基づいて、前記記憶装置に記憶された前記実績走行経路を選択し、当該実績走行経路を前記軌跡として、前記遠隔運転画面に表示させてもよい。
 前記記憶装置は、前記実績走行情報を複数記憶しており、前記制御装置は、前記記憶装置に記憶された複数の前記実績走行情報のうちで、最新の実績走行情報を第1透過度の第1軌跡として前記表示装置に表示させると共に、前記最新の実績走行情報以外の実績走行情報を、前記第1透過度よりも透過度が高い第2透過度の第2軌跡として前記遠隔運転画面に表示させてもよい。
 本発明の一態様に係る遠隔操縦システムは、作業車両と、遠隔装置と、を備え、前記作業車両は、当該作業車両の位置を検出する位置検出装置と、当該作業車両の進行方向を撮像する撮像装置と、前記位置検出装置にて検出された位置を示す位置情報と前記撮像装置にて撮像された撮像画像とを対応付けて送信する車載通信装置とを備え、前記遠隔装置は、前記位置情報と前記撮像画像とを受信する通信装置を備え、前記制御装置は、少なくとも前記作業車両の前記遠隔操縦中に、前記表示装置に前記実績走行情報を表示させる。
 本発明によれば、遠隔操縦を支援することができる。
本発明の一実施形態の遠隔操縦システムの構成図である。 作業車両の一例であるトラクタの側面図である。 対応データの一例を示す図である。 記憶装置の記憶テーブルの一例を示す図である。 第2変形例の記憶テーブルの一例を示す図である。 農道の実績走行経路、圃場の走行予定ルート及び実績走行経路の一例を示す図である。 実績走行情報の一例を示す図である。 遠隔運転画面の一例を示す図である。 遠隔運転画面の一例を示す図である。 遠隔運転画面の一例を示す図である。 遠隔運転画面の一例を示す図である。 遠隔運転画面の第4変形例を示す図である。 記憶装置に記憶された表示態様テーブルの一例を示す図である。 表示装置の選択画面の一例を示す図である。 表示装置の選択画面の一例を示す図である。 表示装置の選択画面の一例を示す図である。 遠隔運転時の作業車両の動作を示すフローチャートである。 作業車両を遠隔操縦する場合の遠隔装置の動作などを示すフローチャートである。 作業車両を遠隔操縦する場合の遠隔装置の動作などを示す第1変形例のフローチャートである。 作業車両を遠隔操縦する場合の遠隔装置の動作などを示す第2変形例のフローチャートである。 作業車両を遠隔操縦する場合の遠隔装置の動作などを示す第3変形例のフローチャートである。 第5変形例の遠隔運転画面の一例を示す図である。 第5変形例の遠隔運転画面の一例を示す図である。 第6変形例の遠隔運転画面の一例を示す図である。
 図1は、本発明の一実施形態の遠隔操縦システム100の構成図である。遠隔操縦システム100は、作業車両1及び遠隔装置30を備えている。遠隔操縦システム100及び遠隔装置30では、作業車両1の遠隔操縦(又は遠隔操作)及び作業車両1の遠隔監視が可能である。作業車両1は、遠隔装置30による遠隔運転(例えば、遠隔走行及び遠隔作業など)が可能な農場機械(「遠隔操縦型農業機械」とも言う。)である。作業車両1は、例えばトラクタである。トラクタは、圃場で農作業を行う農業機械の一例である。なお、作業車両1は、トラクタ以外の農業機械、建設機械、又は作業機であってもよい。
 図2は、作業車両1の一例であるトラクタの側面図である。作業車両1は、車体3を備えている。車体3には、走行装置7が設けられている。走行装置7は、車体3の左右両側にそれぞれ前輪7F及び後輪7Rが設けられ、車体3を走行可能に支持している。走行装置7は、クローラ型の装置であってもよい。
 車体3には、原動機4、変速装置5、制動装置13(図1)、及び操舵装置14(図1)が搭載されている。原動機4は、エンジン(ディーゼルエンジン、ガソリンエンジン)又は電動モータなどから成る。変速装置5は、例えば変速動作を行うことにより、走行装置7の推進力を可変し、且つ走行装置7の前進、後進の切り換えを行う。制動装置13は車体3を制動する。操舵装置14は車体3を操舵する。
 車体3の上部には、保護機構の一例であるキャビン9が設けられている。キャビン9の内部には、運転席10と操縦装置11が設けられている。作業車両1は無人で走行(運転)し、作業装置2により作業することが可能なトラクタであるが、運転席10に着座した作業者が操縦装置11を操作することによって、作業車両1を走行させ、作業装置2により作業することも可能である。キャビン9は、運転席10の前方、後方、上方及び左右側方を取り囲むことにより、運転席10を保護する。なお、保護機構は、キャビン9に限定されるものではなく、ロプスなどであってもよい。
 図2に矢印A1で示す方向が、作業車両1の前方である。矢印A2で示す方向が、作業車両1の後方である。矢印Z1で示す方向が、作業車両1の上方である。矢印Z2で示す方向が、作業車両1の下方である。そして、矢印A1、A2、Z1、Z2に対して直行する方向が、作業車両1の幅方向(左右方向)である。図2に向かって手前側が作業車両1の左方であり、奥側が作業車両1の右方である。
 車体3の後部には、連結装置8が設けられている。連結装置8は、3点リンク機構などで構成されている。連結装置8には、作業装置2(インプルメント等)が着脱可能である。連結装置8に作業装置2を連結して、走行装置7を駆動することで作業車両1(車体3)を走行させることにより、作業装置2を牽引することができる。また、連結装置8は、作業装置2を昇降すること、作業装置2の姿勢を変更することができる。
 作業装置2としては、耕耘する耕耘装置、肥料を散布する肥料散布装置、農薬を散布する農薬散布装置、収穫を行う収穫装置、牧草等の刈取を行う刈取装置、牧草等の拡散を行う拡散装置、牧草等の集草を行う集草装置、牧草等の成形を行う成形装置などがある。これらの各装置は連結装置8によって作業車両1に着脱可能である。作業車両1は、作業装置2により圃場に対して農作業を行う。
 キャビン9の前側には、ボンネット12が設けられている。ボンネット12は、車体3に取り付けられている。ボンネット12と車体3の間には、収容ルームが形成されている。その収容ルームには、原動機4だけでなく、冷却ファン、ラジエータ、及びバッテリなどが収容されている。
 図1に示すように、作業車両1は、車載制御装置21、車載通信装置23、位置検出装置24、センシング装置25、状態検出装置26、記憶装置28、操縦装置11、アクチュエータ群27、原動機4、走行装置7、変速装置5、制動装置13、操舵装置14、及び連結装置8を備える。また、作業車両1には、CAN、LIN、又はFlexRayなどの車載ネットワークが構築されている。車載制御装置21には、当該車載ネットワークを介して、車載通信装置23、位置検出装置24、センシング装置25、状態検出装置26、記憶装置28、操縦装置11、アクチュエータ群27、及び作業車両1に連結された作業装置2などが電気的に接続されている。
 車載制御装置21は、プロセッサ21aとメモリ21bとを含んだECU(電子制御装置)から構成されている。車載制御装置21は、作業車両1の各部の動作を制御するコントローラである。メモリ21bは、揮発性又は不揮発性のメモリなどから構成されている。車載制御装置21のメモリ21bには、車載制御装置21が作業車両1の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。記憶装置28は、例えば、SSD(ソリッド・ステート・ドライブ)、HDD(ハードディスクドライブ)などであり、後述する実績走行情報などを記憶する。
 車載通信装置23は、携帯電話通信網、インターネット、又は無線LANを介して、無線で通信するためのアンテナ、IC(集積回路)、及び電気回路などから構成されている。車載制御装置21は、車載通信装置23により遠隔装置30と無線で通信する。また、車載制御装置21は、RTC(リアルタイム・クロック)を備えており、日時を計時することができる。
 なお、本実施形態では、作業車両1と遠隔装置30とが携帯電話通信網などを介して通信する例を示しているが、これ以外に、例えば作業車両1と遠隔装置30とが携帯電話通信網などと、サーバ又は中継器などの外部装置を介して通信するようにしてもよい。また、作業車両1と遠隔装置30とが、例えばBLU(Bluetooth(登録商標) Low Energy)信号又はUHF(Ultra High Frequency)信号などのような近距離無線信号で直接通信してもよい。この場合、車載通信装置23と遠隔装置30とに、近距離無線通信用のインタフェイスがそれぞれ設けられていればよい。
 位置検出装置24は、例えばキャビン9(図2)の上部に設置されている。なお、位置検出装置24の設置位置は、キャビン9の上部に限定せず、車体3の別の箇所又は作業装置2の所定の箇所でもよい。位置検出装置24は、衛星測位システムを利用して、自己の位置(緯度、経度を含む測位情報)を検出する。即ち、位置検出装置24は、測位衛星から送信された信号(測位衛星の位置、送信時刻、補正情報等)を受信し、当該信号に基づいて自己の位置を検出する。位置検出装置24は、測位衛星からの信号を受信可能な基地局(基準局)からの補正等の信号に基づいて補正した位置を、自己の位置として検出してもよい。
 また、位置検出装置24は、ジャイロセンサや加速度センサ等の慣性計測装置を有していてもよい。この場合、位置検出装置24は、測位衛星から受信した信号に基づいて検出した位置(緯度、経度)を、慣性計測装置によって補正して、当該補正後の位置を自己の位置として検出してもよい。位置検出装置24は、検出した自己の位置を作業車両1の位置とする。また、位置検出装置24は、検出した自己の位置と、予め記憶された作業車両1の外形情報とに基づいて、作業車両1の位置を算出してもよい。また、位置検出装置24は、検出した自己の位置と、予め記憶された作業装置2の外形情報と、車体3に対する作業装置2の取り付け位置とに基づいて、作業装置2の位置を算出してもよい。
 センシング装置25は、作業車両1の周辺をセンシング(監視)する。詳しくは、センシング装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dを有している。例えば、レーザセンサ25a及び超音波センサ25bはそれぞれ複数有している。複数のレーザセンサ25a及び複数の超音波センサ25bは、作業車両1の前部、後部、及び左右側部などの所定箇所にそれぞれ設置されていて、作業車両1の前方、後方、及び左右側方などの周辺状況及び当該周辺にある対象物を検出する。例えば、レーザセンサ25a及び超音波センサ25bは、作業車両1から所定の目標検出距離以内で且つ車体3よりも低い位置にある対象物でも検出可能な車体3の所定位置にそれぞれ設置されている。
 レーザセンサ25a及び超音波センサ25bは、対象物センサの一例である。なお、レーザセンサ25a及び超音波センサ25bの少なくともいずれかが、対象物センサとしてセンシング装置25に複数設けられてもよい。また、他の対象物センサが、センシング装置25に複数設けられてもよい。
 レーザセンサ25aは、ライダー(LiDAR: Light Detection And Ranging)などの光学式のセンサから構成されている。レーザセンサ25aは、レーザダイオードなどの光源から1秒間に何百万回ものパルス状の測定光(レーザ光)を照射し、当該測定光を回転ミラーで反射することにより水平方向又は鉛直方向に走査して、所定の検出範囲(センシング範囲)に投光する。そして、レーザセンサ25aは、測定光の対象物による反射光を、受光素子で受光する。
 対象物検出部25dは、レーザセンサ25aの受光素子から出力された受光信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する電気回路又はICなどから構成されている。対象物検出部25dは、レーザセンサ25aにより測定光を照射してから、反射光を受光するまでの時間に基づいて、対象物までの距離を検出する(TOF(Time of Flight)法)。対象物検出部25dが検出する対象物には、作業車両1が走行及び作業を行う現場、圃場、圃場の作物、地面、路面、その他の物体、及び人などが含まれている。
 超音波センサ25bは、ソナーなどの空中超音波センサから構成されている。超音波センサ25bは、送波器により測定波(超音波)を所定の検出範囲に発信し、当該測定波が対象物で反射した反射波を受波器で受信する。対象物検出部25dは、超音波センサ25bの受波器から出力された信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。また、対象物検出部25dは、超音波センサ25bにより測定波を発信してから、反射波を受波するまでの時間に基づいて、対象物までの距離を検出する(TOF法)。
 カメラ25cは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、又はCMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラなどから構成されている。カメラ25cは、図2に示すように、作業車両1の前部、後部、左右側部、及びキャビン9の内部などの所定箇所にそれぞれ設置されていて、作業車両1の前方、後方、及び左右側方などの周辺を撮像して、当該撮像画像のデータを出力する。カメラ25cは、撮像装置の一例である。
 例えば、作業車両1には、複数のカメラ25cが設置されている。作業車両1に設置された複数のカメラ25cのうち、図2に示すようにキャビン9の内部に設置された内部カメラ25c1は、運転席10から作業車両1の前方を撮像する。より詳しくは、内部カメラ25c1は、運転席10に着座した作業者と略同様の視野で作業車両1の前方(進行方向)を撮像する。つまり、内部カメラ25c1によれば、作業車両1の進行方向を撮像した撮像画像が得られる。
 対象物検出部25dは、カメラ25cから出力された撮像画像のデータに基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出することも可能である。
 センシング装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dにより、作業車両1及び作業装置2の周辺状況をセンシング(監視)し、その結果を示すセンシング情報を車載制御装置21に出力する。センシング情報には、少なくとも対象物検出部25dの検出情報とカメラ25cの撮像画像のデータとが含まれているが、これら以外にレーザセンサ25aと超音波センサ25bの検出情報がセンシング情報に含まれていてもよい。
 状態検出装置26は、作業車両1及び作業装置2の動作状態を検出する。具体的には、状態検出装置26には、作業車両1及び作業装置2の各部に設置された各種センサと、演算器とが含まれていて、演算器が各種センサからの出力信号に基づいて、作業車両1及び作業装置2の動作状態を検出(演算)する。状態検出装置26が検出する作業車両1の状態には、作業車両1の各部の駆動と停止の状態、作業車両1の進行方向、走行速度、加速度、及び姿勢などが含まれている。状態検出装置26が検出する作業装置2の状態には、作業装置2の各部の駆動と停止の状態及び姿勢などが含まれている。
 状態検出装置26は、位置検出装置24により検出された車体3の位置(作業車両1の位置)を所定の周期で取得し、当該車体3の位置から作業装置2の位置を検出(算出)したり、車体3の位置の変化(変遷)を検出したりしてもよい。また、状態検出装置26は、車体3の位置の変化から、車体3の走行速度を検出してもよい。他の例として、走行装置7の前輪7F、後輪7Rの回転数又は前輪7F、後輪7Rを転動させる走行モータの回転数を検出する回転数センサを設け、状態検出装置26が当該回転数センサの出力信号に基づいて、車体3の走行速度を検出してもよい。
 状態検出装置26は、検出した作業車両1及び作業装置2の動作状態を示す検出情報を生成し、当該検出情報を車載制御装置21に出力する。例えば、状態検出装置26の検出情報には、作業車両1及び作業装置2の操縦情報が含まれる。この操縦情報は、例えば、作業車両1の速度(又は加速度)、変速装置5の変速切替位置、制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報を含む。
 位置検出装置24及び状態検出装置26は、所定の周期又は所定のタイミングで検出した結果を示す検出情報を車載制御装置21に随時出力する。また、センシング装置25も、所定の周期又は所定のタイミングでセンシングした結果を示すセンシング情報を車載制御装置21に随時出力する。車載制御装置21は、位置検出装置24、状態検出装置26、及びセンシング装置25から入力された検出情報及びセンシング情報を内部のメモリ21bに記憶させる。また、車載制御装置21は、内部のメモリ21bに記憶させた位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、遠隔運転の場合には所定の周期又は所定のタイミングで車載通信装置23により遠隔装置30に逐次に送信する。
 このように作業車両1から送信される検出情報及びセンシング情報には、作業車両1の位置情報と作業車両1の進行方向を撮像した撮像画像とを対応付けた対応データ(図3を参照)が含まれる。図3は、対応データの一例を示す図である。即ち、位置検出装置24の検出情報(つまり、作業車両1の位置情報)と、センシング装置25のセンシング情報(例えば、内部カメラ25c1による撮像画像)とを対応付けた対応データが、遠隔装置30に逐次に送信される。撮像画像に言及すると、図3に示すように、位置検出装置24で検出された作業車両1の位置情報(例えば、位置PU1、PV1、PW1、PX1)と内部カメラ25c1による撮像画像(例えば、撮像画像GPU1、GPV1、GPW1、GPX1)とを対応付けた対応データが、遠隔装置30に逐次に送信される。
 アクチュエータ群27には、作業車両1の原動機4、走行装置7、変速装置5、制動装置13、及び連結装置8などの各部を作動させるための電動式若しくは油圧式のモータ、シリンダ、及び制御弁などが含まれている。操縦装置11には、ステアリングハンドル11a(図2)、アクセルペダル、ブレーキペダル、及び変速レバー11d(図1)などが含まれている。車載制御装置21は、操縦装置11の操作状態に応じて、アクチュエータ群27に含まれる所定のアクチュエータを作動させて、原動機4、走行装置7、変速装置5、制動装置13、及び操舵装置14を駆動し、作業車両1の走行と操舵を制御する。
 また、車載制御装置21は、作業装置2に備わる制御部2aと通信して、制御部2aに作業装置2の動作を制御させる。即ち、車載制御装置21は、制御部2aを介して作業装置2の動作を制御することで、圃場に対して作業を行う。例えば、制御部2aは、CPU、メモリなどで構成されている。なお、作業装置2には、制御部2aを備えないものもある。この場合、車載制御装置21は、連結装置8により作業装置2の姿勢を制御して、作業装置2により圃場に対して作業を行う。
 車載制御装置21は、センシング装置25のセンシング情報と、状態検出装置26の検出情報と、位置検出装置24の検出情報などに基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他の動作をそれぞれ制御する。また、車載制御装置21は、遠隔装置30から送信された遠隔操縦信号を車載通信装置23により受信した場合には、上記各情報に加えて、当該遠隔操縦信号に基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他動作をそれぞれ制御する。
 さらに、車載制御装置21は、作業車両1の走行又は作業装置2による作業を制御する際に、対象物検出部25dの検出情報から、対象物が作業車両1又は作業装置2に所定距離未満で接近して、接触する危険があるか否かを判断する。そして、車載制御装置21は、対象物が作業車両1又は作業装置2に所定距離未満で接近して、接触する危険があると判断した場合に、走行装置7又は作業装置2などを制御して、作業車両1の走行又は作業を自動で停止し、対象物との接触を回避する。
 次に、遠隔装置30について説明する。図1に示すように、遠隔装置30は、作業車両1から離れた位置に配置されている。遠隔装置30によれば、遠隔操縦者(オペレータ)による操縦によって作業車両1を遠隔操縦することができ、作業車両1の状態、作業車両1の周辺状況などを監視することができる。遠隔装置30は、制御装置31、記憶装置32、通信装置33、表示装置34、遠隔操縦装置35、及び報知装置36を備えている。
 制御装置31は、遠隔装置30の各部の動作を制御するプロセッサである。このプロセッサは、例えば、記憶装置32に記憶された遠隔制御プログラムを実行することにより、遠隔装置30の各部の動作を制御する制御装置31として機能する。制御装置31に設けられた内部メモリ32aは、揮発性又は不揮発性のメモリである。内部メモリ32aには、制御装置31が遠隔装置30の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。
 記憶装置32は、作業車両1を遠隔運転するための遠隔制御プログラム、作業車両1を遠隔監視するための遠隔監視プログラムなどの制御プログラム、各種のデータなどを予め記憶している。記憶装置32は、例えば、SSD(ソリッド・ステート・ドライブ)、HDD(ハードディスクドライブ)などである。
 通信装置33は、携帯電話通信網、インターネット、又は無線LANを介して、無線で通信するためのアンテナ、IC、及び電気回路などから構成されている。通信装置33は、制御装置31による制御下、作業車両1と無線で通信する。通信装置33は、車載通信装置23から送信される各種データ(位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報など)を受信する。例えば、通信装置33は、作業車両1の位置情報と作業車両1の進行方向を撮像した撮像画像とを対応付けた対応データを受信する。
 表示装置34は、例えば液晶ディスプレイ、有機ELディスプレイなどである。表示装置34は、作業車両1を遠隔で操作するための各種の情報を表示する。例えば、表示装置34は、遠隔運転画面G2(後述する図7Aを参照)を表示する。遠隔運転画面G2には、内部カメラ25c1による撮像画像、つまり、遠隔操縦中の作業車両1の進行方向を撮像した撮像画像が表示される。また、表示装置34は、その表示画面にタッチパネルが備えられており、表示画面に対するタッチ操作を検出可能である。
 遠隔操縦装置35は、作業車両1を遠隔操縦するための装置である。遠隔操縦装置35は、ハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dを備え、これらが遠隔操縦席の周囲に配置されている。遠隔操縦者は、遠隔操縦席に座って遠隔操縦装置35を操作することによって、作業車両1の走行又は作業装置2による作業を遠隔で操縦する。また、遠隔操縦者は、作業車両1と周辺の状況を表示装置34により監視する。また、遠隔操縦者は、遠隔操縦装置35を操作することによって、遠隔装置30に所定の情報又は指示を入力可能である。なお、遠隔操縦装置35は、タッチパッド又はハードウェア型のスイッチなどであってもよい。
 報知装置36は、遠隔操縦者に対して報知の音声などを出力するスピーカ36aを備えている。
 遠隔操縦者が遠隔操縦装置35を操作することで作業車両1の動作指示が入力されると、制御装置31は、当該動作指示に対応する遠隔操縦信号を生成し、当該遠隔操縦信号を通信装置33により作業車両1に送信される。つまり、ハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた遠隔操縦信号が作業車両1に送信される。作業車両1の車載制御装置21は、遠隔装置30からの遠隔操縦信号を車載通信装置23により受信すると、当該遠隔操縦信号と、位置検出装置24の検出情報と、センシング装置25のセンシング情報と、状態検出装置26の検出情報とに基づいて、作業車両1の各部を動作させて、作業車両1の走行及び操舵を制御したり、作業装置2による作業動作を制御したりする。
 また、車載制御装置21は、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、車載通信装置23により遠隔装置30に送信する。遠隔装置30の制御装置31は、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、通信装置33により受信すると、これらの情報を内部メモリ32aに記憶させたり、表示装置34に表示させたりする。
 なお、図1に示すように、遠隔装置30は、表示端末70と遠隔操縦装置35とで構成されてもよい。即ち、表示端末70は、制御装置31、記憶装置32、通信装置33、表示装置34、及び報知装置36を備える端末装置としてもよい。表示端末70は、例えば、タブレット装置若しくはスマートフォンなどの携帯型の端末装置、又は基地局(図示省略)に設置された据え置き型のコンピュータなどが挙げられる。また、表示端末70は、ユーザインタフェイス装置であってもよい。
 さて、制御装置31は、作業車両1の遠隔操縦を教授するための情報に応じて、作業車両1が走行すべき走行経路を表示装置34に表示させ、且つ、当該走行経路の表示形態を変更する。遠隔操縦を教授するための情報は、遠隔操縦の際に遠隔操縦者に提供される情報であって、作業車両1の遠隔操縦の模範とされる模範走行経路と、当該模範走行経路における操縦指示を含む模範操縦情報とを有する模範走行情報Jである。例えば、この操縦指示には、作業車両1及び作業装置2を操縦する場合の各種の操縦内容(速度、変速切替、制動、作業装置2の上昇または下降など)の指示が含まれる。
 制御装置31は、模範走行経路をラインK(図7A等を参照)として表示し、このラインKの表示態様を模範走行経路に含まれる模範操縦情報に応じて変化させる。つまり、制御装置31は、模範走行経路における操縦指示(例えば速度の指示)に応じてラインKの表示形態(例えば、図7A、図8に示すようにラインKの色)を変更する。遠隔操縦者は、例えば、ラインKの色を見て、速度の指示を把握することができ、速度の指示を模範として作業車両1を遠隔操縦することができる。
 遠隔装置30の記憶装置32は、1又は2以上の模範走行情報Jを記憶している。図4Aは、記憶装置32の記憶テーブルTB1の一例を示す図である。記憶装置32は、1又は2以上の模範走行情報Jが記憶される記憶テーブルTB1を有している。図4Aに示すように、模範走行情報Jは、実績走行情報JAとシミュレーション走行情報JSとに大別される。実績走行情報JAは、作業車両1を過去に実際に手動運転(手動操縦又は遠隔操縦による運転)又は自動運転(自動操縦による運転)した場合の走行経路の位置情報と当該位置情報毎の操縦情報とを対応付けた情報である。一方、シミュレーション走行情報JSは、作業車両1をシミュレーション運転した場合の走行経路の位置情報と当該位置情報毎の操縦情報とを対応付けた情報である。
 なお、上記した実績走行情報JAは、現時点で遠隔操縦者が遠隔操縦を行っている作業車両1(自車1A)の経路及び操縦に関する情報ではなく、当該自車1A以外の他車1Bの経路及び操縦に関する情報である。つまり、ここで言う、自車1Aは、遠隔操縦中の作業車両1自体のことである。また、ここで言う、他車1Bは、自車1A以外の作業車両(作業車両1とは別の作業車両1)と、現時点の遠隔操縦よりも以前において手動運転又は自動運転された自車1A(つまり、過去の手動又は自動運転での自車1A)とを含む。例えば、実績走行情報JAに含まれる手動運転の経路及び操縦に関する情報は、他車1Bに運転者が乗って当該他車1Bを手動で運転した場合、又は、他車1Bに乗らずに遠隔操縦者が遠隔で当該他車1Bを手動で運転した場合の経路及び操縦に関する情報である。なお、他車1B(例えば作業車両1)の位置検出装置24は、平面視で作業車両1の幅方向の中心位置に配置されているとする。
 図4Aでは、第1の模範走行情報J1が手動運転による第1の実績走行情報JA1であり、第2の模範走行情報J2が遠隔運転による第3の実績走行情報JA3であり、第3の模範走行情報J3がシミュレーション運転によるシミュレーション走行情報JSであり、第4の模範走行情報J4が自動運転による第2の実績走行情報JA2である。
 第1、第2、及び第4の模範走行情報J1、J2、J4は、作業車両1から遠隔装置30に送信されて、記憶テーブルTB1に記憶されたものである。例えば、第1、第2、及び第4の模範走行情報J1、J2、J4は、作業車両1が過去に実際に手動、遠隔又は自動運転された場合の操縦情報と当該作業車両1の位置情報とを対応付けた実績走行情報JAである。別の言い方をすれば、第1、第2、及び第4の模範走行情報J1、J2、J4は、実績走行経路と、当該実績走行経路における作業車両1及び作業装置2の操縦情報とを対応付けた実績走行情報JAである。即ち、実績走行情報JAは、作業車両1の実績走行経路を構成する複数位置(つまり、複数の位置情報)と、複数位置(複数の位置情報)における作業車両1及び作業装置2の操縦情報とを対応付けた情報である。この操縦情報は、例えば、作業車両1の速度(又は加速度)、作業車両1に設けられた変速装置5の変速切替位置、作業車両1に設けられた制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報を含む。
 第3の模範走行情報J3は、シミュレーション走行情報JSであり、遠隔装置30の制御装置31にて事前にシミュレーションして生成されて、記憶テーブルTB1に記憶されたものである。第3の模範走行情報J3は、シミュレーション走行経路と、当該シミュレーション走行経路における作業車両1及び作業装置2の操縦情報とを対応付けたシミュレーション走行情報JSである。即ち、シミュレーション走行情報JSは、作業車両1のシミュレーション走行経路を構成する複数位置(つまり、複数の位置情報)と、複数位置(複数の位置情報)における作業車両1及び作業装置2の操縦情報とを対応付けたシミュレーション情報である。この操縦情報は、例えば、作業車両1の速度(又は加速度)、作業車両1に設けられた変速装置5の変速切替位置、作業車両1に設けられた制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報を含む。
 制御装置31は、作業車両1を遠隔操縦する場合に、模範走行情報Jを選択し、この選択した模範走行経路をラインKとして、遠隔運転画面G2に重畳表示させる。つまり、制御装置31は、ラインKの表示態様を模範操縦情報に応じて変化させる。ラインKは、模範走行経路を示す線である。また、ラインKは、実線又は破線などの各種の線であってもよい。
 制御装置31は、模範操縦情報に応じて、ラインKの大きさ、色、濃度、形状、及び模様の少なくとも1つ以上を変化させることにより、当該ラインKの表示態様を変化させる。
 ここで、模範走行情報の一例である実績走行情報JAについて詳細に説明する。図5は、農道の実績走行経路、圃場の走行予定ルート及び実績走行経路の一例を示す図である。例えば、複数の農道のうちでどの農道が作業車両1にて走行可能であるのか、又は、農道のどの部分が作業車両1にて走行可能で、どの部分が走行不可能であるかなどが不明な場合が多い。即ち、農道については圃場よりも不明点が多い。自車1A(作業車両1)の車載制御装置21は、図5に示すように、納屋から圃場H1に至るまでの他車1Bによる農道FRの実績走行経路LX1を予め設定することができる。このことから、他車1Bによる農道FRの実績走行経路LX1を手本として活用することで、農道FRについての遠隔操縦者による遠隔運転の判断の助けとすることができる。
 例えば、他車1Bの車載制御装置21は、他車1Bを手動運転にて過去に農道FRを走行させたときの農道FRの実績走行経路LX1における位置情報及び操縦情報を、農道FRの実績走行情報とし、手動運転した日時を示す時間情報と共に記憶装置28に記憶させる。車載制御装置21は、RTCにより、手動運転日時を取得できる。農道FRの実績走行経路LX1における位置情報は、位置検出装置24にて検出された位置情報に対応する。農道FRの実績走行経路LX1における操縦情報は、状態検出装置26が検出した検出情報(作業車両1及び作業装置2の操縦内容を示す情報)に対応する。
 なお、図5に示すように、自車1A及び他車1Bの車載制御装置21は、圃場H1の作業エリアWA1に走行予定ルートL1を予め設定することもできる。走行予定ルートL1は、複数の直線経路L1aと、隣接する2つの直線経路L1aの端部同士を連結した複数の半円弧状の旋回経路L1bとからなる。例えば、他車1Bの運転席10に着座した作業者が操縦装置11を操作することによって、他車1Bを手動運転にて走行予定ルートL1に沿って走行させ、作業装置2による作業を行ったとする。図5では、他車1Bの手動運転時の実績走行経路L11は、走行予定ルートL1に一致していた場合を示している。他車1Bの車載制御装置21は、手動運転時の実績走行経路L11における位置情報及び操縦情報を、実績走行情報とし、手動運転した日時を示す時間情報と共に記憶装置28に記憶させる。他車1Bの車載制御装置21は、RTCにより、手動運転日時を取得できる。実績走行経路L11における位置情報は、位置検出装置24にて検出された位置情報に対応する。実績走行経路L11における操縦情報は、状態検出装置26が検出した検出情報(作業車両1及び作業装置2の操縦内容を示す情報)に対応する。
 図6は、実績走行情報の一例を示す図である。図6に示すように、実績走行情報JAの位置情報が位置PU1(図5に示す位置PU1)であるときの操縦情報は、作業車両1が速度SD5(加速)、変速装置5の変速切替位置が第2の変速位置、制動装置13の制動がオフ、及び、作業装置2の操作位置が上昇位置である。また、実績走行情報JAの位置情報が位置PV1(図5に示す位置PV1)であるときの操縦情報は、作業車両1が速度SD3(減速)、変速装置5の変速切替位置が第1の変速位置、制動装置13の制動がオン、及び、作業装置2の操作位置が上昇位置である。また、実績走行情報JAの位置情報が位置PW1(図5に示す位置PW1)であるときの操縦情報は、作業車両1が速度SD5(加速)、変速装置5の変速切替位置が第2の変速位置、制動装置13の制動がオフ、及び、作業装置2の操作位置が下降位置である。また、実績走行情報JAの位置情報が位置PX1(図5に示す位置PX1)であるときの操縦情報は、作業車両1が速度SD3(減速)、変速装置5の変速切替位置が第1の変速位置、制動装置13の制動がオン、及び、作業装置2の操作位置が上昇位置である。
 農道FRの走行を終えた後、圃場H1での作業を終えた後、又は、他車1Bの作業者によって送信指示があると、他車1Bの車載制御装置21は、記憶装置28に記憶された手動運転時の実績走行情報JAを、一括又は複数個に分割して車載通信装置23によって遠隔装置30に送信させる。なお、手動運転時の実績走行情報JAが複数個に分割して遠隔装置30に送信された場合には、遠隔装置30の記憶装置32にて、手動運転時の複数個の実績走行情報JAを纏めて1つの手動運転時の実績走行情報JAとして記憶される。なお、車載制御装置21は、遠隔装置30からの要求指示があるか、予め定められた送信タイミングになると、実績走行情報JAを遠隔装置30に送信させてもよい。また、車載制御装置21は、手動運転時の実績走行情報JAについて、所定データ量又は所定時間になる毎に、それまで取得した分の実績走行情報JAを、遠隔装置30に送信させてもよい。
 なお、実績走行情報JAは、手動運転に限らず、過去に遠隔装置30によって他車1Bを遠隔運転させた場合の実績走行情報JAであってもよい。他車1Bの車載制御装置21は、遠隔運転の実績走行情報JAを、遠隔運転日時を示す時間情報と共にメモリ21b又は記憶装置28に記憶し、車載通信装置23によって遠隔装置30に送信させてもよい。また、車載制御装置21は、遠隔運転時における位置情報及び操縦情報を時間情報と共に逐次に遠隔装置30に送信し、遠隔装置30が受信した一連の位置情報及び操縦情報と時間情報とを、遠隔運転の実績走行情報JAとして記憶装置32に記憶させてもよい。
 他車1Bは、後述する図10Bに示すように、上記した実績走行情報JAを遠隔装置30に送信する(S101)。遠隔装置30は、受信した実績走行情報JAを記憶装置32の記憶テーブルTB1に保存(記憶)する(S102)。また、記憶テーブルTB1には、事前にシミュレーションして生成されたシミュレーション走行情報JSが記憶される。このため、遠隔装置30の記憶装置32には、他車1Bの実績走行情報JA及びシミュレーション走行情報JSが事前に記憶されている。
 ところで、遠隔装置30の制御装置31は、記憶テーブルTB1内の複数の模範走行情報Jから任意の模範走行情報Jを選択し、当該選択した模範走行情報Jが示す模範走行経路を、図7Aに示すようにラインKとして、遠隔運転画面G2に表示された撮像画像に重畳表示させることが可能である。本実施形態では、例えば、制御装置31は、遠隔操縦者の操作に従って模範走行情報Jを選択することが可能である。
 図7Aは、遠隔運転画面G2の一例を示す図である。ラインKは、例えば、矢羽根形状の表示体(図7Aでは表示体Kb~Ke)が複数個連なって構成されている。なお、ラインKを構成する表示体(図7Aでは表示体Kb~Ke)は、矢羽根形状に限定されず、三角形状、矩形状、矢印形状などの種々の形状としてもよい。
 制御装置31は、ラインKの表示態様を、模範走行情報J(実績走行情報JA、シミュレーション走行情報JS)の操縦情報に応じて変化させる。具体的には、記憶装置32は、図8に示すように、表示態様テーブルMTを記憶している。図8は、記憶装置32に記憶された表示態様テーブルMTの一例を示す図である。制御装置31は、表示態様テーブルMTを用いて、模範走行情報J(実績走行情報JA、シミュレーション走行情報JS)の操縦情報に応じて、ラインKの大きさ、色、濃度、形状、及び模様の少なくとも1つ以上を変化させることにより、ラインKの表示態様を変化させる。例えば、実績走行情報JAの実績走行経路をラインKとしている場合には、当該ラインKは軌跡であると言える。なお、ラインKとは別のオブジェクトをイベント発生時にのみ表示させてもよい。例えば、速度はラインKの色で表示し、制動(ブレーキ)箇所は、ラインKとは別のオブジェクト(例えば×印)を(ブレーキをかけた位置にスポット的に)表示させてもよい。
 具体的には、図8に示すように、操縦情報の一例である作業車両1の速度(走行速度)に応じて、ラインKの色が変化する。例えば、走行速度が最低速度から速度が速くなるに連れて、例えばオストワルト表色系の緑、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化する。例えば、走行速度が[0km/h]であるときにラインKの色が緑となり、走行速度が単位速度(例えば[0.5km/h])増加する毎に、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化する。これは一例であり、紫、藍、青、緑、黄、橙、赤に変化するとしてもよいし、緑、黄、橙、赤の順に変化するとしてもよい。
 図7Aでは、例えば、表示体Kbが黄緑で表示され、作業車両1の走行速度が[0.5km/h]であることを示している。表示体Kcが黄で表示され、作業車両1の走行速度が[1km/h]であることを示している。表示体Kdが黄みの橙で表示され、作業車両1の走行速度が[1.5km/h]であることを示している。表示体Keが橙で表示され、作業車両1の走行速度が[2km/h]であることを示している。
 操縦情報の一例である変速装置5の変速切替位置に応じて、ラインKの大きさ(例えば横幅)が変化する。変速装置5は、変速レバー11dを前進第1速位置にすることで、第1速度域の第1速に切り替えられ、変速レバー11dを前進第2速位置にすることで、第1速度域よりも速い第2速度域の第2速に切り替えられる。操縦情報の一例である変速装置5の変速切替位置が第1速に切り替えられた情報である場合には、ラインKの大きさ(横幅)が第1の横幅で表示され、変速装置5が第2速に切り替えられた情報である場合には、ラインKの大きさ(横幅)が第1の横幅よりも大きい第2の横幅で表示される。
 操縦情報の一例である作業装置2の操作位置(例えば上昇位置、下降位置)に応じて、ラインKの形状が変化する。作業装置2が上昇位置であれば、ラインKが第1形状で表示され、作業装置2が下降位置であれば、ラインKが第1形状とは異なる第2形状で表示される。
 操縦情報の一例である作業車両1に設けられた制動装置13の制動位置に応じて、ラインKの濃度が変化する。制動装置13の制動オンである位置では、ラインKが濃く表示され(第1濃度で表示)、制動オフである位置では、ラインKが薄く表示(第1濃度よりも薄い第2濃度で表示)される。
 例えば、図6に示す実績走行情報JAは、他車1Bの手動運転時の図5に示す実績走行経路L11(複数の位置情報による複数の走行位置を繋げた経路)と、実績走行経路L11における操縦情報とを含んでいる。また、記憶装置32には、自車1Aの運転席10の高さ情報が記憶されている。運転席10の高さ情報は、自車1A(作業車両1)から受信してもよいし、予め登録しておいてもよい。自車1Aの遠隔操縦に際して、制御装置31は、図5に示す手動運転時の実績走行経路L11と、自車1Aの運転席10の高さ情報とを用いて、平面視された実績走行経路L11を、運転席10から見たような表示態様に変換する既知の視点変換演算処理を実行することにより、図7Aに示すラインKを取得して遠隔運転画面G2に表示させる。また、制御装置31は、図5に示す手動運転時の実績走行経路L11を含む平面状のマップの一部である対応領域(撮像画像に対応する領域)の農道FRの輪郭(あるいは、圃場H1の輪郭、農道FR及び圃場H1の輪郭)を、遠隔運転画面G2に表示される撮像画像の農道FRの輪郭(あるいは、圃場H1の輪郭、農道FR及び圃場H1の輪郭)に一致させる投影変換処理をマップの対応領域について実行することにより、図7Aに示すラインKを遠隔運転画面G2に表示させてもよい。
 制御装置31は、遠隔運転画面G2でのラインKの表示長さを適宜に設定しているが、遠隔運転画面G2に含まれるすべてのラインKを表示させてもよい。例えば、制御装置31は、自車1Aの現時点の位置とラインKの位置とが第1設定距離(例えば2m、3m)である場合、ラインKを、自車1Aの現時点の位置から実績走行経路の最短距離の位置である起点位置から予め定められた基準長さ(例えば、10m)の距離分だけ表示させ、第1設定距離よりも大きい第2設定距離(例えば4m以上)である場合、ラインKを、前記起点位置から予め定められた基準長さよりも大きい第1長さ(例えば、20m)又は小さい第2長さ(例えば、5m)で表示させてもよい。これによれば、自車1Aから第1設定距離よりも遠いラインKであることを示すことができる。また、第1長さのラインKとする場合には、自車1Aから離れたラインKを遠隔運転画面G2に含めて表示し易くなり、自車1Aから離れたラインKの見落としを低減することができる。
 ここで、制御装置31が第1設定距離であると判定した場合についてもう少し詳しく説明する。例えば、制御装置31は、自車1Aの現時点の位置情報が示す位置を含む対象範囲に関連する模範走行情報Jが示す模範走行経路(ここでは、例えば実績走行情報JAが示す実績走行経路)について、自車1Aの現時点の位置から実績走行経路の最短距離の位置である起点位置から基準長さの位置情報までの経路を、ラインKとして表示させる。なお、制御装置31は、自車1Aの走行速度に応じてラインKの長さを変更させてもよい。例えば、制御装置31は、走行速度が[0km/h]であるとは、ラインKの長さを基準長さ(例えば、10m)とし、走行速度が単位速度(例えば[0.5km/h])増加する毎に一定値(例えば、1m)を基準長さ(例えば、10m)に加算した長さをラインKの長さとしてもよい。例えば、走行速度が[1.5km/h]であれば、ラインKの長さは、13m(=基準長さ(10m)+一定値(例えば、1m)×3)となる。
 制御装置31は、図7Aに示すように、例えば実績走行情報JAが示す実績走行経路(つまり、他車1Bの幅方向の中心位置を基準位置とする実績走行経路)をラインKとして表示させている。図7Aに示す遠隔運転画面G2では、遠隔操縦中の自車1A(作業車両1)の幅方向の中心位置を、他車1Bの実績走行経路を示すラインKに一致させて遠隔操縦している状態が表示されている。これによれば、作業車両1の幅方向の中心位置を基準位置としてラインKを表示することができる。
 また、制御装置31は、図7Bに示すように、作業車両1の車輪位置を基準位置としてラインKを表示させてもよい。具体的には、図7Bに示すラインKは、他車1Bの実績走行経路を、自車1Aの幅方向の中心位置から車輪位置までの距離だけオフセットさせたラインである。図7Bに示す遠隔運転画面G2には、遠隔操縦中の自車1A(作業車両1)の車輪位置をラインKに一致させて遠隔操縦している状態が表示されている。これによれば、作業車両1の車輪位置を基準位置としてラインKを表示することができる。また、制御装置31は、運転席10の幅方向の中心位置を基準位置としてラインKを表示させてもよい。これによれば、作業車両1の運転席10の中心位置を基準位置としてラインKを表示することができる。
 また、制御装置31は、図7Cに示すように、作業車両1の最大幅を基準位置としてラインKを表示させてもよい。なお、図7Cでは、制御装置31は、作業車両1の最大幅の左端を示す左端ラインWL1及び右端を示す右端ラインWL2を表示し、左端ラインWL1と右端ラインWL2との中間位置にラインKを表示させている。具体的には、左端ラインWL1は、他車1Bの実績走行経路を、自車1Aの幅方向の中心位置から左端までの距離だけオフセットさせたラインである。右端ラインWL2は、他車1Bの実績走行経路を、自車1Aの幅方向の中心位置から右端までの距離だけオフセットさせたラインである。これに限らず、ラインKは、左端ラインWL1から右端ラインWL2までの幅で表示させた態様であってもよい。これによれば、作業車両1の最大幅を基準位置としてラインKを表示することができる。また、制御装置31は、作業車両1及び作業装置2の最大幅(つまり、作業車両1及び作業装置2の全体の最大幅)を基準位置としてラインKを表示させてもよい。これによれば、作業車両1及び作業装置2の最大幅を基準位置としてラインKを表示することができる。
 図9A~図9Cはそれぞれ、表示装置34の選択画面G1の一例を示す図である。制御装置31は、選択画面G1に対する選択操作により、ラインKの種別を変更することができる。具体的には、制御装置31は、遠隔操縦者により、ラインKの基準位置の選択指示があると、図9Aに示すように、選択画面G1を表示装置34に表示させる。図9Aに示す選択画面G1には、作業車両1の幅方向の中心位置が基準位置として設定されていることが表示されている。
 選択画面G1の変更ボタンを遠隔操縦者がタッチ操作すると、図9Bに示すように、制御装置31は、作業車両1の幅方向の中心位置、作業車両1の車輪位置、運転席10の幅方向の中心位置、作業車両1の最大幅、及び、作業車両1及び作業装置2の最大幅の5つの選択可能項目を表示させる。制御装置31は、遠隔操縦者が上移動ボタンを操作するごとに、選択可能項目が上方に移動させ、遠隔操縦者が下移動ボタンを操作するごとに、選択可能項目が下方に移動させる。図9Bでは、下移動ボタンが2回操作されて、基準位置が運転席10の幅方向の中心位置に変更された状態が表示されている。
 図9Cに示すように、制御装置31は、遠隔操縦者がOKボタンを操作すると、選択された項目が基準位置として決定される。図9Cでは、基準位置が運転席10の幅方向の中心位置に決定されたことを示している。なお、制御装置31は、運転席10の周囲に配置された1又は複数の選択ボタン(図示省略)を遠隔操縦者が操作することにより、ラインKの種別を変更してもよい。
 ここで、図10A、図10Bを用いて、自車1A(作業車両1)を遠隔操縦する場合に、模範走行情報JをラインKとして、表示装置34の遠隔運転画面G2に重畳表示させる処理について説明する。
 図10Aは、遠隔運転時の作業車両1の動作を示すフローチャートである。図10Bは、作業車両1を遠隔操縦する場合の遠隔装置30の動作などを示すフローチャートである。なお前述したように、実績走行情報JAが他車1Bから遠隔装置30に送信され(図10BのS101)、遠隔装置30の記憶装置32には、実績走行情報JAが予め保存(記憶)されている(図10BのS102)。
 図10Bに示すように、遠隔操縦者によって遠隔操縦モードの指示があると(S103)、制御装置31は、遠隔操縦モードの要求信号を、通信装置33によって自車1A(作業車両1)に送信する。
 自車1Aの車載制御装置21は、自車1Aを通常モード(遠隔操縦モードでないモード)から遠隔操縦モードに切り換え(S104)、位置情報、画像情報及び操縦情報を車載通信装置23によって遠隔装置30に送信する(S105)。
 具体的には、自車1Aの車載制御装置21は、図10Aに示すように、遠隔装置30からの遠隔操縦モードの要求信号を車載通信装置23により受信すると(S11)、位置検出装置24及び状態検出装置26の現時点における検出情報と、センシング装置25の現時点におけるセンシング情報とを、車載通信装置23によって遠隔装置30に送信させる(S12)。前述したように、状態検出装置26の検出情報には、作業車両1及び作業装置2の操縦情報(作業車両1の速度(又は加速度)、変速装置5の変速切替位置、制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報)が含まれる。
 図10Bに戻って、遠隔装置30の通信装置33は、位置検出装置24及び状態検出装置26の現時点における検出情報と、センシング装置25の現時点におけるセンシング情報とを受信し、これらの情報を記憶装置32に記憶させる。また、制御装置31は、記憶装置32に記憶された現時点における位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報、作業車両1及び作業装置2の仕様を示す装置情報、並びに作業車両1の周辺の地図情報をそれぞれ、内部メモリ32aに読み込む(S106)。
 なお、通信装置33は、作業車両1及び作業装置2の仕様を示す装置情報を受信し、記憶装置32に記憶される。また、記憶装置32には、作業車両1が位置する地域の地図情報が予め記憶されている。制御装置31は、S106で位置検出装置24の検出情報から作業車両1の位置を抽出し、当該作業車両1の位置から所定距離以内の範囲を作業車両1の周辺とみなして、当該範囲の地図情報を記憶装置32から内部メモリ32aに読み込む。他の例として、制御装置31は、S106で作業車両1の位置から所定距離以内の範囲の地図情報を、インターネットなどを介して外部サーバから通信装置33により受信して、当該受信した地図情報を読み込んでもよい。
 そして、制御装置31は、位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報、装置情報、並びに地図情報に基づいて、遠隔運転画面G2を表示装置34に表示させる(S107)。
 制御装置31は、ラインKの選択指示の有無を判定する(S108)。制御装置31は、遠隔操縦者によるラインKの選択指示がある場合(S108:YES)、遠隔操縦者が選択した他車1Bの実績走行情報JAを抽出する(S109)。例えば、制御装置31は、遠隔操縦者による操作で第2の実績走行情報JA2が選択されたため、第2の実績走行情報JA2を抽出したとする。なお、制御装置31は、S108において、デフォルト値として「ラインKの表示指示があり」に設定されている場合、デフォルト値として設定されている他車1Bの実績走行情報JAを抽出する(S109)。
 制御装置31は、S109において抽出された第2の実績走行情報JA2を、ラインKとして表示装置34の遠隔運転画面G2に表示させる(S110)。例えば、制御装置31は、図7Aに示すように、第2の実績走行情報JA2の位置情報が示す実績走行経路をラインKとして遠隔運転画面G2に表示させると共に、第2の実績走行情報JA2の操縦情報が示す表示態様でラインKを表示させる。
 また、制御装置31は、遠隔操縦者により、図9Aに示す「作業車両1の中心位置」がラインKの基準位置として選択されている場合、「作業車両1の中心位置」をラインKの基準位置とし、図9Cに示すようにラインKの基準位置が「運転席10の中心位置」に変更されている場合は、「運転席10の中心位置」をラインKの基準位置とする。
 制御装置31は、遠隔操縦装置35による操縦操作がある場合、遠隔操縦装置35による操縦操作に応じた遠隔操縦信号を、通信装置33によって自車1Aに送信する(S111)。例えば、遠隔操縦者によるハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた各種の操作信号を含む遠隔操縦信号が、遠隔装置30から作業車両1に送信される。
 自車1Aの車載制御装置21は、位置情報、画像情報及び操縦情報を車載通信装置23によって遠隔装置30に送信する(S112)。
 具体的には、図10Aに戻って、S12のあと、車載制御装置21は、遠隔装置30からの遠隔操縦信号の有無を判定する(S13)。車載制御装置21は、遠隔装置30からの遠隔操縦信号を車載通信装置23により受信した場合(S13:YES)、センシング装置25のセンシング情報と、状態検出装置26の検出情報と、位置検出装置24の検出情報、当該遠隔操縦信号に基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他動作をそれぞれ制御する(S14)。
 作業車両1は、遠隔装置30からの遠隔操縦信号に従って動作する。つまり、車載制御装置21は、遠隔操縦者によるハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた各種の操作信号に従って、操縦装置11のステアリングハンドル11a(図2)、アクセルペダル、ブレーキペダル、及び変速レバー11dなどを動作させる。
 図10Bに示すように、遠隔装置30の制御装置31は、遠隔運転画面G2の更新表示(S113)を行う。例えば、制御装置31は、遠隔運転時に作業車両1からの対応データを受信する毎に、画面表示更新処理を行う。
 具体的には、遠隔装置30の通信装置33は、作業車両1からの位置検出装置24及び状態検出装置26の検出情報とセンシング装置25のセンシング情報とを逐次に受信する。通信装置33は、検出情報に含まれる対応データ(つまり、内部カメラ25c1による撮像画像と位置検出装置24で検出された作業車両1の位置情報とを対応付けた対応データ)を逐次に受信する。制御装置31は、遠隔運転画面G2に表示される撮像画像を、通信装置33が受信した対応データの撮像画像に更新し、対応データの位置情報(つまり、作業車両1の現時点の位置情報)に対応する実績走行情報が示す実績走行経路をラインKとして、遠隔運転画面G2に更新して重畳表示させる。なお、遠隔装置30は、内部カメラ25c1による撮像画像と、位置検出装置24で検出された作業車両1の位置情報とを通信装置33が受信した後に、撮像画像と位置情報とを対応付けた対応データとしてもよい。
 制御装置31は、ラインKの種別の変更があるか否かを判定する(S114)。例えば、運転席10の周囲の操作具に配置されたラインKの種別の変更ボタンの操作があると(S114:YES)、図7B、図7Cに示すラインKの種別に変更して表示させる(S115)。
 図10Aに戻って、車載制御装置21は、作業車両1から当該作業車両1の進行方向に予め設定された距離までの領域を、緊急停止領域として設定している。このため、車載制御装置21は、作業車両1が遠隔装置30による遠隔操作で走行しているときに、センシング装置25のセンシング情報に基づいて、障害物が緊急停止領域に入ったことが検出されると、作業車両1と障害物との接触を避けるために作業車両1の走行を自動で緊急停止させ(S15:YES)、S12戻る。
 一方、車載制御装置21は、障害物が緊急停止領域に入ったことが検出されない場合(S15:NO)、つまり、緊急停止領域に障害物がない場合、遠隔運転の終了か否かを判定する(S16)。車載制御装置21は、例えば、遠隔装置30から遠隔運転の終了信号を受信した場合(S16:YES)、遠隔運転を終了する。一方、車載制御装置21は、遠隔装置30から遠隔運転の終了信号を受信していない場合(S16:NO)、S12に戻る。
 図10Bに戻って、制御装置31は、遠隔運転の終了の有無を判定する(S116)。例えば、制御装置31は、遠隔操縦される作業車両1の位置情報が、農道FRの実績走行情報が示す実績走行経路の終了位置に到達していない場合(S116:NO)、S111に戻る。一方、制御装置31は、到達している場合(S116:YES)又は遠隔操縦の終了の指示があった場合、農道FRについての遠隔運転を終了する。
 図10A及び図10Bでは、自車1Aを農道FRで遠隔運転する際に、遠隔運転画面G2にラインKを重畳表示させることについて説明したが、これに限定されない。例えば、圃場H1についての遠隔操縦を行う場合に、作業車両1に遠隔操縦モードの要求信号を送信することで、圃場H1の模範走行情報J(例えば実績走行情報JAなど)が示す走行経路としてラインKを表示させることが可能である。また、圃場H1から納屋に戻るための農道FRの場合も同様に、ラインKを表示させることが可能である。このように、納屋と圃場とを結ぶ農道FRでの自車1Aの遠隔運転、圃場H1内での自車1Aの遠隔運転、圃場と他の圃場とを結ぶ農道FRでの自車1Aの遠隔運転、圃場と納屋とを結ぶ農道FRでの自車1Aの遠隔運転、又は、農道FR以外の一般道路での自車1Aの遠隔運転する際に、遠隔運転画面G2にラインKを重畳表示させてもよい。
 以上説明した実施形態等における遠隔装置30及び遠隔操縦システム100の主な特徴的な項目及び効果は、以下の通りである。
 (項目A1)作業車両1を遠隔操縦する遠隔操縦装置35と、遠隔操縦中の前記作業車両1の進行方向を撮像した撮像画像を表示する表示装置34と、前記作業車両1の遠隔操縦を教授するための情報に応じて、前記作業車両1が走行すべき走行経路を前記表示装置34に表示させ、且つ、当該走行経路の表示形態を変更する制御装置31と、を備える遠隔装置30。
 上記項目A1によれば、遠隔操縦者は、表示装置34にて走行経路を確認することができ、表示装置34における走行経路の表示形態を見て、遠隔操縦を教授するための情報を把握することができ、当該表示形態が示す遠隔操縦を行うことができる。すなわち、遠隔操縦をアシスト(支援)することができる。
 (項目A2)前記制御装置31は、教授するための情報に操縦指示が含まれる場合、操縦指示に応じて走行経路の表示形態を変更する項目A1に記載の遠隔装置30。
 上記項目A2によれば、遠隔操縦者は、表示装置34における走行経路の表示形態を見て、走行経路の表示形態が示す操縦指示を把握することができ、走行経路の表示形態が示す操縦指示に近づけるように遠隔操縦を行うことができる。
 (項目A3)前記教授するための情報は、前記作業車両1の遠隔操縦の模範とされる模範走行経路と、当該模範走行経路における操縦指示を含む模範操縦情報とを含む模範走行情報Jであり、前記制御装置31は、前記模範走行経路をラインKとして表示し、前記ラインKの表示態様を前記模範走行経路に含まれる模範操縦情報に応じて変化させる項目A1又はA2に記載の遠隔装置30。
 上記項目A3によれば、遠隔操縦者は、表示装置34に表示されるラインKを見て、模範走行経路及び模範操縦情報を知ることができ、模範走行経路及び模範操縦情報に近づける遠隔操縦を行うことができる。
 (項目A4)前記模範走行情報Jは、過去に実際に前記作業車両1を手動運転又は自動運転したときの経路と、当該経路における操縦指示を含む操縦情報とを有する実績走行情報JAであり、前記制御装置31は、前記経路をラインKとして表示し、前記ラインKの表示態様を前記経路に含まれる操縦情報に応じて変化させる項目A3に記載の遠隔装置30。
 上記項目A4によれば、表示装置34に、過去に実際に手動運転又は自動運転した作業車両1の走行経路及び操縦情報をライン表示することができ、手動運転又は遠隔運転による模範走行情報を示すライン表示によって遠隔操縦をアシストすることができる。
 (項目A5)前記模範走行情報Jは、前記作業車両1をシミュレーション運転したときの経路と、当該経路における操縦情報とを含むシミュレーション走行情報JSであり、前記制御装置31は、前記経路をラインKとして表示し、前記ラインKの表示態様を前記経路に含まれる操縦情報に応じて変化させる項目A3に記載の遠隔装置30。
 上記項目A5この構成によれば、表示装置34に、シミュレーション運転された作業車両1の走行経路及び模範操縦情報をライン表示することができ、シミュレーション運転による模範走行情報を示すライン表示によって遠隔操縦をアシストすることができる。
 (項目A6)前記実績走行情報JAは、前記作業車両1が手動操縦、遠隔操縦又は自動操縦にて過去に実際に運転された場合の当該作業車両1の位置情報と、当該位置情報毎の操縦情報とを対応付けた情報である項目A4に記載の遠隔装置30。
 上記項目A6によれば、表示装置34に、過去に実際に手動操縦、遠隔操縦又は自動操縦にて運転された作業車両1の位置情報に基づく走行経路を示すラインKと、ラインKの各位置の操縦情報と、を表示することができる。このため、実際に運転された作業車両1の走行経路及び操縦情報に近づける遠隔操縦を行うことができる。
 (項目A7)前記シミュレーション走行情報JSは、前記作業車両1がシミュレーション運転された場合の模範走行経路の位置情報と当該位置情報毎の操縦情報とを対応付けた情報である項目A5に記載の遠隔装置30。
 上記項目A7によれば、表示装置34に、シミュレーション運転での模範走行経路を示すラインと、当該ラインの各位置の操縦情報とを表示することができる。このため、シミュレーション運転での作業車両1の走行経路及び操縦情報に近づける遠隔操縦を行うことができる。
 (項目A8)前記操縦情報は、前記作業車両1の速度、前記作業車両1に設けられた変速装置5の変速切替位置、前記作業車両1に設けられた制動装置13の制動位置、前記作業車両1に設けられた作業装置2の操作位置のうちの少なくとも一つ以上の情報を含む項目A6又はA7に記載の遠隔装置30。
 上記項目A8によれば、作業車両1の速度、変速装置5の変速切替位置、制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報に応じて表示態様が変化するラインKを、表示装置34に表示することができる。例えば、速度の情報、変速切替位置の情報、ブレーキ位置の情報、作業装置2の操作情報(作業装置2の上昇、下降など)を、ラインKとして表示することができる。
 (項目A9)前記制御装置31は、前記操縦情報に応じて、前記ラインKの大きさ、色、濃度、形状、及び模様の少なくとも1つ以上を変化させることにより、ラインKの表示態様を変化させる項目A8に記載の遠隔装置30。
 上記項目A9によれば、表示装置34に表示されるラインKの大きさ、色、濃度、形状、及び模様の少なくとも1つ以上が変化するので、遠隔操縦者は、ラインKの変化した表示態様、つまり、大きさ、色、濃度、形状、及び模様に対応付けられた操縦情報をラインKの変化から知ることができ、表示態様が変化するラインKから知得した操縦情報に合わせる操縦を行うことができ、遠隔操縦をアシスト(支援)することができる。
 (項目A10)前記作業車両1の位置情報と前記撮像画像とを受信する通信装置33を備え、前記制御装置31は、前記遠隔操縦装置35にて前記作業車両1を遠隔操縦する場合に、前記通信装置33にて受信された当該作業車両1の現時点の位置情報が示す位置を含む模範走行情報Jを生成し、当該生成した前記模範走行情報Jが示す前記模範走行経路を前記ラインKとして、前記表示装置34に表示させる項目A7に記載の遠隔装置30。
 上記項目A10によれば、遠隔操縦と同時進行にてシミュレーションにより生成された模範走行経路を見ながら、遠隔操縦者が遠隔操縦を行うことができる。
 (項目A11)前記作業車両1の位置情報と前記撮像画像とを受信する通信装置33と、前記模範走行情報Jを予め記憶する記憶装置32と、を備え、前記制御装置31は、前記遠隔操縦装置35にて前記作業車両1を遠隔操縦する場合に、前記通信装置33にて受信された当該作業車両1の現時点の位置情報が示す位置を含む対象範囲に関連する前記模範走行情報Jを選択し、当該選択した前記模範走行情報Jが示す前記模範走行経路を前記ラインKとして、前記表示装置34に表示させる項目A6又はA7に記載の遠隔装置30。
 上記項目A10によれば、遠隔操縦者は、遠隔操縦中の作業車両に近い模範走行情報を用いて、遠隔操縦を行うことができる。
 (項目A12)前記撮像画像は、運転席10を囲う保護機構の内部又は外部に設けられたカメラ25c(撮像装置)にて作業車両1の進行方向を撮像した画像である項目A1~A11の何れか1つに記載の遠隔装置30。
 上記項目A12によれば、運転席10又は運転席10を囲う保護機構(キャビン9、ロプスなど)から作業車両1の進行方向を撮像した撮像画像上に、実績走行情報の操縦情報に応じて表示態様が変化するラインKを表示することができ、遠隔地の作業車両1の運転席10に座っているような状態でラインKに従って遠隔操縦することができ、作業車両1の過去のラインKによるアシストを受けることができる。
 (項目A13)前記報知装置36を備え、前記制御装置31は、前記ラインKと、前記遠隔操縦装置35にて遠隔操縦される前記作業車両1とのずれがあると、前記ラインKからのずれを前記報知装置36に報知させ、前記作業車両1が過去に実際に運転された場合の操縦情報と前記作業車両1を遠隔操縦する場合の操縦情報とのずれがあると、前記操縦情報のずれを前記報知装置36に報知させる項目A11に記載の遠隔装置30。
 上記項目A13によれば、遠隔運転される作業車両1がラインKからずれて走行すると、遠隔操縦者にずれている旨を報知することができる。また、遠隔運転される作業車両1の操縦情報が、ラインKが示す操縦情報とのずれがある場合に、操縦情報のずれを報知することができる。このため、ラインKをお手本として操縦者に走行経路及び操縦内容を順守させることができる。
 (項目A14)前記制御装置31は、前記作業車両1が前記ラインK上の操作位置に近づいた場合に、前記報知装置36に前記操作位置であることを報知させる項目A13に記載の遠隔装置30。
 上記項目A14によれば、遠隔運転される作業車両1が、操作位置に近づいた場合(例えば、インプルを上げるべき位置が近づいた場合など)には、事前に遠隔操縦者に報知する(画面表示、音声で伝えるなど)ことができる。このため、操作の確実性を高めることができる。
 (項目A15)前記記憶装置32は、前記作業車両1以外の移動体の過去の履歴経路HRと警告情報WMとを対応付けた参考情報を予め記憶し、前記制御装置31は、遠隔操縦される前記作業車両1が、前記移動体の過去の履歴経路HRに対して予め定められた距離内に位置すると、前記表示装置34に、前記移動体の過去の履歴経路HR及び前記警告情報WMの少なくとも一方を表示させる項目A13に記載の遠隔装置30。
 上記項目A15によれば、作業車両1以外の移動体についての危険を事前に知らせることができる。
 (項目A16)前記制御装置31は、前記作業車両1の車輪位置、前記作業車両1の幅方向の中心位置、前記作業車両1に設けられた運転席10の幅方向の中心位置、及び作業車両1の最大幅の何れかを基準位置としてラインKを表示させる項目A9に記載の遠隔装置30。
 上記項目A16によれば、各種の基準位置としてラインKを表示することができる。
 (項目A17)前記制御装置31は、前記作業車両1の車輪位置、前記作業車両1の幅方向の中心位置、運転席10の幅方向の中心位置、前記作業車両1の最大幅、及び、前記作業車両1と当該作業車両1に設けられた作業装置2とからなる最大幅の何れを基準位置とするかが遠隔操縦者による選択操作によって選択されると、選択された前記基準位置を起点としてラインKを表示させる項目A16に記載の遠隔装置30。
 上記項目A17によれば、作業車両1の車輪位置、作業車両1の幅方向の中心位置、運転席10の幅方向の中心位置、作業車両1の最大幅、及び、作業車両1と作業装置2とからなる最大幅の何れを基準位置とするかを、遠隔操縦者が適宜に選択することにより、ラインKの基準位置を適宜に変更することができ、作業車両1の走行状況又は作業車両1による作業などに応じて遠隔操縦者が見易いラインKに適宜に変更することができ、ラインKの表示の自由度をさらに拡張することができる。
 また、制御装置31は、図10BのS108において遠隔操縦者からの選択指示があると、この選択指示に基づいて、記憶装置32に記憶された模範走行経路を選択し、当該模範走行経路をラインKとして、表示装置34の遠隔運転画面G2に表示させる。この構成によれば、自車1Aの現在位置情報に関わらず、ユーザー(遠隔操縦者)が指定した実績走行情報(又は実績走行情報群)を表示させることができる。
 (項目A18)作業車両1と、項目A1~A17の何れか1つに記載の遠隔装置30と、を備え、前記作業車両1は、当該作業車両1の位置を検出する位置検出装置24と、前記作業車両1の進行方向を撮像するカメラ25c(撮像装置)と、位置検出装置24にて検出された位置を示す位置情報とカメラ25cにて撮像された撮像画像とを対応付けて送信する車載通信装置23とを備え、前記遠隔装置30は、前記位置情報と前記撮像画像とを受信する通信装置33を備え、前記制御装置31は、前記作業車両1の遠隔操縦を教授するための情報に応じて、前記作業車両1が走行すべき走行経路を前記表示装置34に表示させ、当該走行経路の表示形態を変更する遠隔操縦システム100。
 上記項目A18によれば、遠隔操縦者は、表示装置34における走行経路の表示形態を見て、当該表示形態が教授する操縦内容を把握でき、表示形態が示す遠隔操縦を行うことができる。すなわち、遠隔操縦をアシスト(支援)することができる。
 なお、図7Dに示すように、模範走行情報J(実績走行情報JA、シミュレーション走行情報JSなど)の操縦情報が、作業車両1の速度を示す情報である場合に、制御装置31は、速度が速くなるに連れてラインKの大きさを増加させ(例えば横幅が太くなり)、速度が遅くなるに連れてラインKの大きさを減少させる(例えば横幅が細くなる)としてもよい。図7Dでは、ラインKの横幅が、表示体Kb<表示体Kc<表示体Kd<表示体Keとの関係となっている。この構成によれば、ラインKの大きさ(横幅の大きさ)から速度を凡そ知ることができる。
 さて、圃場外で作業車両の遠隔運転を行う場合、実際に作業車両に乗って運転している場合に比べて、周囲の確認等を行い辛いため、作業車両が通行可能な道であるのかどうか(画面越しでは)の判断が難しい場合がある。
 つまり、圃場外で作業車両の遠隔運転を行う場合、実際に作業車両に乗って運転している場合に比べて、周囲の確認等を行い辛いため、作業車両で通行可能な道なのかどうか(画面越しでは)の判断が難しい場合がある。そこで、走行実績のある経路(過去に手動運転で運転した経路又は過去に遠隔運転で実際に運転した経路)であれば、走行しても問題ない可能性が高いと考えることができ、遠隔運転者の判断の助けになる。また、経路だけでなく、その経路上で、過去にどのような運転(ブレーキ、速度など)をしたか理解できれば、適切な運転判断を行う助けとなる。そこで、本実施形態の遠隔操縦システム100によれば、適切な運転判断の助けを提供することができる。
 このため、図4Aの記憶テーブルTB1は、シミュレーション走行情報JSを含んでいるが、実績走行情報JAのみで構成してもよい。あるいは、制御装置31は、図4Aの記憶テーブルTB1から実績走行情報JAのみを選択してもよい。こうすることで実績走行情報JAが適切に選択される。
 以上説明した実施形態等における遠隔装置30及び遠隔操縦システム100の主な特徴的な項目及び効果は、以下の通りである。
 (項目B1)作業車両1を遠隔操縦する遠隔操縦装置35と、遠隔操縦中の前記作業車両1の進行方向を撮像した撮像画像を表示する表示装置34と、少なくとも前記作業車両1の遠隔操縦中に、実績走行情報JAを前記表示装置34に表示させる制御装置31と、を備える遠隔装置30。
 上記項目B1によれば、遠隔操縦者は、作業車両1を遠隔操縦する場合において、表示装置34に表示された実績走行経路を見て、遠隔操縦を行うことができる。すなわち、遠隔操縦をアシスト(支援)することができる。
 (項目B2)前記実績走行情報JAは、過去に実際に前記作業車両1を手動運転又は自動運転したときの経路を示す情報を含む項目B1に記載の遠隔装置30。
 上記項目B2によれば、表示装置34に、過去に実際に手動運転又は自動運転した作業車両1の経路(例えばラインK)を表示することができ、手動運転又は自動運転による過去のラインKによって遠隔操縦をアシストすることができる。
 (項目B3)前記実績走行情報JAは、現時点で遠隔操縦者が遠隔操縦を行っている自車1Aの経路及び操縦に関する情報ではなく、当該自車1A以外の他車1Bの経路及び操縦に関する情報である項目B1又はB2に記載の遠隔装置30。
 上記項目B3によれば、遠隔操縦中の自車1A以外の他車1Bの経路及び操縦に関する実績走行情報JAを見て、遠隔操縦を行うことができる。
 (項目B4)前記実績走行情報JAに含まれる手動運転の経路及び操縦に関する情報は、前記他車1Bに運転者が乗って手動で運転した場合、又は、前記他車1Bに乗らずに遠隔操縦者が遠隔で手動で運転した場合の経路及び操縦に関する情報である項目B1~B3の何れか1つに記載の遠隔装置30。
 上記項目B4によれば、実際に他車1Bを手動で運転した場合の経路及び操縦に関する情報を遠隔操縦者に提供することができ、遠隔操縦をアシストすることができる。
 (項目B5)前記表示装置34は、前記撮像画像を遠隔運転画面G2に表示し、前記制御装置31は、前記実績走行情報JAに含まれる前記手動で運転した場合の経路である実績走行経路をラインKとして、前記遠隔運転画面G2の前記撮像画像に重畳表示させる項目B1~B4の何れか1つに記載の遠隔装置30。
 上記項目B5によれば、遠隔操縦者は、遠隔運転画面G2の撮像画像に重畳表示されるラインKを見て、実績走行経路を確認しながら遠隔操縦することができ、遠隔操縦をアシスト(支援)することができる。
 (項目B6)前記実績走行情報JAを少なくとも1つ以上記憶する記憶装置32を備え、前記制御装置31は、遠隔操縦者による選択指示に基づいて、前記記憶装置32に記憶された前記実績走行情報JAを選択し、当該実績走行情報JAが示す経路を軌跡(ラインK)として、前記遠隔運転画面G2に表示させる項目B5に記載の遠隔装置30。
 上記項目B6によれば、遠隔操縦者は、任意の実績走行情報JAを選択して、この選択した実績走行情報JAが示す経路をラインKとして表示装置34の遠隔運転画面G2に表示されるので、このラインKの表示形態を見ながら遠隔操縦を行うことができ、実績走行経路に合わせるように遠隔操縦することができる。
 (項目B7)前記実績走行情報JAを少なくとも1つ以上記憶する記憶装置32と、前記作業車両1の位置情報と前記撮像画像とを受信する通信装置33と、を備え、前記実績走行情報JAは、前記作業車両1が事前に実際に運転された場合の前記操縦情報と当該作業車両1の位置情報とを対応付けた情報を含み、前記制御装置31は、前記遠隔操縦装置35にて前記作業車両1を遠隔操縦する場合に、前記通信装置33にて受信された当該作業車両1の現時点の位置情報が示す位置を含む対象範囲に関連する前記実績走行情報JAを前記記憶装置32から選択し、当該選択した前記実績走行情報JAが示す前記実績走行経路を前記軌跡として、前記遠隔運転画面に表示させる項目B5又はB6の何れか1つに記載の遠隔装置30。
 上記項目B7によれば、遠隔操縦者は、遠隔操縦中の作業車両に近い実績走行情報JAを用いて、遠隔操縦を行うことができる。
 (項目B8)前記撮像画像は、前記作業車両1に設けられた運転席10を囲う保護機構の内部又は外部に設けられたカメラ25c(撮像装置)にて当該作業車両1の進行方向を撮像した画像である項目B1~B7の何れか1つに記載の遠隔装置30。
 上記項目B8によれば、運転席10又は運転席10を囲う保護機構(キャビン9、ロプスなど)から作業車両1の進行方向を撮像した撮像画像上に、実績走行情報の操縦情報に応じて表示態様が変化するラインKを表示することができ、遠隔地の作業車両1の運転席10に座っているような状態でラインKに従って遠隔操縦することができ、作業車両1の過去のラインKによるアシストを受けることができる。
 (項目B9)前記実績走行情報JAを少なくとも1つ以上記憶する記憶装置32を備え、前記制御装置31は、優先度情報に基づいて、前記記憶装置32に記憶された前記実績走行経路を選択し、当該実績走行経路を前記軌跡(ラインK)として、前記遠隔運転画面G2に表示させる項目B5又はB6の何れか1つに記載の遠隔装置30。
 上記項目B9によれば、記憶装置32に記憶された1つ以上の実績走行情報JAの中から、優先度の高い実績走行経路をラインKとして優先的に表示させることができる。このため、信頼度の高いラインKをガイド表示とすることができる。
 (項目B10)前記記憶装置32は、前記実績走行情報JAを複数記憶しており、前記制御装置31は、前記記憶装置32に記憶された複数の前記実績走行情報JAのうちで、最新の実績走行情報JAを第1透過度の第1軌跡(第1ラインK1)として前記表示装置34に表示させると共に、前記最新の実績走行情報JA以外の実績走行情報JAを、前記第1透過度よりも透過度が高い第2透過度の第2軌跡(第2ラインK2)として前記遠隔運転画面G2に表示させる項目B9に記載の遠隔装置。
 上記項目B10によれば記憶装置32に記憶された複数の過去の実績走行情報JAの中から、最も新しい実績走行情報JAを第1透過度の第1ラインK1とし、最新の実績走行情報JA以外の実績走行情報JAを、第1透過度よりも透過度が高い第2透過度の第2ラインK2として、それぞれ表示させるので、過去の複数のラインK(つまり、第1ラインK1と第2ラインK2)を表示しつつ、信頼度の高い最近の実績走行情報JAを優先的に表示することができる。このため、複数のラインKの分布を示しつつ、信頼度の高い最近の実績走行情報JAを明確に示すことができる。
 (項目B11)作業車両1と、項目B1~B10の何れか1つの遠隔装置30と、を備え、作業車両1は、当該作業車両1の位置を検出する位置検出装置24と、当該作業車両1の進行方向を撮像するカメラ25c(撮像装置)と、位置検出装置24にて検出された位置を示す位置情報とカメラ25cにて撮像された撮像画像とを対応付けて送信する車載通信装置23とを備え、遠隔装置30は、位置情報と撮像画像とを受信する通信装置33を備え、制御装置31は、少なくとも作業車両1の遠隔操縦中に、表示装置34に実績走行情報JAを表示させる遠隔操縦システム100。
 上記項目B11によれば、遠隔操縦者は、作業車両1を遠隔操縦する場合において、表示装置34に表示された実績走行経路を見て、遠隔操縦を行うことができる。すなわち、遠隔操縦をアシスト(支援)することができる。
 <第1変形例>
 上記実施形態の遠隔装置30では、遠隔操縦者の操作に従って模範走行情報Jを選択する構成(図10BのS108)であったが、第1変形例の遠隔装置30では、図10Cに示すように、自車1Aの位置に近い模範走行情報Jを選択することができる点が、上記実施形態の遠隔装置30とは異なっている。
 図10Cに示すように、遠隔装置30の制御装置31は、自車1Aからの情報に基づいて他車1Bの実績走行情報JAを抽出する(S109A)。具体的には、制御装置31は、遠隔操縦装置35にて自車1A(作業車両1)を遠隔操縦する場合に、通信装置33にて受信された自車1Aの現時点の位置情報が示す位置を含む対象範囲に関連する模範走行情報J(実績走行情報JAであってもよい)を選択する。ここでは、制御装置31は、自車1Aの現時点の位置を含む対象範囲(例えば20m以内の範囲)に一部が位置する模範走行情報を選択したとする。つまり、制御装置31は、自車1Aの位置に近い模範走行情報Jを選択する。
 この対象範囲に関連する模範走行情報Jは、自車1Aの位置から所定距離(例えば、20m)内の範囲についての模範走行情報としているが、自車1Aの現時点の位置に一致する模範走行情報のいずれであってもよい。また、対象範囲に関連する模範走行情報Jは、自車1Aが位置する圃場H1についての模範走行情報、又は、自車1Aが位置する農道FRについての模範走行情報などであってもよい。
 そして、制御装置31は、当該選択した模範走行情報Jが示す模範走行経路(ここでは実績走行経路)を、図7Aに示すようにラインKとして、遠隔運転画面G2に表示された撮像画像に重畳表示させる(S110)。
 第1変形例では、作業車両1の位置情報と撮像画像とを受信する通信装置33と、模範走行情報を予め記憶する記憶装置32と、を備え、制御装置31は、遠隔操縦装置35にて作業車両1を遠隔操縦する場合に、通信装置33にて受信された作業車両1の現時点の位置情報が示す位置を含む対象範囲に関連する模範走行情報Jを選択し、当該選択した模範走行情報Jが示す模範走行経路をラインKとして、表示装置34に表示させる。
 第1変形例の構成によれば、遠隔操縦者は、遠隔操縦中の作業車両に近い模範走行情報を用いて、遠隔操縦を行うことができる。
 <第2変形例>
 上記実施形態の遠隔装置30では、遠隔操縦者の操作に従って模範走行情報Jを選択する構成(図10BのS108)であったが、第2変形例の遠隔装置30では、図10Dに示すように、優先度情報に基づいて模範走行情報Jを選択することができる点が、上記実施形態及び第1変形例の遠隔装置30とは異なっている。
 図4Bは、第2変形例の記憶テーブルの一例を示す図である。図4Bに示すように、記憶装置32が有する記憶テーブルTB2には、複数の模範走行情報Jが記憶されている。第1~第4の模範走行情報J1~J4には、優先度情報が対応付けて記憶されている。例えば、優先度情報は、例えば記録日時を示す情報である。記録日時は、手動又は自動で運転した日時、シミュレーションした日時を示す。このように、記憶テーブルTB2には、最新の模範走行情報Jを最も優先度が高いとする優先度情報(例えば記録日時を示す情報)が記憶可能である。
 図10Dに示すように、遠隔装置30の制御装置31は、優先度情報に基づいて他車1Bの模範走行情報Jを抽出する(S109B)。例えば、制御装置31は、記憶装置32に記憶された複数の模範走行情報Jのうちで、最新の模範走行情報JをラインKとして表示装置34の遠隔運転画面G2に表示させる。つまり、第2の模範走行情報J2の記録日時が最新であるため、第2の模範走行情報J2がラインKとして遠隔運転画面G2に表示される。
 そして、制御装置31は、優先度情報に基づいて抽出した第2の模範走行情報J2が示す模範走行経路をラインKとして、表示装置34の遠隔運転画面G2に表示させる(S110)。
 なお、図4Bに示すように、優先度情報として、お気に入り情報が追加されてもよい。お気に入り情報は、遠隔操縦者などが優先して使用したい模範走行情報Jをオンに設定し、それ以外の模範走行情報Jをオフに設定することで、記録日時に関わらず、お気に入り情報がオンである模範走行情報Jが優先して選択される。例えば、第1の模範走行情報J1のお気に入り情報がオンであり、第2~第4の模範走行情報J2~J4のお気に入り情報が全てオフである。このため、記録日時が最新である第2の模範走行情報J2ではなく、お気に入り情報がオンである第1の模範走行情報J1がラインKとして表示装置34の遠隔運転画面G2に表示されるとしてもよい。
 第2変形例では、模範走行情報J(例えば実績走行情報JA、シミュレーション走行情報JS)を少なくとも1つ以上記憶する記憶装置32を備え、制御装置31は、優先度情報に基づいて、記憶装置32に記憶された模範走行情報J(例えば実績走行情報JA、シミュレーション走行情報JS)を選択し、当該模範走行経路(例えば実績走行経路、シミュレーション走行経路)をラインKとして、遠隔運転画面G2に表示させる。
 第2変形例の構成によれば、記憶装置32に記憶された1つ以上の模範走行情報J(例えば実績走行情報JA、シミュレーション走行情報JS)の中から、優先度の高い模範走行経路(例えば実績走行経路、シミュレーション走行経路)をラインKとして優先的に表示させることができる。このため、信頼度の高いラインKをガイド表示とすることができる。
 <第3変形例>
 上記実施形態及び第1~第2変形例の遠隔装置30では、記憶装置32に記憶された模範走行情報J(例えば実績走行情報JA、シミュレーション走行情報JS)を選択する構成であったが、第3変形例の遠隔装置30では、図10Eに示すように、遠隔操縦と同時進行にてシミュレーションにより生成された模範走行情報Jを表示することができる点が、上記実施形態及び第1~第2変形例の遠隔装置30とは異なっている。
 制御装置31は、遠隔操縦装置35にて作業車両1を遠隔操縦する場合に、通信装置33にて受信された当該作業車両1の現時点の位置情報が示す位置を含む模範走行情報を生成する。
 具体的には、制御装置31は、通信装置33にて受信された撮像画像を画像解析処理して撮像画像中の農道FRを特定する。制御装置31は、特定した農道FRに基づいて、撮像画像における作業車両1の幅方向の中心位置から、当該特定した農道FRの道幅の中心位置を通って当該農道FRの長さ方向に沿う模範走行経路を作成するとともに、農道FRの形状(例えば、直線、カーブ、蛇行、道幅の増減など)及び路面状態(平坦、凸凹など)に応じて当該模範走行経路の位置ごとの操縦情報(速度、制動の有無、変速切換など)を示す模範操縦情報とを含む模範走行情報を生成する。
 また、制御装置31は、第1変形例での自車1A(作業車両1)の位置に近い模範走行情報Jの模範走行経路を、自車1Aの位置を基準とした走行経路に変換した模範走行情報を生成してもよい。
 図10Eに示すように、遠隔装置30の制御装置31は、遠隔操縦と同時進行にてシミュレーションにより模範走行情報、つまり、シミュレーション走行情報を生成する(S109C)。
 第3変形例の遠隔操縦システム100は、作業車両1の位置情報と撮像画像とを受信する通信装置33を備え、制御装置31は、遠隔操縦装置35にて作業車両1を遠隔操縦する場合に、通信装置33にて受信された当該作業車両1の現時点の位置情報が示す位置を含む模範走行情報を生成し、当該生成した模範走行情報が示す模範走行経路をラインKとして、遠隔運転画面G2に表示させる。
 すなわち、制御装置31は、遠隔運転による走行情報を取得しながら、作業車両1をシミュレーション運転させた場合の模範走行経路の位置情報と、当該位置情報毎の模範操縦情報とを、同時進行で生成して、遠隔運転画面G2に表示させる。つまり、遠隔操縦と同時進行にてシミュレーションをして模範走行経路を生成し、その模範走行経路を表示させる。
 第3変形例によれば、この場合には、遠隔操縦と同時進行にてシミュレーションにより生成された模範走行経路を見ながら、遠隔操縦者が遠隔操縦を行うことができる。
 <第4変形例>
 上記実施形態及び第1~第3変形例の遠隔装置30では、図7Aに示すように、遠隔運転画面G2に1つのラインKを重畳表示する構成であったが、第4変形例の遠隔装置30では、図7Eに示すように、遠隔運転画面G2に複数のラインK(例えば、第1ラインK1と第2ラインK2)を同時に重畳表示することができる点が、上記実施形態の遠隔装置30とは異なっている。
 記憶装置32は、図4に示すように、実績走行情報JAを複数記憶している。第4変形例の遠隔装置30の制御装置31は、図7Eに示すように、記憶装置32に記憶された複数の実績走行情報JAのうちで、最新の実績走行情報JAを第1透過度の第1ラインK1として表示装置34に表示させると共に、最新の実績走行情報JA以外の実績走行情報JAを、第1透過度よりも透過度が高い第2透過度の第2ラインK2として表示装置34に表示させる。
 図4で言えば、第2の実績走行情報JA2が最新であるので、第2の実績走行情報JA2が第1透過度の第1ラインK1として表示され、第1の実績走行情報JA1が第2透過度の第2ラインK2として表示される。
 第4変形例の構成によれば、記憶装置32に記憶された複数の過去の実績走行情報JAの中から、最も新しい実績走行情報JAを第1透過度の第1ラインK1とし、最新の実績走行情報JA以外の実績走行情報JAを、第1透過度よりも透過度が高い第2透過度の第2ラインK2として、それぞれ表示させるので、過去の複数のラインK(つまり、第1ラインK1と第2ラインK2)を表示しつつ、信頼度の高い最近の実績走行情報JAを優先的に表示することができる。このため、複数のラインKの分布を示しつつ、信頼度の高い最近の実績走行情報JAを明確に示すことができる。
 <第5変形例>
 第5変形例の遠隔装置30では、図11A、図11Bに示すように、遠隔運転される作業車両1がラインKに対してずれがある場合に報知することができる点が、上記実施形態及び第1~第4変形例の遠隔装置30とは異なっている。「ラインKに対するずれ」には、車両位置のずれと、操縦情報のずれとが、含まれる。なお、車両位置のずれと、操縦情報のずれの少なくとも一方を報知してもよい。操縦情報のずれは、作業車両1が過去に実際に運転された場合の操縦情報と、作業車両1を遠隔操縦する場合の操縦情報とのずれを意味する。
 報知装置36は、ラインKに対するずれを報知する。制御装置31は、ラインKと、遠隔操縦装置35にて遠隔操縦される作業車両1とのずれがあると、ラインKからのずれを報知装置36に報知させる。
 例えば、報知装置36は、ラインKからのずれがあった場合に、ラインKからのずれを、当該ラインKを通常の表示態様とは異なる表示態様に表示装置34にて変更すること、又は/及び、報知の音声をスピーカ36aから出力することにより、報知する。
 具体的には、制御装置31は、図11Aに示すように、遠隔運転される作業車両1の進行経路を示すラインPRが、遠隔運転画面G2に表示されたラインKに対して、所定値以上の位置ずれがあるか否かを判定する。ラインPRは、自車1Aの現在位置から進行方向に延びるラインである。例えば、制御装置31は、ラインPRとラインKとの間隔が所定値以上である場合に、位置ずれありと判定する。制御装置31は、位置ずれありと判定した場合に、ラインKからの位置ずれを、報知装置36の音声出力、又は/及び、表示装置34でのラインKの第1表示パターン(例えば第1周期での点滅)での表示による報知をさせる。報知装置36は、例えば、「ラインKからずれています」といった音声を出力する。
 また、制御装置31は、図11Bに示すように、遠隔運転される作業車両1の操縦情報が、遠隔運転画面G2に表示されたラインKが示す操縦情報に対して、操縦情報内容について所定値以上のずれがある場合に、ラインKが示す操縦情報とのずれを報知装置36により報知させる。例えば、情報内容について所定値以上のずれとしては、走行速度のずれ、変速切替位置のずれ、制動位置ずれ、作業装置2の操作位置のずれなどが挙げられる。
 制御装置31は、遠隔操縦される作業車両1の走行速度(例えば速度SD5)が、ラインKが示す操縦情報の走行速度(例えば速度SD3)に対して所定値以上のずれがある場合、走行速度のずれがあること(例えば「走行速度を速度SD3にしてください」)を、音声により又は/及びラインKを第2表示パターン(例えば第2周期での点滅)で表示することにより報知する。図11Bでは、ラインPRとラインKとが一致しているが、自車1Aの操縦情報内容と、ラインKが示す操縦情報とにずれがあることにより、ラインKを第2表示パターンで表示させているとしている。
 制御装置31は、遠隔操縦される作業車両1の変速切替位置(例えば第2の変速位置)が、ラインKが示す操縦情報の変速切替位置(例えば第1の変速位置)に対して所定値以上のずれがある場合(つまり、不一致である)、変速切替位置にずれがあること(例えば「変速切替位置を第1の変速位置にしてください」)を、音声により又は/及びラインKを第3表示パターン(例えば変速周期での点滅)で表示することにより報知する。
 制御装置31は、遠隔操縦される作業車両1の制動装置13の制動位置(例えば制動オフ)が、ラインKが示す操縦情報の作業車両1の制動装置13の制動位置(例えば制動オン)に対して所定値以上のずれがある(つまり、不一致である)場合に、制動位置にずれがあることを(例えば、「制動装置13の制動オンにしてください」)を、音声により又は/及びラインKを第4表示パターン(例えば通常時の輝度よりも高い輝度で点灯)で表示することにより報知する。
 制御装置31は、遠隔操縦される作業装置2の操作位置(例えば上昇位置)が、ラインKが示す操縦情報の作業装置2の操作位置(下降位置)に対して所定値以上のずれがある(つまり、不一致である)場合に、操作位置にずれがあることを(例えば、「作業装置2の操作位置を下降位置にしてください」)を、音声により又は/及びラインKを第5表示パターン(例えば高い輝度で点滅)で表示することにより報知する。
 第5変形例の遠隔装置30は、ラインKに対するずれを報知する報知装置36を備え、制御装置31は、ラインKと、遠隔操縦装置35にて遠隔操縦される作業車両1とのずれがあると、ラインKからのずれを報知装置36に報知させ、作業車両1が過去に実際に運転された場合の操縦情報と作業車両1を遠隔操縦する場合の操縦情報とのずれがあると、操縦情報のずれを報知装置36に報知させる。この構成によれば、遠隔運転される作業車両1がラインKからずれて走行すると、遠隔操縦者にずれている旨を報知することができる。また、遠隔運転される作業車両1の操縦情報が、ラインKが示す操縦情報とのずれがある場合に、操縦情報のずれを報知することができる。このため、ラインKをお手本として操縦者に走行経路及び操縦内容を順守させることができる。
 報知装置36は、ラインKからのずれがあった場合に、ラインKからのずれを、当該ラインKを通常の表示態様とは異なる表示態様に変更すること又は/及び報知の音声を出力することにより報知する。この構成によれば、遠隔運転される作業車両1がラインKからずれて走行すると、ラインKを通常の表示態様とは異なる表示態様に変更すること又は/及び報知の音声を出力することにより、遠隔操縦者にずれている旨を報知することができる。このため、ラインKをお手本として遠隔操縦者に順守させることができる。
 報知装置36は、ラインKからのずれがあった場合に、遠隔操縦装置35の通常の操作負荷よりも大きい操作負荷に変更することにより、ラインKからのずれを報知してもよい。この構成によれば、遠隔運転される作業車両1がラインKからずれて走行すると、遠隔操縦装置35の通常の操作負荷よりも大きい操作負荷に変更することにより、遠隔操縦者にずれている旨を報知することができる。このため、ラインKをお手本として遠隔操縦者に順守させることができる。
 <第6変形例>
 第6変形例の遠隔装置30では、図12に示すように、作業車両1を遠隔運転しているときに他の移動体(例えば、自動車、歩行者、他の作業車両など)についての危険予知ができる点が、上記実施形態及び第1~第5変形例の遠隔装置30とは異なっている。
 記憶装置32は、作業車両1以外の移動体の過去の履歴経路HRと警告情報WMとを対応付けた参考情報を予め記憶している。履歴経路HRは、作業車両1のセンシング装置25が実際に検出した他の移動体(例えば、自動車、歩行者、他の作業車両など)の一連の経路、センシング装置25にて検出された断片的なセンシング情報を補間して作成した経路、遠隔操縦者によって予め登録された経路、又は、外部のサーバから提供されている注意・危険経路などである。警告情報WMは、警告を示す文字、図形、記号などの情報(音声情報、表示情報など)である。
 制御装置31は、図12に示すように、遠隔操縦される作業車両1が、移動体の過去の履歴経路HRに対して予め定められた距離内に位置すると、遠隔運転画面G2に、移動体の過去の履歴経路HR及び警告情報WMを表示させる。なお、制御装置31は、遠隔運転画面G2に、移動体の過去の履歴経路HR又は警告情報WMを表示させるとしてもよい。
 第6変形例の遠隔装置30によれば、記憶装置32は、作業車両1(自車1A)のラインKだけでなく、作業車両1以外の移動体(例えば、自動車、歩行者、他の作業車両など)の過去の履歴経路HRを記録し、制御装置31は、遠隔操縦される作業車両1が、移動体の過去の履歴経路HRに近づくと、移動体の過去の履歴経路HR及び警告情報WMの少なくとも一方を、表示装置34の遠隔運転画面G2に表示させるので、作業車両1以外の移動体についての危険を事前に知らせることができる。例えば、走行車が多いT字路、歩行者が多い細道などにおいて、例えば、移動体多し、移動体との接触注意などを予知することができ、遠隔操縦の安全性を向上させることができる。
 また、制御装置31は、作業車両1がラインK上の操作位置に近づいた場合に、報知装置36に操作位置であることを報知させてもよい。制御装置31は、記憶テーブルTB1に記憶された実績走行情報JAの操縦情報に基づいて操作位置を特定することができる。例えば、制御装置31は、作業装置2の位置を変更する操作位置の場合には、図6に示す位置PW1が作業装置2の下降位置であり、図6に示す位置PX1が作業装置2の上昇位置であることを予め特定している。そして、制御装置31は、遠隔運転される作業車両1が位置PW1又は位置PW1に近い位置になると、報知装置36に「作業装置2を下降させる操作位置に近づきました」といった音声出力をさせたり、表示装置34に報知表示させたりしてもよい。なお、制御装置31は、走行速度、変速切替位置、又は、制動位置についての操作位置を、報知装置36により報知させたり、表示装置34に報知表示させたりしてもよい。
 この構成によれば、遠隔運転される作業車両1が、操作位置に近づいた場合(例えば、インプルを上げるべき位置が近づいた場合など)には、事前に遠隔操縦者に報知する(画面表示、音声で伝えるなど)ことができる。このため、操作の確実性を高めることができる。
 以上、本発明について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
  1  作業車両
  2  作業装置
  5  変速装置
  9  キャビン(保護機構)
 10  運転席
 13  制動装置
 21  車載通信装置
 24  位置検出装置
 25c カメラ(撮像装置)
 25c1 内部カメラ(撮像装置)
 30  遠隔装置
 31  制御装置
 32  記憶装置
 33  通信装置
 34  表示装置
 35  操縦装置
 70  表示端末
 100 遠隔操縦システム
  K  ライン

Claims (11)

  1.  作業車両を遠隔操縦する遠隔操縦装置と、
     遠隔操縦中の前記作業車両の進行方向を撮像した撮像画像を表示する表示装置と、
     少なくとも前記作業車両の遠隔操縦中に、実績走行情報を前記表示装置に表示させる制御装置と、
     を備える遠隔装置。
  2.  前記実績走行情報は、過去に実際に前記作業車両を手動運転又は自動運転したときの経路を示す情報を含む請求項1に記載の遠隔装置。
  3.  前記実績走行情報は、現時点で遠隔操縦者が遠隔操縦を行っている自車の経路及び操縦に関する情報ではなく、当該自車以外の他車の経路及び操縦に関する情報である請求項2に記載の遠隔装置。
  4.  前記実績走行情報に含まれる手動運転の経路及び操縦に関する情報は、前記他車に運転者が乗って手動で運転した場合、又は、前記他車に乗らずに遠隔操縦者が遠隔で手動で運転した場合の経路及び操縦に関する情報である請求項3に記載の遠隔装置。
  5.  前記表示装置は、前記撮像画像を遠隔運転画面に表示し、
     前記制御装置は、前記実績走行情報に含まれる前記手動で運転した場合の経路である実績走行経路を軌跡として、前記遠隔運転画面の前記撮像画像に重畳表示させる請求項4に記載の遠隔装置。
  6.  前記実績走行情報を少なくとも1つ以上記憶する記憶装置を備え、
     前記制御装置は、遠隔操縦者による選択指示に基づいて、前記記憶装置に記憶された前記実績走行情報を選択し、当該実績走行情報が示す経路を前記軌跡として、前記遠隔運転画面に表示させる請求項5に記載の遠隔装置。
  7.  前記実績走行情報を少なくとも1つ以上記憶する記憶装置と、
     前記作業車両の位置情報と前記撮像画像とを受信する通信装置と、を備え、
     前記実績走行情報は、前記作業車両が事前に実際に運転された場合の前記操縦情報と当該作業車両の位置情報とを対応付けた情報を含み、
     前記制御装置は、前記遠隔操縦装置にて前記作業車両を遠隔操縦する場合に、前記通信装置にて受信された当該作業車両の現時点の位置情報が示す位置を含む対象範囲に関連する前記実績走行情報を前記記憶装置から選択し、当該選択した前記実績走行情報が示す前記実績走行経路を前記軌跡として、前記遠隔運転画面に表示させる請求項5に記載の遠隔装置。
  8.  前記撮像画像は、前記作業車両に設けられた運転席を囲う保護機構の内部又は外部に設けられた撮像装置にて当該作業車両の進行方向を撮像した画像である請求項1に記載の遠隔装置。
  9.  前記実績走行情報を少なくとも1つ以上記憶する記憶装置を備え、
     前記制御装置は、優先度情報に基づいて、前記記憶装置に記憶された前記実績走行経路を選択し、当該実績走行経路を前記軌跡として、前記遠隔運転画面に表示させる請求項5に記載の遠隔装置。
  10.  前記記憶装置は、前記実績走行情報を複数記憶しており、
     前記制御装置は、前記記憶装置に記憶された複数の前記実績走行情報のうちで、最新の実績走行情報を第1透過度の第1軌跡として前記表示装置に表示させると共に、前記最新の実績走行情報以外の実績走行情報を、前記第1透過度よりも透過度が高い第2透過度の第2軌跡として前記遠隔運転画面に表示させる請求項9に記載の遠隔装置。
  11.  作業車両と、請求項1~10の何れか1項に記載の遠隔装置と、を備え、
     前記作業車両は、当該作業車両の位置を検出する位置検出装置と、当該作業車両の進行方向を撮像する撮像装置と、前記位置検出装置にて検出された位置を示す位置情報と前記撮像装置にて撮像された撮像画像とを対応付けて送信する車載通信装置とを備え、
     前記遠隔装置は、前記位置情報と前記撮像画像とを受信する通信装置を備え、
     前記制御装置は、少なくとも前記作業車両の前記遠隔操縦中に、前記表示装置に前記実績走行情報を表示させる遠隔操縦システム。
PCT/JP2024/014953 2023-04-20 2024-04-15 遠隔装置および遠隔操縦システム Pending WO2024219350A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023069272 2023-04-20
JP2023-069272 2023-04-20

Publications (1)

Publication Number Publication Date
WO2024219350A1 true WO2024219350A1 (ja) 2024-10-24

Family

ID=93152397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/014953 Pending WO2024219350A1 (ja) 2023-04-20 2024-04-15 遠隔装置および遠隔操縦システム

Country Status (1)

Country Link
WO (1) WO2024219350A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126268A (ja) * 2018-01-22 2019-08-01 株式会社クボタ 農業支援装置及び農業支援システム
JP2022151102A (ja) * 2021-03-26 2022-10-07 国立研究開発法人農業・食品産業技術総合研究機構 作業車両の遠隔制御システム、遠隔操作装置および遠隔制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019126268A (ja) * 2018-01-22 2019-08-01 株式会社クボタ 農業支援装置及び農業支援システム
JP2022151102A (ja) * 2021-03-26 2022-10-07 国立研究開発法人農業・食品産業技術総合研究機構 作業車両の遠隔制御システム、遠隔操作装置および遠隔制御方法

Similar Documents

Publication Publication Date Title
JP7759366B2 (ja) 自動走行システム及び自動走行方法
JP7069364B2 (ja) 作業車両
US9836059B2 (en) Autonomous travel working vehicle
US9841768B2 (en) Autonomous travelling service vehicle
JP2025157492A (ja) 作業車両支援システム及び作業車両支援方法
US10324461B2 (en) Remote control apparatus
CN110806753B (zh) 并行行驶作业系统
US20220381920A1 (en) Obstacle Detection System
JP2025120310A (ja) 自動走行システム
WO2015178446A1 (ja) 作業車両の走行システム
CN106164800A (zh) 自主行驶作业车辆
WO2015119265A1 (ja) 走行制御システム
JP2019103422A (ja) 作業車両
JP6962166B2 (ja) 作業車両の遠隔操作システム
JP2018169826A (ja) 農用作業車両
JP7438718B2 (ja) 作業車両用の自動走行システム
US20250250779A1 (en) Working vehicle remote operation assistance system and remote control apparatus
JP7433189B2 (ja) 作業車監視システム
WO2024219350A1 (ja) 遠隔装置および遠隔操縦システム
WO2024219351A1 (ja) 遠隔装置および遠隔操縦システム
JP6815279B2 (ja) 作業走行機能診断装置
JP2022149796A (ja) 作業車両の遠隔制御システム、遠隔操作装置および遠隔制御方法
US20250251725A1 (en) Remote control assistance system for working machine, and remote apparatus
JP7055189B2 (ja) 作業走行機能診断装置
WO2021020333A1 (ja) 自動走行システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24792625

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025515214

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025515214

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2024792625

Country of ref document: EP