[go: up one dir, main page]

WO2023089996A1 - 作業機の遠隔制御システム - Google Patents

作業機の遠隔制御システム Download PDF

Info

Publication number
WO2023089996A1
WO2023089996A1 PCT/JP2022/038144 JP2022038144W WO2023089996A1 WO 2023089996 A1 WO2023089996 A1 WO 2023089996A1 JP 2022038144 W JP2022038144 W JP 2022038144W WO 2023089996 A1 WO2023089996 A1 WO 2023089996A1
Authority
WO
WIPO (PCT)
Prior art keywords
remote control
unit
signal
work machine
monitoring data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/038144
Other languages
English (en)
French (fr)
Inventor
悠 小山
享 梅本
新之助 石川
建 作田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to CN202280076770.7A priority Critical patent/CN118284863A/zh
Priority to AU2022393357A priority patent/AU2022393357A1/en
Priority to EP22895282.6A priority patent/EP4435547A4/en
Priority to JP2023561454A priority patent/JP7757419B2/ja
Publication of WO2023089996A1 publication Critical patent/WO2023089996A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2245Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
    • G05D1/2246Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality displaying a map of the environment
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/225Remote-control arrangements operated by off-board computers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/226Communication links with the remote-control arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/227Handing over between remote control and on-board control; Handing over between remote control arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/15Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/20Land use
    • G05D2107/21Farming, e.g. fields, pastures or barns
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles

Definitions

  • the present invention relates to a remote control system for a work machine that remotely controls a work machine that can travel.
  • the system disclosed in Patent Document 1 is known as a remote control system for working machines.
  • the remote control system for a work machine disclosed in Patent Document 1 includes an autonomous running work machine (work vehicle), a vehicle control device mounted on the work machine, and a remote control terminal (remote control device) capable of remotely operating the work machine. ) and are provided.
  • the remote control terminal is operated by a worker and wirelessly transmits a remote control signal indicating the work area of the field and the work content to the vehicle control device.
  • the vehicle control device controls the work machine based on the received remote control signal to cause the work machine to work or travel in the work area of the field.
  • the surroundings of the work machine are monitored by an obstacle sensor provided on the work machine and a camera provided on the work machine or the field. Obstacle sensor and camera monitoring data are transmitted to the remote control terminal and displayed on a display provided in the remote control terminal. The operator can remotely operate the work machine using the remote control terminal while grasping the surrounding conditions of the work machine by viewing the display on the display.
  • the technical means of the present invention for solving the above technical problems are characterized by the following points.
  • a remote control system for a work machine includes a monitoring device that monitors the surroundings of a work machine that can travel and outputs monitoring data indicating the monitoring result, and a first time stamp on the monitoring data.
  • a storage device capable of storing a plurality of pieces of the monitoring data together with the first time stamp added to the monitoring data; and receiving the monitoring data and displaying the monitoring result indicated by the monitoring data.
  • a remote control terminal capable of transmitting a remote control signal for remotely controlling the work machine when operated;
  • a second addition unit that adds a time stamp, a signal reception unit that receives the remote operation signal transmitted from the remote control terminal, and a control device that controls the operation of the work machine, wherein the signal reception unit and judging whether the remote control signal is appropriate based on the second time stamp added to the received remote control signal and the first time stamp added to the monitoring data stored in the storage device. Then, the remote control signal determined to be inappropriate is invalidated, and the control device controls the operation of the working machine based on the remote control signal determined to be appropriate by the signal receiving section.
  • the signal reception unit receives a first time that is the same as a second time indicated by the second time stamp added to the received remote control signal, or a second time that is earlier than the second time and closest to the second time.
  • the specific monitoring data to which the first time stamp indicating one hour is assigned and the latest monitoring data are acquired from the storage device, and a difference between the specific monitoring data and the latest monitoring data is detected.
  • the received remote control signal is determined to be appropriate, the remote control signal is transferred to the control device, and the control device receives the remote control signal and determining that the received remote control signal is inappropriate when the difference exceeds a predetermined level, invalidating the remote control signal,
  • the control device may be prevented from controlling the operation of the working machine based on the remote control signal.
  • the first adding unit may add the first time stamp indicating the current time to the monitoring data.
  • the second adding unit may add the second time stamp indicating the current time to the remote control signal when transmitting the remote control signal from the remote control terminal.
  • the remote control terminal has a display unit, can acquire the latest monitoring data from the storage device, and can display the monitoring result indicated by the monitoring data on the display unit, and the second providing unit can , referring to the first time stamp added to the monitoring data indicating the monitoring result displayed on the display unit when the remote control terminal is operated, and determining the same time as the first time indicated by the first time stamp;
  • the second time stamp indicating a second time may be added to the remote control signal.
  • the signal receiving unit determines that the received remote control signal is appropriate, the signal receiving unit enables the remote control signal by transferring it to the control device, and when it determines that the received remote control signal is not appropriate. , the remote operation signal may be invalidated by discarding it without transferring it to the control device.
  • the signal reception unit notifies the remote control terminal that the remote control signal has been invalidated, and the remote control terminal has a display unit, receives the notification from the signal reception unit, and receives the notification. may be displayed on the display unit.
  • the remote control terminal has an operation unit operated by an operator, generates the remote operation signal according to the operation instruction of the work machine input by operating the operation unit, and generates the signal reception unit. may determine whether the remote control signal is appropriate based on the operation instruction corresponding to the received remote control signal.
  • the remote control terminal has an operation unit operated by an operator, generates the remote operation signal according to the operation instruction of the work machine input by operating the operation unit, and generates the signal reception unit. determines whether the remote control signal is appropriate if the operation instruction in response to the received remote control signal is an operation instruction related to traveling of the work machine or work performed by a work device connected to the work machine. You may
  • the remote control system for the work machine includes a communication device that is provided in the work machine and performs wireless communication, and a support device that is provided other than the work machine and the remote control terminal.
  • the terminal has a first communication unit that communicates
  • the support device has a second communication unit that communicates with the communication device and the first communication unit
  • the monitoring device and the first grant unit may be provided in the work machine
  • the second application unit may be provided in the remote control terminal
  • the storage device and the signal reception unit may be provided in the support device.
  • the remote control system for the work machine includes a communication device that is provided in the work machine and performs wireless communication, and a support device that is provided other than the work machine and the remote control terminal.
  • the terminal has a first communication unit that communicates
  • the support device has a second communication unit that communicates with the communication device and the first communication unit
  • the monitoring device and the first grant unit may be provided in the work machine
  • the second application section may be provided in the remote control terminal
  • the storage device and the signal reception section may be provided in the work machine or the support device.
  • the communication device wirelessly communicates via a mobile phone communication network, a wide area network, or a narrow area network, and the first communication unit and the second communication unit are connected to the mobile phone communication network, the fixed telephone communication network, or the wide area network.
  • Communication may be wireless or wired through a network, or a local area network.
  • the remote control system for the working machine includes a communication device that is provided in the working machine and performs wireless communication, the remote control terminal has a first communication unit that performs communication, and the monitoring device and the first
  • the application unit, the storage device, and the signal reception unit may be provided in the work machine, and the second application unit may be provided in the remote control terminal.
  • the communication device wirelessly communicates via a mobile phone communication network, a wide area network, or a local area network
  • the first communication unit communicates with the mobile phone communication network, the fixed telephone communication network, the wide area network, or the local area network. Communication may be performed wirelessly or by wire through the .
  • the wide area network may consist of the Internet, and the narrow area network may consist of a local area network.
  • the work machine is an agricultural machine that performs farm work in a field
  • the monitoring device is provided in the agricultural machine, and has a camera or a sensor that detects an object around the agricultural machine.
  • the data may include image data of the surroundings of the agricultural machine captured by the camera or detection data indicating detection results of the sensor.
  • FIG. 1 is a schematic configuration diagram of a remote control system for a working machine according to one embodiment
  • FIG. FIG. 1B is a configuration diagram showing a partial detail of each part of FIG. 1A
  • 1B is a side view of the work machine of FIG. 1A
  • FIG. FIG. 1B is a block diagram showing an electrical configuration of the working machine of FIG. 1A
  • 1B is a block diagram showing an electrical configuration of the remote control terminal of FIG. 1A
  • FIG. 1B is a block diagram showing an electrical configuration of the support device of FIG. 1A
  • FIG. 1B is a diagram showing a remote monitoring operation screen displayed by the remote control terminal of FIG. 1A
  • FIG. 10 is a diagram showing a remote monitoring operation screen including an invalidation notification
  • 1C is a flow chart showing the operation of the control device, support device, and remote control terminal of the working machine of FIG. 1B
  • FIG. 7B is a continuation of the flow chart of FIG. 7A. It is the flow chart which showed operation of the support device of other embodiments.
  • FIG. 11 is a configuration diagram of a remote control system for a working machine according to another embodiment
  • FIG. 11 is a configuration diagram of a remote control system for a working machine according to another embodiment
  • FIG. 11 is a configuration diagram of a remote control system for a working machine according to another embodiment
  • FIG. 11 is a configuration diagram of a remote control system for a working machine according to another embodiment
  • FIG. 1A is a schematic configuration diagram of a work machine remote control system 100 according to one embodiment.
  • FIG. 1B is a configuration diagram showing partial details of each part in FIG. 1A.
  • a work machine remote control system 100 shown in FIGS. 1A and 1B includes a work machine 1 , a remote control terminal 30 , and a support device 40 .
  • the working machine 1 is composed of an agricultural machine capable of autonomously traveling and working (also referred to as an autonomous traveling agricultural machine) or the like.
  • the working machine 1 is a tractor, which is an example of an agricultural machine that performs farm work in a field.
  • the remote control terminal 30 is composed of a portable terminal device such as a tablet device or a smartphone, or a stationary terminal device installed in a base station (not shown). In this embodiment, the remote control terminal 30 is composed of a portable terminal device carried and operated by the operator 60 . The remote control terminal 30 is a device for remotely controlling (remotely operating and remotely monitoring) the working machine 1 .
  • the support device 40 is composed of a server, a PC (personal computer), or the like.
  • the support device 40 is installed, for example, in a manufacturing company of the work machine 1 or a management center.
  • the support device 40 supports remote control of the working machine 1 by the remote control terminal 30 . Further, the support device 40 manages various information and data for the working machine 1 to work in a field or the like.
  • the work machine 1 can be connected to the Internet 50 via a mobile phone communication network 51 or the like by the wireless communication device 23 (FIG. 1B) mounted on the work machine 1 .
  • the remote control terminal 30 can be connected to the Internet 50 via a mobile phone communication network 51 or the like using a communication unit 33 (FIG. 1B).
  • the support device 40 can be connected to the Internet 50 via a mobile telephone communication network 51 or a fixed telephone communication network 52 by means of a communication unit 43 (FIG. 1B) provided therein, which will be described later.
  • the wireless communication device 23 of the work machine 1 and the communication unit 33 of the remote control terminal 30 can be connected (accessed) to the support device 40 via the mobile phone communication network 51 or the fixed phone communication network 52 and the Internet 50 or the like.
  • the support device 40 communicates with the wireless communication device 23 of the work machine 1 and the communication unit 33 of the remote control terminal 30 via the mobile phone communication network 51 or the fixed phone communication network 52 and the Internet 50 by the communication unit 43. do.
  • the wireless communication device 23, the remote control terminal 30, and the support device 40 of the work machine 1 can be connected via a wireless or wired LAN, etc., in addition to the mobile phone communication network 51, the fixed phone communication network 52, and the Internet 50. They may communicate with each other.
  • Internet 50 is an example of a wide area network using a public communication network.
  • a LAN is an example of a local area network that uses dedicated communication lines.
  • FIG. 2 is a side view of the working machine 1.
  • the working machine 1 of the present embodiment is constructed by a tractor as shown in FIG.
  • the working machine 1 may be constituted by an agricultural machine, a construction machine, or a working vehicle other than a tractor.
  • the vehicle body 3 of the working machine 1 is provided with a traveling device 7 .
  • the traveling device 7 is provided on each of the left and right sides of the vehicle body 3 and supports the vehicle body 3 so as to be able to travel.
  • the traveling device 7 is a wheeled traveling device having front wheels 7F and rear wheels 7R made of tires.
  • a traveling device whose front wheels or rear wheels are crawlers may be used.
  • a motor 4, a transmission 5, and a cabin 9 are mounted on the vehicle body 3.
  • the prime mover 4 is composed of an engine (diesel engine, gasoline engine), an electric motor, or the like.
  • the transmission device 5 varies the propulsive force of the traveling device 7 and switches the traveling device 7 between forward and reverse by performing a speed change operation.
  • a driver's seat 10 and a control device 11 are provided in the cabin 9.
  • the work machine 1 is a tractor that can travel and work unmanned. However, the work machine 1 can also be controlled by a worker seated in the driver's seat 10 by operating the control device 11 .
  • the cabin 9 is a protective device that protects the driver's seat 10 by surrounding the driver's seat 10 in front, rear, upper and left and right sides. Instead of the cabin 9, a roof covering at least above the driver's seat 10 may be used.
  • the direction indicated by the arrow A2 is the rear of the working device 2.
  • the direction indicated by the arrow Z1 is the upper side of the work device 2 .
  • the direction indicated by the arrow Z2 is the downward direction of the working device 2.
  • a direction perpendicular to the arrows A1, A2, Z1, and Z2 is the width direction (horizontal direction) of the work implement 1 .
  • the front side of FIG. 2 is the left side of the working machine 1, and the back side is the right side of the working machine.
  • a connecting portion 8 is provided at the rear portion of the vehicle body 3 .
  • the connecting portion 8 is configured by a three-point link mechanism or the like.
  • the working device 2 can be detachably connected to the connecting portion 8 .
  • the working device 1 vehicle body 3
  • the working device 1 vehicle body 3
  • the working device 2 can be raised and lowered by the connecting portion 8, and the attitude of the working device 2 can be changed.
  • the work device 2 includes a tillage device for tilling, a fertilizer spraying device for spraying fertilizer, an agricultural chemical spraying device for spraying agricultural chemicals, a harvesting device for harvesting, a harvesting device for cutting pasture grass, a spreading device for spreading pasture grass, etc. It consists of a grass collecting device that collects pasture grass, a forming device that forms pasture grass, and the like.
  • a bonnet 12 is provided on the front side of the cabin 9.
  • the bonnet 12 is attached to the vehicle body 3 .
  • a storage room (not numbered) is formed between the bonnet 12 and the vehicle body 3 .
  • the housing room houses not only the prime mover 4 but also a cooling fan, a radiator, a battery, and the like (not shown).
  • FIG. 3 is a block diagram showing the electrical configuration of the working machine 1 shown in FIG. 1A and the like.
  • the work machine 1 is provided with a control device 21 , a wireless communication device 23 , a position detection device 24 , a monitoring device 25 , a state detection device 26 , an actuator group 27 , and a work device 2 .
  • These units are electrically connected by an in-vehicle communication network such as CAN, LIN, or FlexRay built in the work machine 1 .
  • the control device 21 is composed of an ECU (electronic control unit) including a CPU and memory.
  • the control device 21 controls the operation of each part of the work machine 1 .
  • the control device 21 is provided with a travel control unit 21b, a work control unit 21c, a first application unit 21d, and a storage unit 21e.
  • the storage unit 21e is composed of a volatile or nonvolatile memory or the like.
  • Various information and data for controlling the operation of each part of the working machine 1 by the control device 21 are stored in the storage part 21e in a readable and writable manner.
  • the travel control unit 21b, the work control unit 21c, and the first imparting unit 21d are configured by software programs or hardware.
  • the wireless communication device 23 communicates wirelessly via the mobile phone communication network 51 or the Internet 50.
  • the wireless communication device 23 can also perform wireless communication via a wireless LAN.
  • the position detection device 24 is installed, for example, in the upper part of the cabin 9 (Fig. 2) (detailed illustration is omitted). Note that the installation position of the position detection device 24 is not limited to the upper portion of the cabin 9 , and may be another location on the vehicle body 3 or a predetermined location on the working device 2 .
  • the position detection device 24 detects its own position (positioning information including latitude and longitude) using a satellite positioning system. That is, the position detection device 24 receives signals (position of the positioning satellite, transmission time, correction information, etc.) transmitted from the positioning satellite, and detects its own position based on the signal.
  • the position detection device 24 may detect, as its own position, a position corrected based on a signal such as a correction from a base station (reference station) capable of receiving signals from positioning satellites.
  • the position detection device 24 may have an inertial measurement device such as a gyro sensor or an acceleration sensor. In this case, the position detection device 24 may correct the position (latitude, longitude) detected based on the signals received from the positioning satellites by the inertial measurement device, and detect the corrected position as its own position. good. Position detection device 24 regards the detected position of itself as the position of work implement 1 . Alternatively, the position detection device 24 may calculate the position of the work implement 1 based on the detected own position and external shape information of the work implement 1 stored in advance. Further, the position detection device 24 calculates the position of the work device 2 based on the detected own position, pre-stored outline information of the work device 2 , and the mounting position of the work device 2 with respect to the vehicle body 3 . good too.
  • an inertial measurement device such as a gyro sensor or an acceleration sensor.
  • the position detection device 24 may correct the position (latitude, longitude) detected based on the signals received from the positioning satellites by the inertial measurement device
  • the monitoring device 25 has a laser sensor 25a, an ultrasonic sensor 25b, a camera 25c, and an object detection section 25d.
  • the laser sensor 25a, the ultrasonic sensor 25b, and the camera 25c are installed at appropriate locations such as the front, rear, left and right sides, or upper portion of the work machine 1 (detailed illustration is omitted). Detect condition. At least one of the laser sensor 25a, the ultrasonic sensor 25b, and the camera 25c may be provided in the monitoring device 25. In addition, the monitoring device 25 may be provided with detection means such as a sensor other than these.
  • the laser sensor 25a is an optical sensor such as a lidar (LiDAR: Light Detection And Ranging).
  • the laser sensor 25a emits pulsed measurement light (laser light) millions of times per second from a light source such as a laser diode, and the measurement light is reflected by a rotating mirror to scan in the horizontal or vertical direction. and emit light in a predetermined detection range (sensing range). Then, the laser sensor 25a receives the reflected light of the measurement light from the object with the light receiving element.
  • a lidar Light Detection And Ranging
  • the object detection unit 25d detects the presence or absence of the object, the position of the object, the type of the object, etc. based on the light receiving signal output from the light receiving element of the laser sensor 25a. Further, the object detection unit 25d detects the distance to the object based on the time from when the laser sensor 25a irradiates the measurement light to when the reflected light is received (TOF (Time of Flight) method). .
  • the objects detected by the object detection unit 25d include a site where the work machine 1 travels and works, a field, crops in the field, the ground, a road surface, other objects, obstacles, and people.
  • the ultrasonic sensor 25b consists of an airborne ultrasonic sensor such as sonar.
  • the ultrasonic sensor 25b transmits a measurement wave (ultrasonic wave) to a predetermined detection range by a transmitter, and receives a reflected wave of the measurement wave reflected by an object by a receiver.
  • the object detection unit 25d detects the presence or absence of the object, the position of the object, the type of the object, and the like based on the signal output from the wave receiver of the ultrasonic sensor 25b. Further, the object detection unit 25d detects the distance to the object based on the time from when the ultrasonic sensor 25b transmits the measurement wave to when the reflected wave is received (TOF method).
  • the camera 25c is an imaging device such as a CCD camera equipped with a CCD (Charge Coupled Devices) image sensor or a CMOS camera equipped with a CMOS (Complementary Metal Oxide Semiconductor) image sensor. .
  • Camera 25c captures an image of the surroundings of work implement 1 and outputs an image signal.
  • the object detection unit 25d detects the presence or absence of the object, the position of the object, the type of the object, and the like based on the image signal output from the camera 25c.
  • the monitoring device 25 monitors the surrounding conditions of the working machine 1 and the working device 2 by using the laser sensor 25a, the ultrasonic sensor 25b, the camera 25c, and the object detection unit 25d, and outputs monitoring data indicating the monitoring results to the control device. 21.
  • This monitoring data includes at least image data captured by the camera 25c and detection data of the object detected by the object detection unit 25d.
  • the first adding unit 21d adds a first time stamp to the monitoring data.
  • the control device 21 transmits the monitoring data with the first time stamp to the support device 40 via the wireless communication device 23 .
  • the transmission of the monitoring data and the first time stamp attached thereto by the control device 21 is performed at a predetermined cycle or in response to a request from the support device 40 .
  • the state detection device 26 includes various sensors installed in each part of the work machine 1 or the work device 2.
  • the state detection device 26 detects operating states such as traveling and working of the work machine 1 and the work device 2 based on the output signals from the various sensors. Further, the state detection device 26 acquires the positions (the position of the work implement 1 and the position of the work implement 2) detected by the position detection device 24 at a predetermined cycle, and changes (transition) of the positions are also detected by the work implement 1 and the position of the work implement 2. It is detected as the operating state of the work device 2 .
  • the state detection device 26 then generates motion detection data indicating detection results of the motion states of the work implement 1 and the work device 2 and outputs the motion detection data to the control device 21 .
  • the actuator group 27 includes an electric or hydraulic motor, a cylinder, a control valve, and the like for operating each part of the working machine 1 such as the traveling device 7, the transmission device 5, the prime mover 4, and the connecting portion 8. ing.
  • the travel control unit 21 b of the control device 21 operates predetermined actuators included in the actuator group 27 to drive the travel device 7 , the transmission device 5 , the prime mover 4 , and the like, thereby controlling travel of the work implement 1 .
  • the work control unit 21 c communicates with the control unit 2 a provided in the work device 2 and causes the control unit 2 a to control the operation of the work device 2 . That is, the work control section 21c controls the work performed by the work device 2 via the control section 2a.
  • the control device 21 controls the traveling control section based on the monitoring data output from the monitoring device 25, the motion detection data output from the state detection device 26, the position of the work implement 1 output from the position detection device 24, and the like. 21b controls the travel of the work machine 1, the work control part 21c controls the work operation, or controls other actions of the work machine 1 as well. Further, when the wireless communication device 23 receives a remote control signal transmitted from the remote control terminal 30, the control device 21, in addition to each of the above data, based on the remote control signal, the work machine 1 ( or to control travel, work motion, and other motions of the working device 2).
  • the object detection unit 25d detects that there is an object in the traveling direction of the work machine 1 or the movement direction of the work device 2. In such a case, the traveling device 7 or the working device 2 or the like is controlled to stop traveling or work to avoid collision with the object (collision avoidance operation).
  • FIG. 4 is a block diagram showing the electrical configuration of the remote control terminal 30 shown in FIG. 1A and the like.
  • the remote control terminal 30 is provided with a control section 31 , a storage section 32 , a communication section 33 and a display operation section 34 .
  • the control unit 31 is composed of a CPU and the like.
  • the control section 31 controls the operation of each section of the remote control terminal 30 .
  • the control unit 31 is provided with a second imparting unit 31d.
  • the second granting unit 31d is configured by a software program. As another example, the second provision unit 31d may be configured by hardware different from the control unit 31.
  • FIG. 1A The remote control terminal 30 is provided with a control section 31 , a storage section 32 , a communication section 33 and a display operation section 34 .
  • the control unit 31 is composed of a CPU and the like.
  • the control section 31 controls the operation of each section of the remote control terminal 30 .
  • the control unit 31 is provided with a second imparting unit 31d
  • the storage unit 32 is composed of a volatile or non-volatile memory or the like.
  • the storage unit 32 stores various information and data for the control unit 31 to control the operation of each unit of the remote control terminal 30 in a readable and writable manner.
  • the communication unit 33 performs wireless communication via the mobile phone communication network 51 or the Internet 50 .
  • the communication unit 33 can also perform wireless communication via a wireless LAN.
  • the display operation unit 34 is composed of, for example, a touch panel and hardware type switches. Information for remotely controlling the work machine 1 is displayed on the display operation unit 34 . In addition, an operation for remotely controlling the working machine 1 can be performed by the display operation unit 34 . As another example, instead of the display operation unit 34, the remote control terminal 30 may be provided with a separate display unit and an operation unit.
  • the control unit 31 When the operator 60 operates the display operation unit 34 to input an operation instruction for the work machine 1, the control unit 31 generates a remote operation signal corresponding to the operation instruction.
  • the second adding unit 31d adds a second time stamp to the generated remote control signal.
  • the control unit 31 transmits the remote control signal with the second time stamp to the support device 40 through the communication unit 33 .
  • FIG. 5 is a block diagram showing the electrical configuration of the support device 40 shown in FIG. 1A and the like.
  • the support device 40 is provided with a control section 41 , a storage device 42 and a communication section 43 .
  • the control unit 41 is composed of a CPU and the like.
  • the control unit 41 controls the operation of each unit of the support device 40 .
  • the control unit 41 is provided with a signal reception unit 41a.
  • the signal reception unit 41a has a digital filter 41b.
  • the signal reception unit 41a is configured by a software program.
  • the signal reception unit 41 a may be configured by hardware different from the control unit 41 .
  • the digital filter 41b may be configured separately from the signal reception section 41a.
  • the storage device 42 is composed of a non-volatile memory, hard disk, or the like.
  • a working database 42a and a monitoring database 42d are constructed.
  • the work database 42a stores (stores) a plurality of work data for the work machine 1 to perform work.
  • a plurality of pieces of monitoring data of the monitoring device 25 (FIG. 3) are stored (saved) in the monitoring database 42d.
  • the communication unit 43 performs wireless or wired communication via the mobile phone communication network 51 or the fixed phone communication network 52 and the Internet 50 .
  • the communication unit 43 can also communicate via a wireless or wired LAN.
  • the monitoring data transmitted from the wireless communication device 23 of the work machine 1 and the first time stamp attached thereto are received by the communication unit 43 of the support device 40 .
  • the control unit 41 stores (saves) the monitoring data received by the communication unit 43 and the first time stamp attached thereto in the monitoring database 42 d of the storage device 42 .
  • the monitoring data stored in the monitoring database 42 d of the storage device 42 and the work data stored in the work database 42 a are read by the control unit 41 in response to a request from the remote control terminal 30 and sent to the communication unit 43 . is transmitted to the remote control terminal 30 by .
  • the communication unit 43 also transmits the first time stamp attached to the monitoring data to the remote control terminal 30 .
  • a remote operation signal transmitted from the remote control terminal 30 is received by the communication unit 43 of the support device 40 and accepted by the signal reception unit 41a.
  • the signal reception unit 41a performs the received remote control operation based on the second time stamp added to the received remote control signal and the first time stamp added to the monitoring data stored in the monitoring database 42d of the storage device 42. Judge the suitability of the signal.
  • the communication unit 43 transfers the remote control signal to the wireless communication device 23 of the working machine 1 to validate it.
  • the signal receiving unit 41a determines that the received remote control signal is not appropriate, the signal receiving unit 41a invalidates the remote control signal by discarding it without transferring it.
  • the digital filter 41b filters image data (image signals) included in the monitoring data read from the monitoring database 42d.
  • FIG. 6A and 6B are diagrams showing a remote monitoring operation screen G1 displayed on the display operation unit 34 of the remote control terminal 30.
  • FIG. For example, when the operator 60 (FIG. 1B) performs a predetermined operation on the display operation unit 34, the control unit 31 executes an application program (hereinafter referred to as "remote control application") for remotely controlling the working machine 1. (activate) to display the remote monitoring operation screen G1 shown in FIG.
  • the remote monitoring operation screen G1 is provided with input fields J1 to J3, operation keys B1 to B6, display fields D1 and D2, and notification fields M1 and M2.
  • the operator 60 inputs the name of the farm field (field identification information) on which farm work is to be performed with the work machine 1 in the field input field J1, inputs the model of the work machine 1 (work machine identification information) in the model input field J2, and After inputting the type of agricultural work (work identification information) in the work input field J3, the decision key B1 is touched.
  • the control unit 31 reads from the storage unit 32 work data corresponding to the input contents of the input fields J1 to J3. If the work data corresponding to the input contents of the input fields J1 to J3 are not stored in the storage unit 32, the control unit 31 generates a work request signal corresponding to the input contents, and transmits the work request signal to the communication unit 33. is transmitted to the support device 40 by .
  • the control unit 41 reads the work data corresponding to the work request signal from the work database 42a (FIG. 5) and sends the work data to the remote control terminal 30. Send.
  • control unit 31 of the remote control terminal 30 When the control unit 31 of the remote control terminal 30 reads the work data from the storage unit 32 or receives the work data by the communication unit 33, the work information indicated by the work data is displayed in the work display column D1 of the remote monitoring operation screen G1. display. Further, when work data is received by the communication unit 33 , the control unit 31 causes the storage unit 32 to store the work data.
  • the work information displayed in the work display field D1 includes a field map MP2 indicating the field H1 input in the field input field J1 and a work input in the model input field J2 in the field H1. It includes a travel route L1 along which the machine 1 travels when performing the work input in the work input field J3.
  • the travel route L1 includes a straight portion L1a, a turning portion L1b, a start position Ps, and an end position Pg.
  • the start position Ps is a position where the work implement 1 starts traveling to perform work.
  • the straight portion L1a is a route on which the work device 2 performs work while the work implement 1 travels straight.
  • the turning portion L1b is a route along which the work implement 1 turns from one straight portion L1a toward the next straight portion L1a. While the work machine 1 is turning along the turning portion L1b, the work by the work device 2 is stopped.
  • the end position Pg is a position where the work implement 1 ends (stops) the work and travel.
  • the control unit 31 when the decision key B1 is touch-operated, the control unit 31 generates a monitoring request signal requesting monitoring data, and transmits the monitoring request signal to the support device 40 through the communication unit 33 .
  • the control unit 41 when the communication unit 43 receives the monitoring request signal, the control unit 41 reads the monitoring data corresponding to the monitoring request signal from the monitoring database 42d (FIG. 5), and the communication unit 43 transmits the monitoring data. Send to the remote control terminal 30 . At this time, the control unit 41 reads out the latest monitoring data and the first time stamp attached to the monitoring data from among the monitoring data stored in the monitoring database 42d, and transmits them through the communication unit 43. .
  • the control unit 31 causes the storage unit 32 to store the monitoring data and the first time stamp attached thereto, and then performs the monitoring indicated by the monitoring data.
  • the results are displayed in the display columns D2 and D1 and the notification column M2 of the remote monitoring operation screen G1.
  • control unit 31 causes the image captured by the camera 25c (FIG. 3) of the monitoring device 25 among the monitoring results indicated by the monitoring data to be displayed in the monitoring display column D2 as shown in FIG. 6A. Further, the control unit 31 displays a message indicating the detection result of the target object by the target object detection unit 25d (FIG. 3) in the monitor notification column M2. Furthermore, the control unit 31 displays a mark X1 indicating the position of the work implement 1 detected by the position detection device 24 in the work display field D1.
  • a bird's-eye view of the surroundings of the working machine 1 is displayed in the monitoring display field D2.
  • This bird's-eye view image is created by the control unit 31 based on the monitoring data.
  • the monitoring data includes images of the front, rear, left and right sides of the work machine 1 captured by the plurality of cameras 25c, and the control unit 31 detects the plurality of images and the images stored in advance.
  • a bird's-eye view image is created by synthesizing with the work machine image X2.
  • control unit 31 changes the image to be displayed in the monitoring display field D2, for example, the front image, the rear image, and the left image of the working machine 1 included in the monitoring data.
  • the image on the right side, the image on the right side, and the bird's-eye view image are switched in this order.
  • a message indicating the presence or absence of an object around the working machine 1 is displayed as the detection result of the object.
  • a message indicating that there is no object around work machine 1 is displayed in the monitoring notification column M2, but the message indicating that there is no object may not be displayed.
  • the distance to the object and the size of the object may also be displayed in the monitoring notification field M2.
  • the operation notification column M1 displays the detection result of the operation state of the working machine 1 and the like by the state detection device 26 (FIG. 3). Specifically, for example, the control unit 31 transmits an operation request signal requesting operation detection data indicating the detection result of the operation state of the work machine 1 to the support device 40 through the communication unit 33 . When the communication unit 43 receives the operation request signal, the control unit 41 of the support device 40 transfers the operation request signal to the control device 21 of the working machine 1 . When the operation request signal is received by the wireless communication device 23 , the control device 21 transmits the latest operation detection data output from the state detection device 26 to the support device 40 via the wireless communication device 23 .
  • the control unit 41 of the support device 40 transfers the motion detection data to the remote control terminal 30 .
  • the control unit 31 of the remote control terminal 30 displays the detection result of the operation state of the working machine indicated by the operation detection data in the operation notification field M1.
  • a message indicating whether or not remote control is to be executed is displayed in the action notification column M1.
  • the control unit 31 displays the detection result indicated by the motion detection data in the motion notification column M1, and updates the display contents of the motion notification column M1.
  • the traveling work start key B3 and the traveling work stop key B4 are examples of operation keys for remotely operating the work implement 1 .
  • the work machine 1 automatically travels and steers based on the travel route L1, and inputs an instruction to start the work by the work device 2. can be done.
  • an instruction to stop traveling and steering based on the traveling route L1 of the work machine 1 and work by the work device 2 can be input.
  • operation keys B3 and B4 include, for example, a travel key for inputting a travel instruction for the work machine 1, a stop key for inputting a stop instruction for the work machine 1, and a turn key for inputting a turning instruction for the work machine 1. , an elevating key for inputting an up/down instruction for the work device 2, a motor start key for inputting a start instruction for the motor 4 for warming up the work machine 1, or an input for inputting a stop instruction for the motor 4.
  • a motor stop key and the like are included.
  • the operator 60 operates the operation keys B2 and B3 for remote operation of the work machine 1 while viewing the work information and monitoring results displayed in the display columns D1 and D2 and the notification column M1 of the remote monitoring operation screen G1. , an operation instruction for the work machine 1 can be input.
  • FIG. 7A and 7B are flowcharts showing the operations of the control device 21, support device 40, and remote control terminal 30 of the work machine 1 of the first embodiment.
  • the monitoring device 25 of the working machine 1 outputs monitoring data indicating, for example, the results of monitoring the surroundings of the working machine 1 to the control device 21 at a predetermined cycle.
  • the first adding unit 21d adds a first time stamp to the monitoring data (S2).
  • the first adding unit 21d adds, for example, a first time stamp indicating the current time to the monitoring data.
  • the current time here is the time when the control device 21 acquires the monitoring data, the time when the control device 21 gives the first time stamp, or the like.
  • the control device 21 transmits the monitoring data with the first time stamp to the support device 40 through the wireless communication device 23 together with the first time stamp (S3).
  • control unit 41 of the support device 40 acquires the monitoring data from the communication unit 43 (S4), it stores (saves) the monitoring data together with the first time stamp attached thereto in the monitoring database 42d of the storage device 42 ( S5).
  • control device 21 of the working machine 1 does not receive the remote control signal (S21 in FIG. 7B: NO), it repeatedly executes the processes S1 to S3 and the process S21 in FIG. 7A.
  • control unit 41 of the support device 40 does not receive the remote control signal (S17 in FIG. 7B: NO)
  • the control unit 41 repeatedly executes the above-described processes S4 and S5 in FIG. 7A, the processes S9 and S10 described later, and the process S17.
  • the monitoring data indicating the results of monitoring the working machine 1 and the surroundings of the working machine periodically output from the monitoring device 25 is stored in the monitoring database 42d of the support device 40 along with the first time stamp attached thereto. (saved) to accumulate the monitoring data.
  • the control unit 31 of the remote control terminal activates the remote control application and displays the remote monitoring operation screen G1 on the display operation unit 34 (S6 in FIG. 7A), the work corresponding to the input contents of the input fields J1 to J3 is performed.
  • the data is acquired from the storage unit 32 or the support device 40, and the work content indicated by the work data is displayed on the display operation unit 34 (S7).
  • the control unit 31 transmits a monitoring data request signal to the support device 40 through the communication unit 33 (S8). At this time, the control unit 31 may also transmit a motion detection data request signal to the support device 40 via the communication unit 33 .
  • the control unit 41 of the support device 40 reads out the latest monitoring data from the monitoring database 42d based on the request signal, and communicates the monitoring data. It is transmitted to the remote control terminal 30 by the unit 43 (S10).
  • control unit 31 of the remote control terminal 30 When the control unit 31 of the remote control terminal 30 receives the monitoring data through the communication unit 33 (S11), it displays the monitoring results indicated by the monitoring data in the display columns D1 and D2 and the notification column M1 of the remote monitoring operation screen G1 ( S12).
  • the control unit 31 repeatedly executes the above-described processes S8, S11, S12 and S13 in FIG. 7A. Every time the control unit 41 of the support device 40 receives a request signal for monitoring data (S9 in FIG. 7A: YES), it reads the latest monitoring data from the monitoring database 42d and transmits it to the remote control terminal 30 (S10). . As a result, the work machine 1 and the monitoring result of the surroundings of the work machine 1 displayed on the remote monitoring operation screen G1 of the remote control terminal 30 are updated as needed.
  • the control unit 31 determines that an operation instruction for the work machine 1 has been input (S13 in FIG. 7B: YES), and generates a remote control signal corresponding to the operation instruction (S14).
  • the second adding unit 31d adds a second time stamp to the generated remote control signal (S15). At this time, the second adding unit 31d adds, for example, a second time stamp indicating the current time to the remote control signal.
  • the current time is the time when the control unit 31 generated the remote control signal, the time when the control unit 31 gives the second time stamp, or the like.
  • the second assigning unit 31d attaches the first data indicating the monitoring results displayed in the display fields D1 and D2 and the notification field M1 when the operation keys B2 and B3 for remote control are operated, for example.
  • the time stamp is referred to, and a second time stamp indicating the same second time as the first time indicated by the first time stamp is given to the remote control signal.
  • the control unit 31 transmits the remote control signal to which the second time stamp is given to the support device 40 through the communication unit 33 together with the second time stamp (S16).
  • the signal reception unit 41a receives the remote control signal and determines whether the remote control signal is appropriate (S18). ). At this time, the signal receiving unit 41a selects a first time that is the same as the second time indicated by the second time stamp added to the received remote control signal, or a first time that is earlier than the second time and closest to the second time. Specific monitoring data with a first time stamp indicating time and the latest monitoring data are read from the monitoring database 42d.
  • the signal reception unit 41a applies the read specific monitoring data and the latest monitoring data to the digital filter 42b, respectively, compares the specific monitoring data and the latest monitoring data, and finds the difference between the two data. To detect.
  • the specific monitoring data and the latest monitoring data By applying the specific monitoring data and the latest monitoring data to the digital filter 42b, noise can be removed from both data, and differences smaller than a predetermined value can be ignored.
  • the signal receiving unit 41a compares the same type of monitoring data of both of the monitoring data to detect the difference. That is, the image data of the camera 25c, the detection data of the laser sensor 25a, the detection data of the ultrasonic sensor 25b, and the detection data of the object detection unit 25d are compared with each other, and the difference between each data is detected. . At least one of the image data of the camera 25c, the detection data of the laser sensor 25a, the detection data of the ultrasonic sensor 25b, and the detection data of the object detection unit 25d is compared, A difference may be detected.
  • the monitoring result (monitoring data) of the surroundings of the working machine 1 displayed on the remote control terminal 30 and the remote control terminal The real-time nature of the remote control signal transmitted from 30 is ensured to some extent.
  • the signal reception unit 41a of the support device 40 receives the remote control signal.
  • the specific monitoring data and the latest monitoring data are read from the monitoring database 42d.
  • the surrounding state of the working machine 1 indicated by the specific monitoring data read at this time (that is, the monitoring data displayed on the remote control terminal 30) and the working machine indicated by the latest monitoring data 1 surrounding conditions will be substantially equivalent, objects not shown in the specific monitoring data will not be shown in the latest monitoring data.
  • the signal reception unit 41a receives the remote control signal and reads the specific monitoring data and the latest monitoring data from the monitoring database 42d. At this time as well, the change in the state of the surroundings of work implement 1 indicated by the latest monitoring data with respect to the state of the surroundings of work implement 1 indicated by the read specific monitoring data is small. Objects not represented by are not represented by the latest monitoring data.
  • the difference between the specific monitoring data detected by the signal reception unit 41a and the latest monitoring data that is, the relevant
  • the difference between the image data of the camera 25c, the detection data of the laser sensor 25a, the detection data of the ultrasonic sensor 25b, and the detection data of the object detection unit 25d included in both monitoring data is small, and the difference is predetermined. does not exceed the degree (threshold) of
  • the predetermined degree (threshold value) with which the signal receiving unit 41a compares the difference with the difference while the work machine 1 is stopped It may be set larger than the predetermined degree to be compared.
  • the signal reception unit 41a detects data detected by the laser sensor 25a, detected data detected by the ultrasonic sensor 25b, or detected by the object detection unit 41a, among the specific monitoring data and the latest monitoring data.
  • the difference between the detection data of 25d may be detected and compared with a predetermined degree, and the difference between the image data of the camera 25c may not be detected and compared with the predetermined degree.
  • the specific monitoring data read from the monitoring database 42d by the signal reception unit 41a and It may be the same as the latest monitoring data. Even in this case, the difference between the specific monitoring data detected by the signal reception unit 41a and the latest monitoring data does not exceed a predetermined level.
  • the signal reception unit 41a determines that the received remote control signal is appropriate (S19: YES), and transmits the remote control signal to the control device of the working machine 1. 21 to be validated (S20).
  • the travel control unit 21b or the work control unit 21c controls the work machine 1 (or the work machine 1) based on the remote control signal.
  • the operation of the device 2) is controlled (S22). That is, the control device 21 is permitted to control the operation of the work machine 1 or the work device 2 based on the remote control signal transmitted from the remote control terminal 30, and the work machine 1 or the work device 2 responds to the remote control signal. Execute the corresponding action.
  • the work data is also sent to the remote control terminal 30 together with the remote control signal. (S16 in FIG. 7B). Then, when the remote control signal is validated by the signal reception unit 41a of the support device 40 (S20), the wireless communication device 23 of the working machine 1 receives the work data together with the remote control signal (S21: YES). Therefore, the control device 21 controls the operation of the work implement 1 or the work device 2 by the travel control portion 21b or the work control portion 21c based on the received remote control signal and the travel route L1 included in the work data. Agricultural work is performed on a field by the working device 2 while automatically traveling and steering the working machine 1 . As another example, the control device 21 may acquire (receive) work data from the support device 40 at a predetermined timing.
  • the remote control terminal 30 transmits a remote control signal based on the traveling work start key B3, and while the work machine 1 is traveling, the remote control terminal 30 transmits a remote control signal based on the turning key.
  • the signal reception unit 41a receives the remote operation signal and reads specific monitoring data and the latest monitoring data from the monitoring database 42d.
  • Objects that are not indicated by the specific monitoring data read at this time may be indicated by the latest monitoring data.
  • the change in the state around the work implement 1 indicated by the latest monitoring data becomes greater than the state around the work implement 1 indicated by the specific monitoring data.
  • the signal reception unit 41a determines that the received remote control signal is not appropriate (S19: NO), and does not transfer the remote control signal to the control device 21. is invalidated by discarding it (S23). Then, the signal reception unit 41a transmits an invalidation notification (signal) indicating that the remote operation signal has been invalidated to the remote control terminal 30 through the communication unit 43 (S24). This prevents the control device 21 from controlling the operation of the working machine based on the remote control signal transmitted from the remote control terminal 30 .
  • control unit 31 of the remote control terminal 30 When the control unit 31 of the remote control terminal 30 receives the invalidation notification from the communication unit 33 (S25), it displays the content of the invalidation notification in the operation notification field M1 (S26). Specifically, the control unit 31 displays a message indicating that the remote operation indicated by the invalidation notification (input operation instruction for the working machine 1) has been invalidated in the operation notification field M1 as shown in FIG. 6B. Thereby, the operator 60 can recognize that the inputted operation instruction for the work machine 1, that is, the remote operation has not been executed.
  • the signal reception unit 41a of the support device 40 detects the second time indicated by the second time stamp added to the remote control signal and the first time added to the monitoring data stored in the monitoring database 42d. Specific monitoring data and the latest monitoring data are read from the monitoring database 42d based on the first time indicated by the stamp, and the appropriateness of the remote control signal is determined based on the difference between them.
  • the method for judging whether the remote control signal is appropriate is not limited to this, and the following judging method may be employed.
  • the signal reception unit 41a judges the propriety of the remote control signal. Specifically, if the time difference between the second time indicated by the second time stamp of the remote control signal and the first time indicated by the first time stamp of the latest monitoring data is less than a predetermined time, the delay time is short. Therefore, the signal reception unit 41a determines that the remote control signal is appropriate. Further, if the time difference between the second time and the first time is equal to or greater than the predetermined time, the delay time is long, so the signal reception unit 41a determines that the remote control signal is inappropriate.
  • the signal reception unit 41a determines whether the remote control signal is appropriate based on the operation instruction corresponding to the received remote control signal. Specifically, for example, if the operation instruction corresponding to the received remote control signal while the working machine 1 is traveling is an instruction to stop the traveling of the working machine 1, the signal receiving unit 41a does not cause the remote operation to stop the traveling of the working machine 1 because the risk is small. Decide that the signal is appropriate. Further, even if the operation instruction corresponding to the received remote control signal is an instruction to start the prime mover 4 or an operation instruction unrelated to traveling and work of the work machine 1, the signal reception unit 41a does not cause any risk. Since it is small, it is determined that the remote control signal is appropriate.
  • the signal reception unit 41a is configured so that the risk is high if the work implement 2 lands on the ground. It is determined that the operation signal is not appropriate.
  • the signal reception unit 41a may determine whether the remote control signal is appropriate.
  • FIG. 8 is a flow chart showing the operation of the support device 40 of another embodiment.
  • the signal reception unit 41a receives the remote control signal (S18a), and an operation instruction corresponding to the remote control signal is issued. , and confirms whether or not it is an operation instruction related to the traveling of the working machine 1 or the work performed by the working device 2 .
  • the signal reception unit 41a receives the remote operation signal. Suitability is determined (S18c).
  • the signal reception unit 41a The remote control signal is validated by transferring it to the control device 21 of the working machine 1 without judging whether the control signal is appropriate or not (S20).
  • Each process of the other support device 40 is the same as each process described with reference to FIGS. 7A and 7B.
  • the output of monitoring data from the monitoring device 25, the transmission of monitoring data or motion detection data from the wireless communication device 23, or the transmission of monitoring data or motion detection data from the support device 40 are performed or received at predetermined intervals. It may be performed in response to a request from the device that performs the processing.
  • FIGS. 9 to 11 are configuration diagrams of a work machine remote control system 100 according to another embodiment.
  • the work machine 1 is provided with a storage device 22 in which a monitoring database 22d is constructed. That is, the support device 40 is not provided with the monitoring database 22d. Installation locations of other configurations are the same as in the embodiment shown in FIGS. 1B to 5 .
  • the monitoring data output from the monitoring device 25 of the work machine 1 to the control device 21 is added with a first time stamp by the first adding unit 21 d , and then is stored in the monitoring database 22 d of the storage device 22 by the control device 21 .
  • the remote control terminal 30 transmits a first monitoring request signal requesting monitoring data to the support device 40 via the communication unit 33 .
  • the support device 40 receives the first monitoring request signal through the communication unit 43 and transfers it to the wireless communication device 23 of the working machine 1 .
  • the control device 21 reads monitoring data (latest monitoring data) from the monitoring database 22 d in response to the first monitoring request signal received by the wireless communication device 23 , and sends the monitoring data to the support device 40 via the wireless communication device 23 .
  • Send to The support device 40 receives the monitoring data through the communication unit 43 and transfers the monitoring data to the remote control terminal 30 .
  • the signal reception unit 41a of the support device 40 when the signal reception unit 41a of the support device 40 receives a remote control signal transmitted from the remote control terminal 30 via the communication unit 43, it requests monitoring data corresponding to the remote control signal.
  • a second monitoring request signal is transmitted to the control device 21 of the work implement 1 by the communication unit 43 .
  • the control device 21 reads the monitoring data requested by the second monitoring request signal from the monitoring database 22d.
  • the first time is the same as the second time indicated by the second time stamp attached to the remote operation signal that is the basis (triggering) of transmitting the second monitoring request signal, or is earlier than the second time, and Specific monitoring data with a first time stamp indicating a first time closest to the second time and the latest monitoring data are read from the monitoring database 22d by the controller 21 . Then, when these monitoring data are transmitted by the wireless communication device 23 to the support device 40 , the signal reception unit 41 a acquires the monitoring data via the communication unit 43 .
  • the operation of other units is the same as the operation of each unit described with reference to FIGS. 1A to 8.
  • the work database 42a shown in FIG. 5 may also be constructed in the storage device 22 of the work machine 1 without being provided in the support device 40 (not shown).
  • the work data in the work database 42a constructed in the storage device 22 is transferred from the storage device 22 of the work machine 1 to the remote control terminal 30 via the support device 40 in the same procedure as the monitoring data described above. sent.
  • the signal reception section 41 a ( FIG. 5 , etc.) is not provided in the support device 40 , but the signal reception section 21 a is provided in the work machine 1 . Installation locations of other configurations are the same as in the embodiment shown in FIGS. 1B to 5 .
  • a remote control signal transmitted from the remote control terminal 30 is received by the wireless communication device 23 of the work machine 1 via the communication section 43 of the support device 40 and accepted by the signal reception section 21a. Then, the signal reception unit 21 a transmits a second monitoring request signal requesting monitoring data corresponding to the received remote control signal to the support device 40 via the wireless communication device 23 .
  • the control unit 41 of the support device 40 reads the monitoring data requested by the second monitoring request signal from the monitoring database 42 d of the storage device 42 .
  • the first time is the same as the second time indicated by the second time stamp added to the remote control signal that is the basis of the second monitoring request signal, or is earlier than the second time and closest to the second time.
  • Specific monitoring data to which a first time stamp indicating a first time is assigned and the latest monitoring data are read out from the monitoring database 42d by the control unit 41 . These monitoring data are transmitted to the wireless communication device 23 by the communication unit 43 , and the signal receiving unit 21 a acquires (receives) the monitoring data from the wireless communication device 23 .
  • the signal receiving unit 21a acquires the specific monitoring data and the latest monitoring data as described above, the signal receiving unit 21a obtains the difference between the specific monitoring data and the latest monitoring data in the same manner as the signal receiving unit 41a (FIG. 5, etc.).
  • the appropriateness of the remote control signal is determined based on the difference, and the remote control signal is validated or invalidated according to the determination result.
  • the control device 21 controls the operation of the working machine 1 and the working device 2 by the traveling control section 21b or the work control section 21c based on the remote control signal validated (determined as appropriate) by the signal receiving section 21a. .
  • the operation of other units is the same as the operation of each unit described with reference to FIGS. 1A to 8.
  • support device 40 relays a first monitoring request signal, monitoring data, a remote control signal, etc. between wireless communication device 23 of working machine 1 and remote control terminal 30 .
  • the communication unit 43 of the support device 40 communicates with the wireless communication device 23 of the work machine 1 and the remote control terminal 30 via the mobile phone communication network 51 , the fixed phone communication network 52 , or the LAN (local area network) 53 and the Internet 50 . communicates with the communication unit 33 of each other wirelessly or by wire.
  • the operation of other units is the same as the operation of each unit described with reference to FIGS. 1A to 8 or 9.
  • FIG. 11 support device 40 relays a first monitoring request signal, monitoring data, a remote control signal, etc. between wireless communication device 23 of working machine 1 and remote control terminal 30 .
  • the communication unit 43 of the support device 40 communicates with the wireless communication device 23 of the work machine 1 and the remote control terminal 30 via the mobile phone communication network 51 , the fixed phone communication network 52 , or the LAN (local area network) 53 and the Internet 50 .
  • the support device 40 is included in the work machine remote control system 100, but the support device is omitted as in the work machine remote control system 100 of another embodiment shown in FIG. good too.
  • the wireless communication device 23 of the work machine 1 and the remote control terminal 30 are connected via the LAN 53, the mobile phone communication network 51, the fixed phone communication network 52, the Internet 50, or the like. Communicate wirelessly.
  • the work machine 1 is provided with a storage device 22 and a signal reception section 21a.
  • the remote control terminal 30 transmits a monitoring request signal requesting monitoring data to the wireless communication device 23 of the working machine 1 through the communication section 33 .
  • the control device 21 of the working machine 1 reads the monitoring data from the monitoring database 22 d of the storage device 22 and transmits it to the remote control terminal 30 via the wireless communication device 23 .
  • the work data stored in the work database 22a is also transmitted from the wireless communication device 23 to the remote control terminal 30 in the same procedure as the monitoring data.
  • the remote control terminal 30 transmits a remote control signal to the wireless communication device 23 through the communication unit 33 .
  • the signal reception unit 21a receives the remote control signal
  • the first time is the same as the second time indicated by the second time stamp attached to the remote control signal, or Specific monitoring data with a first time stamp indicative of a first time that is earlier than the second time and closest to the second time, and the latest monitoring data are read from the monitoring database 22d.
  • the signal receiving unit 21a determines whether the received remote control signal is appropriate based on the difference between the specific monitoring data and the latest monitoring data, and depending on the result of the determination, validates or activates the remote control signal. Disable.
  • the operation of other units is the same as the operation of each unit described with reference to FIGS. 1A to 8, 9, or 10.
  • the wireless communication device 23 of the work machine 1 and the remote control terminal 30 can communicate, for example, an infrared signal, a BLU (Bluetooth (registered trademark) Low Energy) signal, or a UHF ( A short-range wireless signal such as an Ultra High Frequency signal may be used to directly communicate the monitoring data and the remote control command.
  • the wireless communication device 23 and the remote control terminal 30 may each be provided with an interface for short-range wireless communication.
  • Other configurations may be the same as those shown in FIG.
  • the monitoring data transmitted to the remote control terminal 30 includes image data of the surroundings of the working machine 1 captured by the camera 25c is shown. and the object detection unit 25d, the data indicating the surrounding state of the work machine 1, etc., may be transmitted from the wireless communication device 23 of the work machine 1 or the support device 40 to the remote control terminal 30 as monitoring data. good.
  • the remote control terminal 30 may be provided with a display unit 38 as shown in FIG.
  • the display unit 38 shown in FIG. 13 may be, for example, a screen displayed on a touch panel, or may be formed on the surface of the remote control terminal 30 by processing such as printing and molding.
  • the printed characters and the indicator lamps 39a to 39k (circles shown in FIG. 13) constitute the display field D2a and the notification fields M1a and M2a, respectively, and push button type operation keys B3a and B4a are provided. Just do it.
  • the indicator lamps 39a to 39k are composed of LEDs or the like.
  • the remote controller that receives the monitoring data including the detection result
  • the control unit 31 of the control terminal 30 turns on the indicator lamps 39a to 39h of the display field D2a corresponding to the direction of the object (indicated by hatching). Further, the control unit 31 lights the indicator lamps 39i and 39j of the corresponding notification column M1a in order to notify whether the working machine 1 and the working device 2 are stopped or working as the vehicle state. Let In addition, the control unit 31 lights the indicator lamp 39k of the corresponding notification column M2a in order to notify that the remote control signal has been invalidated.
  • the travel work start key B3a is operated to input a start instruction for performing work by the work device 2 while the work machine 1 automatically travels and steers based on the travel route L1.
  • the travel work stop key B4a is operated to input a stop instruction to perform work by the work device 2 while the work implement 1 automatically travels and steers based on the travel route L1.
  • the remote operation signal determined to be inappropriate by the signal reception unit 41a is invalidated by discarding it without being transferred to the control device 21, but the method of invalidation is limited to this. isn't it.
  • a remote control signal determined to be inappropriate by the signal reception unit 41a may be returned to the remote control terminal 30 instead of the control device 21 together with an error message.
  • the predetermined memory in the storage unit 21e FIG.
  • control device 21 By turning ON a flag (referred to as a "remote control prohibition flag") for prohibiting operation control of the work machine 1 (or work device 2) based on the remote control signal, the remote control signal can be invalidated. good.
  • a flag referred to as a "remote control prohibition flag”
  • control device 21 does not control the operation of work implement 1 or the like based on the remote control signal received by wireless communication device 23 .
  • the signal reception unit 21a may turn off the remote control prohibition flag when a predetermined time has passed since the remote control prohibition flag was turned on, or when the next remote control signal is received.
  • the monitoring device 25 is provided in the work machine 1, but in addition to this, for example, the work machine 1 and the surroundings of the work machine 1 can be monitored at a site where the work machine 1 is working (such as a field).
  • a monitoring device may also be provided.
  • the monitoring device is provided with a communication unit that performs wireless communication, and the monitoring data indicating the monitoring result of the monitoring device is transmitted by the communication unit to the wireless communication device 23 of the work machine 1, the remote control terminal 30, or the You may make it transmit to the support apparatus 40.
  • the wireless communication device 23 of the work machine 1, the communication unit 33 of the remote control terminal 30, or the communication unit 43 of the support device 40 is connected to the mobile phone communication network 51, the fixed phone communication network 52, the Internet 50, or An example of mutual communication via the LAN 53 has been shown, but the communication network is not limited to this.
  • the wireless communication device 23 and The communication units 33 and 43 may communicate with each other.
  • the above communication network and other communication networks may be combined so that the wireless communication device 23 and the communication units 33 and 43 communicate with each other.
  • the work machine remote control system 100 of the present embodiment described above has the following configuration, and is effective.
  • the working machine remote control system 100 of the present embodiment includes a monitoring device 25 that monitors the surroundings of the work machine 1 that can travel, outputs monitoring data indicating the monitoring result, and adds a first time stamp to the monitoring data.
  • storage devices 42 and 22 capable of storing a plurality of pieces of monitoring data together with a first time stamp added to the monitoring data; and receiving the monitoring data and displaying the monitoring results indicated by the monitoring data.
  • a remote control terminal 30 that transmits a remote control signal for remotely controlling the work machine 1 by being operated; a second applying unit 31d for applying a stamp; signal receiving units 41a and 21a for receiving remote operation signals transmitted from the remote control terminal 30;
  • the units 41a and 21a determine the propriety of the remote control signal based on the second time stamp added to the received remote control signal and the first time stamp added to the monitoring data stored in the storage devices 42 and 22. and invalidates the remote control signal determined to be inappropriate, and the control device 21 controls the operation of the work implement 1 based on the remote control signal determined to be appropriate by the signal receiving units 41a and 21a. .
  • the signal reception units 41a and 21a receive the remote operation signal, and the second time stamp of the remote operation signal and Based on the first time stamp of the monitoring data in the storage devices 42, 22, the suitability of the remote control signal is determined. Then, the signal reception units 41a and 21a invalidate the remote operation signal determined to be inappropriate. Therefore, useless (meaningless) operation of the work implement 1 based on an inappropriate remote control signal caused by communication delay can be avoided. Also, for example, when an obstacle (object) not shown in the monitoring data displayed on the remote control terminal 30 appears around the actual working machine 1, inappropriate remote operation due to communication delay may occur.
  • control device 21 controls the operation of the working machine 1 based on the remote control signal determined to be appropriate by the signal receiving units 41a, 21a, so that the working machine 1 can be operated effectively and stably. Become.
  • the signal reception units 41a and 21a receive the signal at a first time that is the same as the second time indicated by the second time stamp added to the received remote control signal, or at the second time that is earlier than the second time.
  • Specific monitoring data to which a first time stamp indicating the closest first time and the latest monitoring data are acquired from the storage devices 42, 22, and the difference between the specific monitoring data and the latest monitoring data is detected, and if the difference does not exceed a predetermined level, the received remote operation signal is determined to be appropriate, the remote operation signal is transferred to the control device 21, and the control device 21 detects the remote operation allowing the operation of the working machine 1 to be controlled based on the signal, judging that the received remote control signal is inappropriate when the difference exceeds a predetermined level, invalidating the remote control signal, Control device 21 is prevented from controlling the operation of work implement 1 based on the remote control signal.
  • the remote control terminal 30 remotely controls the work machine 1
  • a communication delay occurs, and an obstacle ( object) is indicated by the latest monitoring data stored in the storage device 22, that is, when there is an obstacle around the actual working machine 1, the monitoring data displayed on the remote control terminal 30 and the The difference between the equivalent specific monitoring data and the latest monitoring data exceeds a predetermined degree.
  • the signal reception units 41a and 21a determine that the received remote control signal is not appropriate and invalidate the remote control signal, so that the work machine 1 (or the work device 2) can operate based on the remote control signal. It is possible to avoid colliding with an obstacle by taking action (such as starting running or working).
  • the remote control signal received by the signal receiving units 41a and 21a is invalidated, so that the working machine 1 is prevented from operating wastefully based on the remote control signal. can do.
  • each time monitoring data is acquired from the monitoring device 25, the first adding unit 21d adds a first time stamp indicating the current time to the monitoring data.
  • the first time stamp indicating the current time to the monitoring data.
  • the second adding unit 31d adds a second time stamp indicating the current time to the remote control signal.
  • the second time stamp including unique time information.
  • the monitoring data to which the first time stamp equal to the transmission time of the remote control signal is added can be easily read out from the storage devices 42 and 22 .
  • the remote control terminal 30 has a display unit (display operation unit) 34, acquires the latest monitoring data from the storage devices 42 and 22, and displays the monitoring results indicated by the monitoring data on the display unit.
  • the second adding unit 31d refers to the first time stamp added to the monitoring data indicating the monitoring result displayed on the display unit 34 when the remote control terminal 30 is operated, and A second time stamp indicating the same second time as the first time indicated by the one time stamp is added to the remote control signal.
  • the signal reception units 41a and 21a must reliably acquire specific monitoring data corresponding to the monitoring data displayed on the display unit 34 from the storage devices 42 and 22. can be done.
  • the signal reception units 41a and 21a determine that the received remote operation signal is appropriate, the signal reception units 41a and 21a transfer the remote operation signal to the control device 21 to validate the received remote operation signal. is not appropriate, the remote control signal is not transferred to the control device 21 but is discarded to be invalidated. Accordingly, even if a communication delay occurs during remote control of the work machine 1 by the remote control terminal 30, the control device 21 can control the operation of the work machine 1 based on an appropriate remote control signal. Also, it is possible to reliably prevent the control device 21 from controlling the operation of the work implement 1 based on an inappropriate remote control signal.
  • the signal reception units 41a and 21a notify the remote control terminal 30 that the remote control signal has been disabled, and the remote control terminal 30 has a display unit (display operation unit) 34, Upon receiving the notification from the signal reception units 41a and 21a, the content of the notification is displayed on the display unit 34.
  • FIG. As a result, the operator 60 sees the display unit 34 of the remote control terminal 30, and the remote control signal corresponding to the input operation instruction for the work machine 1 is invalidated, and the operation is not executed by the work machine 1. can be easily grasped.
  • the remote control terminal 30 has an operation unit (display operation unit) 34 operated by the operator 60, and an operation instruction for the work machine 1 input by operating the operation unit 34 is displayed.
  • the signal receiving units 41a and 21a determine whether the remote control signal is appropriate based on the operation instruction corresponding to the received remote control signal. As a result, the propriety of all the remote control signals received by the signal receiving units 41a and 21a is not judged. , the control device 21 can quickly control the operation of the working machine 1 .
  • the remote control terminal 30 has an operation unit (display operation unit) 34 operated by the operator 60, and an operation instruction for the work machine 1 input by operating the operation unit 34 is displayed.
  • the signal receiving units 41a and 21a generate a remote control signal corresponding to the received remote control signal
  • the signal receiving units 41a and 21a generate an operation instruction corresponding to the received remote control signal related to traveling of the work machine 1 or work performed by the work device 2 connected to the work machine 1. If it is an operation instruction, it determines whether the remote operation signal is appropriate. As a result, the signal reception units 41a and 21a determine whether or not the remote operation signal corresponding to the operation instruction regarding the traveling or working of the working machine 1, which involves the risk of communication delay, is validated or invalidated.
  • the signal reception units 41a and 21a do not judge the propriety of remote operation signals corresponding to other operation instructions of the work machine 1 that do not involve risks due to communication delays, the processing burden on the signal reception units 41a and 21a is reduced. can be reduced, and the control device 21 can quickly control the operation of the work implement 1 based on the remote control signal.
  • a communication device (wireless communication device) 23 that is provided in the work machine 1 and performs wireless communication
  • a remote control terminal 30 that is provided in addition to the work machine 1 and other than the remote control terminal
  • the remote control terminal 30 has a first communication unit (communication unit) 33 that performs communication
  • the support device 40 has a second communication unit that communicates with the communication device 23 and the first communication unit 33.
  • a communication unit (communication unit) 43 is provided, the monitoring device 25 and the first application unit 21d are provided in the work machine 1, the second application unit 31d is provided in the remote control terminal 30, and the storage device 42 and the signal
  • the reception unit 41 a is provided in the support device 40 .
  • the monitoring data output from the monitoring device 25 of the working machine 1 can be stored in the storage device 42 of the support device 40 after the first time stamp is added. Further, the signal reception unit 41 a of the support device 40 receives a remote control signal from the remote control terminal 30 , determines whether the remote control signal is appropriate, and then transmits an appropriate remote control signal to the control device 21 of the working machine 1 . can be transmitted to disable inappropriate remote control signals.
  • a communication device (wireless communication device) 23 that is provided in the work machine 1 and performs wireless communication
  • a remote control terminal 30 that is provided in addition to the work machine 1
  • the remote control terminal 30 has a first communication unit (communication unit) 33 that performs communication
  • the support device 40 has a second communication unit that communicates with the communication device 23 and the first communication unit 33.
  • the monitoring device 25 and the first application unit 21d are provided in the work machine 1
  • the second application unit 31d is provided in the remote control terminal 30, and the storage devices 22 and 42 and the signal reception unit are provided.
  • 21 a and 41 a are provided in the work machine 1 or the support device 40 .
  • the monitoring data output from the monitoring device 25 of the work machine 1 is given the first time stamp, and then the monitoring data is stored in the storage device 42 of the support device 40 or the storage device 22 of the work machine 1. can be done.
  • the signal reception unit 41a of the support device 40 or the signal reception unit 21a of the working machine 1 receives a remote control signal from the remote control terminal 30, determines whether the remote control signal is appropriate, and then outputs an appropriate remote control signal. can be sent to the controller 21 to override inappropriate remote control signals.
  • the communication device 23 wirelessly communicates via the mobile phone communication network 51, the wide area network (Internet) 50, or the local area network (LAN) 53, and performs the first communication.
  • the unit 33 and the second communication unit 43 perform wireless or wired communication via the mobile phone communication network 51, the fixed phone communication network 52, the wide area network 50, or the narrow area network 53.
  • communication failure of the mobile phone communication network 51, the fixed phone communication network 52, the wide area network 50, or the narrow area network 53 causes the communication device 23 of the work machine 1, the support device 40, and the Even if a communication delay occurs between the remote control terminals 30, it is possible to hedge the risk caused by this delay.
  • the work machine 1 is provided with a communication device (wireless communication device) 23 that performs wireless communication
  • the remote control terminal 30 has a first communication unit 33 that performs communication
  • Monitoring device 25 , first application unit 21 d , storage device 22 and signal reception unit 21 a are provided in work machine 1
  • second application unit 31 d is provided in remote control terminal 30 .
  • the monitoring data output from the monitoring device 25 of the working machine 1 can be stored in the storage device 22 after the first time stamp is added.
  • the signal reception unit 21a of the work machine 1 receives a remote control signal from the remote control terminal 30, determines whether the remote control signal is appropriate, and controls the control device 21 to operate the work machine 1 based on the appropriate remote control signal. Motion control can be performed quickly.
  • the signal reception unit 21a can invalidate the inappropriate remote control signal, thereby avoiding the risk caused by the inappropriate remote control signal.
  • the communication device (wireless communication device) 23 wirelessly communicates via the mobile phone communication network 51, the wide area network 50, or the narrow area network 53, and the first communication unit 33 Wireless or wired communication is performed via the mobile phone communication network 51 , the fixed phone communication network 52 , the wide area network 50 , or the narrow area network 53 .
  • the communication device 23 of the work machine 1 may occur due to a communication failure in the mobile phone communication network 51, the fixed phone communication network 52, the wide area network 50, or the narrow area network 53. Even if a communication delay occurs between
  • the wide area network 50 is composed of the Internet
  • the narrow area network 53 is composed of a local area network.
  • the working machine 1 is configured by an agricultural machine that performs farm work in a field
  • the monitoring device 25 is provided in the agricultural machine, and is a camera 25c or a It has sensors 25a and 25b, and the monitoring data includes image data of the surroundings of the agricultural machine captured by the camera 25c or detection data indicating detection results of the sensors. Accordingly, it is possible to monitor the surrounding conditions of the work machine 1 configured as an agricultural machine or objects in the surrounding by the camera 25c or the sensors 25a and 25b, and display the monitoring results on the remote control terminal 30. FIG. Therefore, the operator 60 who operates the remote control terminal 30 can easily grasp the surrounding conditions of the work machine 1 and can easily remotely operate the work machine 1 . Moreover, even if a communication delay occurs during remote control of the work machine 1 configured as an agricultural machine, risk hedging can be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)
  • Operation Control Of Excavators (AREA)
  • Selective Calling Equipment (AREA)

Abstract

作業機(1)の遠隔制御時に通信遅延が生じてもリスクヘッジを行う。 作業機の遠隔制御システム(100)は、走行可能な作業機の周辺を監視した監視データを出力する監視装置(25)と、監視データに第1タイムスタンプを付与する第1付与部(21d)と、監視データと第1タイムスタンプを複数記憶する記憶装置(42、22)と、監視データを受信して監視結果を表示し且つ操作されることで遠隔操作信号を送信する遠隔制御端末(30)と、遠隔操作信号に第2タイムスタンプを付与する第2付与部(31d)と、遠隔操作信号を受け付けて、当該遠隔操作信号の第2タイムスタンプ及び記憶装置に記憶された監視データの第1タイムスタンプに基づいて遠隔操作信号の適否を判断して、適切でない遠隔操作信号を無効化する信号受付部(41a、21a)と、適切であると判断された遠隔操作信号に基づいて作業機の動作を制御する制御装置(21)とを備える。

Description

作業機の遠隔制御システム
 本発明は、走行可能な作業機を遠隔で制御する作業機の遠隔制御システムに関する。
 作業機の遠隔制御システムとして、例えば特許文献1に開示されたシステムが知られている。特許文献1の作業機の遠隔制御システムには、自律走行型の作業機(作業車両)と、作業機に搭載された車両制御装置と、作業機を遠隔操作可能な遠隔制御端末(遠隔操縦装置)とが備わっている。遠隔制御端末は、作業者により操作され、圃場の作業領域と作業内容とを示す遠隔操作信号を車両制御装置に無線で送信する。車両制御装置は、受信した遠隔操作信号に基づいて作業機を制御して、圃場の作業領域で作業又は走行を作業機に行わせる。作業機に設けられた障害物センサと、作業機又は圃場に設けられたカメラにより、作業機の周辺が監視される。障害物センサとカメラの監視データは、遠隔制御端末に送信されて、遠隔制御端末に設けられたディスプレイに表示される。作業者は、当該ディスプレイの表示を見ることで、作業機の周辺の状態を把握しながら、遠隔制御端末により作業機を遠隔操作することができる。
日本国特許公報「特許第6384545号公報」
 作業機の遠隔制御時に、通信遅延が生じて、監視データ又は遠隔操作信号のリアルタイム性が損なわれ、遠隔制御端末で監視している作業機の周囲の状態に対して、実際の作業機の周囲の状態が変化することがある。この場合、車両側の制御装置が遠隔制御端末からの遠隔操作信号に基づいて、作業機の走行又は作業動作などを制御すると、当該動作が無駄(無意味)になったり、作業機が障害物に衝突したりするなどのリスクが生じるおそれがある。
 そこで本発明は、上記問題に鑑み、作業機の遠隔制御時に、通信遅延が生じても、リスクヘッジを行うことができる作業機の遠隔制御システムを提供することを目的とする。
 上記技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。
 本発明の一態様に係る作業機の遠隔制御システムは、走行可能な作業機の周辺を監視して、当該監視結果を示す監視データを出力する監視装置と、前記監視データに第1タイムスタンプを付与する第1付与部と、前記監視データを当該監視データに付与された前記第1タイムスタンプとともに複数記憶可能な記憶装置と、前記監視データを受信して当該監視データが示す前記監視結果を表示可能で且つ、操作されることで前記作業機を遠隔操作する遠隔操作信号を送信する遠隔制御端末と、前記遠隔制御端末から前記遠隔操作信号が送信される際に、当該遠隔操作信号に第2タイムスタンプを付与する第2付与部と、前記遠隔制御端末から送信された前記遠隔操作信号を受け付ける信号受付部と、前記作業機の動作を制御する制御装置と、を備え、前記信号受付部は、受け付けた前記遠隔操作信号に付与された前記第2タイムスタンプと、前記記憶装置に記憶された前記監視データに付与された前記第1タイムスタンプとに基づいて、前記遠隔操作信号の適否を判断し、適切でないと判断した前記遠隔操作信号を無効化し、前記制御装置は、前記信号受付部により適切であると判断された前記遠隔操作信号に基づいて、前記作業機の動作を制御する。
 前記信号受付部は、受け付けた前記遠隔操作信号に付与された前記第2タイムスタンプが示す第2時間と同一の第1時間、又は前記第2時間より過去で且つ前記第2時間に最も近い第1時間を示す前記第1タイムスタンプが付与された特定の前記監視データと、最新の前記監視データとを前記記憶装置から取得して、当該特定の監視データと最新の監視データとの差分を検出し、前記差分が所定の程度を上回らなかった場合に、受け付けた前記遠隔操作信号が適切であると判断し、当該遠隔操作信号を前記制御装置に転送して、前記制御装置が当該遠隔操作信号に基づいて前記作業機の動作を制御することを許容し、前記差分が所定の程度を上回った場合に、受け付けた前記遠隔操作信号が適切でないと判断し、当該遠隔操作信号を無効化して、前記制御装置が当該遠隔操作信号に基づいて前記作業機の動作を制御することを阻止してもよい。
 前記第1付与部は、前記監視装置から前記監視データを取得する度に、当該監視データに現在の時間を示す前記第1タイムスタンプを付与してもよい。
 前記第2付与部は、前記遠隔制御端末から前記遠隔操作信号を送信する際に、当該遠隔操作信号に現在の時間を示す前記第2タイムスタンプを付与してもよい。
 前記遠隔制御端末は、表示部を有し、前記記憶装置から最新の前記監視データを取得して、当該監視データが示す前記監視結果を前記表示部に表示可能であり、前記第2付与部は、前記遠隔制御端末の操作時に前記表示部で表示されていた前記監視結果を示す前記監視データに付与された前記第1タイムスタンプを参照し、当該第1タイムスタンプが示す第1時間と同一の第2時間を示す前記第2タイムスタンプを、前記遠隔操作信号に付与してもよい。
 前記信号受付部は、受け付けた前記遠隔操作信号が適切であると判断した場合、当該遠隔操作信号を前記制御装置に転送することにより有効化し、受け付けた前記遠隔操作信号が適切でないと判断した場合、当該遠隔操作信号を前記制御装置に転送せずに破棄することにより無効化してもよい。
 前記信号受付部は、前記遠隔操作信号を無効化したことを前記遠隔制御端末に通知し、前記遠隔制御端末は、表示部を有し、前記信号受付部からの前記通知を受けて、当該通知の内容を前記表示部に表示させてもよい。
 前記遠隔制御端末は、オペレータにより操作される操作部を有し、当該操作部が操作されることによって入力された前記作業機の動作指示に応じた前記遠隔操作信号を生成し、前記信号受付部は、受け付けた前記遠隔操作信号に応じた前記動作指示に基づいて、当該遠隔操作信号の適否を判断してもよい。
 前記遠隔制御端末は、オペレータにより操作される操作部を有し、当該操作部が操作されることによって入力された前記作業機の動作指示に応じた前記遠隔操作信号を生成し、前記信号受付部は、受け付けた前記遠隔操作信号に応じた前記動作指示が、前記作業機の走行又は前記作業機に連結された作業装置によって行う作業に関する動作指示である場合に、当該遠隔操作信号の適否を判断してもよい。
 前記作業機の遠隔制御システムは、前記作業機に設けられ且つ無線で通信を行う通信装置と、前記作業機以外で且つ前記遠隔制御端末以外に設けられた支援装置と、を備え、前記遠隔制御端末は、通信を行う第1通信部を有し、前記支援装置は、前記通信装置及び前記第1通信部と通信を行う第2通信部を有し、前記監視装置と前記第1付与部とは、前記作業機に設けられ、前記第2付与部は、前記遠隔制御端末に設けられ、前記記憶装置と前記信号受付部とは、前記支援装置に設けられていてもよい。
 前記作業機の遠隔制御システムは、前記作業機に設けられ且つ無線で通信を行う通信装置と、前記作業機以外で且つ前記遠隔制御端末以外に設けられた支援装置と、を備え、前記遠隔制御端末は、通信を行う第1通信部を有し、前記支援装置は、前記通信装置及び前記第1通信部と通信を行う第2通信部を有し、前記監視装置と前記第1付与部とは、前記作業機に設けられ、前記第2付与部は、前記遠隔制御端末に設けられ、前記記憶装置と前記信号受付部とは、前記作業機又は前記支援装置に設けられてもよい。
 前記通信装置は、携帯電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線で通信を行い、前記第1通信部及び前記第2通信部は、携帯電話通信網、固定電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線若しくは有線で通信を行ってもよい。
 前記作業機の遠隔制御システムは、前記作業機に設けられ且つ無線で通信を行う通信装置を備え、前記遠隔制御端末は、通信を行う第1通信部を有し、前記監視装置と前記第1付与部と前記記憶装置と前記信号受付部とは、前記作業機に設けられ、前記第2付与部は、前記遠隔制御端末に設けられていてもよい。
 前記通信装置は、携帯電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線で通信を行い、前記第1通信部は、携帯電話通信網、固定電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線若しくは有線で通信を行ってもよい。
 前記広域ネットワークは、インターネットから構成され、前記狭域ネットワークは、ローカルエリアネットワークから構成されていてもよい。
 前記作業機は、圃場で農作業を行う農業機械から構成され、前記監視装置は、前記農業機械に設けられて、前記農業機械の周辺にある対象物を検出するカメラ又はセンサを有し、前記監視データは、前記カメラが撮像した前記農業機械の周辺の画像データ又は前記センサの検出結果を示す検出データを含んでいてもよい。
 本発明によれば、作業機の遠隔制御時に、通信遅延が生じても、リスクヘッジを行うことができる作業機の遠隔制御システムを提供することが可能となる。
一実施形態の作業機の遠隔制御システムの概略構成図である。 図1Aの各部の一部詳細を示した構成図である。 図1Aの作業機の側面図である。 図1Aの作業機の電気的構成を示したブロック図である。 図1Aの遠隔制御端末の電気的構成を示したブロック図である。 図1Aの支援装置の電気的構成を示したブロック図である。 図1Aの遠隔制御端末が表示する遠隔監視操作画面を示した図である。 無効化通知を含んだ遠隔監視操作画面を示した図である。 図1Bの作業機の制御装置と支援装置と遠隔制御端末の動作を示したフローチャートである。 図7Aの続きのフローチャートである。 他の実施形態の支援装置の動作を示したフローチャートである。 他の実施形態の作業機の遠隔制御システムの構成図である。 他の実施形態の作業機の遠隔制御システムの構成図である。 他の実施形態の作業機の遠隔制御システムの構成図である。 他の実施形態の作業機の遠隔制御システムの構成図である。 他の実施形態の遠隔制御端末の表示部を示した図である。
 以下、図面を参照しながら、本発明の実施形態について説明する。なお、便宜上、同一の構成及び対応する構成については、同一符号を付している。
 図1Aは、一実施形態の作業機の遠隔制御システム100の概略構成図である。図1Bは、図1Aの各部の一部詳細を示した構成図である。
 図1A及び図1Bに示す作業機の遠隔制御システム100は、作業機1、遠隔制御端末30、及び支援装置40を含んでいる。作業機1は、自律して走行及び作業を行うことが可能な農業機械(自律走行型農業機械とも言う。)などから構成されている。本実施形態では、作業機1は、圃場で農作業を行う農業機械の一例であるトラクタから構成されている。
 遠隔制御端末30は、タブレット装置若しくはスマートフォンなどの携帯型の端末装置、又は基地局(図示省略)に設置された据え置き型の端末装置から構成されている。本実施形態では、遠隔制御端末30は、オペレータ60によって携帯され且つ操作される携帯型の端末装置から構成されている。遠隔制御端末30は、作業機1を遠隔で制御(遠隔操作及び遠隔監視)するための装置である。
 支援装置40は、サーバ又はPC(パーソナルコンピュータ)などから構成されている。支援装置40は、例えば、作業機1の製造会社又は管理センタなどに設置されている。支援装置40は、遠隔制御端末30による作業機1の遠隔制御を支援する。また、支援装置40は、作業機1が圃場などで作業を行うための様々な情報及びデータを管理する。
 作業機1は、搭載する無線通信装置23(図1B)により、携帯電話通信網51などを介してインターネット50に接続可能である。遠隔制御端末30は、具備する通信部33(図1B)により、携帯電話通信網51などを介してインターネット50に接続可能である。支援装置40は、具備する後述の通信部43(図1B)により、携帯電話通信網51又は固定電話通信網52などを介してインターネット50に接続可能である。
 作業機1の無線通信装置23及び遠隔制御端末30の通信部33は、携帯電話通信網51又は固定電話通信網52とインターネット50などを介して、支援装置40に接続(アクセス)可能である。支援装置40は通信部43により、携帯電話通信網51又は固定電話通信網52とインターネット50などを介して、作業機1の無線通信装置23及び遠隔制御端末30の通信部33とそれぞれ相互に通信する。
 なお、作業機1の無線通信装置23、遠隔制御端末30、及び支援装置40は、携帯電話通信網51、固定電話通信網52、及びインターネット50以外に、無線若しくは有線のLANなどを介して、相互に通信を行ってもよい。インターネット50は、公衆通信網を使った広域ネットワークの一例である。LANは、専用通信線を使った狭域ネットワークの一例である。
 図2は、作業機1の側面図である。本実施形態の作業機1は、図2に示すようなトラクタから構成されている。なお、作業機1を、トラクタ以外の農業機械、建設機械、又は作業車両により構成してもよい。
 図2に示すように、作業機1の車体3には、走行装置7が設けられている。走行装置7は、車体3の左右両側にそれぞれ設けられ、車体3を走行可能に支持している。走行装置7は、タイヤから成る前輪7F及び後輪7Rを有した装輪型の走行装置である。これ以外に、前輪又は後輪がクローラから成る走行装置を用いてもよい。
 車体3には、原動機4、変速装置5、及びキャビン9が搭載されている。原動機4は、エンジン(ディーゼルエンジン、ガソリンエンジン)又は電動モータなどから成る。変速装置5は、変速動作を行うことにより、走行装置7の推進力を可変し、且つ走行装置7の前進、後進の切り換えを行う。
 キャビン9には、運転席10と操縦装置11が設けられている。作業機1は無人で走行及び作業を行うことが可能なトラクタであるが、運転席10に着座した作業者が操縦装置11を操作することによって、作業機1を操縦することも可能である。キャビン9は、運転席10の前方、後方、上方及び左右側方を取り囲むことにより、運転席10を保護する保護装置である。キャビン9に代えて、少なくとも運転席10の上方を覆うロプスなどを用いてもよい。
 図2に矢印A1で示す方向が、作業装置(インプルメント等)2の前方である。矢印A2で示す方向が、作業装置2の後方である。矢印Z1で示す方向が、作業装置2の上方である。矢印Z2で示す方向が、作業装置2の下方である。そして、矢印A1、A2、Z1、Z2に対して直行する方向が、作業機1の幅方向(左右方向)である。図2に向かって手前側が作業機1の左方であり、奥側が作業機の右方である。
 車体3の後部には、連結部8が設けられている。連結部8は、3点リンク機構などで構成されている。連結部8には、作業装置2を着脱可能に連結することができる。連結部8に作業装置2を連結して、走行装置7を駆動することにより、作業機1(車体3)を走行させて、作業装置2を牽引することができる。また、連結部8により作業装置2を昇降させたり、作業装置2の姿勢を変更したりすることもできる。
 作業装置2は、耕耘する耕耘装置、肥料を散布する肥料散布装置、農薬を散布する農薬散布装置、収穫を行う収穫装置、牧草等の刈取を行う刈取装置、牧草等の拡散を行う拡散装置、牧草等の集草を行う集草装置、牧草等の成形を行う成形装置などから成る。
 キャビン9の前側には、ボンネット12が設けられている。ボンネット12は、車体3に取り付けられている。ボンネット12と車体3の間には、収容ルーム(符号省略)が形成されている。その収容ルームには、原動機4だけでなく、冷却ファン、ラジエータ、及びバッテリなど(図示省略)が収容されている。
 図3は、図1Aなどに示した作業機1の電気的構成を示したブロック図である。作業機1には、制御装置21、無線通信装置23、位置検出装置24、監視装置25、状態検出装置26、アクチュエータ群27、及び作業装置2が設けられている。これらの各部は、作業機1に構築されたCAN、LIN、又はFlexRayなどの車載通信ネットワークにより電気的に接続されている。
 制御装置21は、CPUとメモリを含んだECU(電子制御装置)から構成されている。制御装置21は、作業機1の各部の動作を制御する。制御装置21には、走行制御部21b、作業制御部21c、第1付与部21d、及び記憶部21eが設けられている。記憶部21eは、揮発性又は不揮発性のメモリなどから構成されている。記憶部21eには、制御装置21が作業機1の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。走行制御部21b、作業制御部21c、及び第1付与部21dは、ソフトウェアプログラムまたはハードウェアにより構成されている。
 無線通信装置23は、携帯電話通信網51又はインターネット50を介して無線で通信を行う。また、無線通信装置23は、無線LANを介して無線で通信を行うことも可能である。
 位置検出装置24は、例えばキャビン9(図2)の上部に設置されている(詳細図示省略)。なお、位置検出装置24の設置位置は、キャビン9の上部に限定せず、車体3の別の箇所又は作業装置2の所定の箇所でもよい。位置検出装置24は、衛星測位システムを利用して、自己の位置(緯度、経度を含む測位情報)を検出する。即ち、位置検出装置24は、測位衛星から送信された信号(測位衛星の位置、送信時刻、補正情報等)を受信し、当該信号に基づいて自己の位置を検出する。位置検出装置24は、測位衛星からの信号を受信可能な基地局(基準局)からの補正等の信号に基づいて補正した位置を、自己の位置として検出してもよい。
 また、位置検出装置24は、ジャイロセンサや加速度センサ等の慣性計測装置を有していてもよい。この場合、位置検出装置24は、測位衛星から受信した信号に基づいて検出した位置(緯度、経度)を、慣性計測装置によって補正して、当該補正後の位置を自己の位置として検出してもよい。位置検出装置24は、検出した自己の位置を作業機1の位置とみなす。又は、位置検出装置24は、検出した自己の位置と、予め記憶された作業機1の外形情報とに基づいて、作業機1の位置を算出してもよい。また、位置検出装置24は、検出した自己の位置と、予め記憶された作業装置2の外形情報と、車体3に対する作業装置2の取り付け位置とに基づいて、作業装置2の位置を算出してもよい。
 監視装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dを有している。レーザセンサ25a、超音波センサ25b、及びカメラ25cは、作業機1の前部、後部、左右側部、又は上部などの適宜箇所に設置されていて(詳細図示省略)、作業機1の周囲の状態を検出する。なお、レーザセンサ25a、超音波センサ25b、及びカメラ25cのうち、少なくともいずれか一つを監視装置25に設けてもよい。また、これら以外のセンサなどの検出手段を、監視装置25に設けてもよい。
 レーザセンサ25aは、ライダー(LiDAR: Light Detection And Ranging)などの光学式のセンサから成る。レーザセンサ25aは、レーザダイオードなどの光源から1秒間に何百万回ものパルス状の測定光(レーザ光)を照射し、当該測定光を回転ミラーで反射することにより水平方向又は鉛直方向に走査して、所定の検出範囲(センシング範囲)に投光する。そして、レーザセンサ25aは、測定光の対象物による反射光を、受光素子で受光する。
 対象物検出部25dは、レーザセンサ25aの受光素子から出力された受光信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。また、対象物検出部25dは、レーザセンサ25aにより測定光を照射してから、反射光を受光するまでの時間に基づいて、対象物までの距離を検出する(TOF(Time of Flight)法)。対象物検出部25dが検出する対象物には、作業機1が走行及び作業を行う現場、圃場、圃場の作物、地面、路面、その他の物体、障害物、及び人などが含まれている。
 超音波センサ25bは、ソナーなどの空中超音波センサから成る。超音波センサ25bは、送波器により測定波(超音波)を所定の検出範囲に発信し、当該測定波が対象物で反射した反射波を受波器で受信する。対象物検出部25dは、超音波センサ25bの受波器から出力された信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。また、対象物検出部25dは、超音波センサ25bにより測定波を発信してから、反射波を受波するまでの時間に基づいて、対象物までの距離を検出する(TOF法)。
 カメラ25cは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、又はCMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラなどの撮像装置から成る。カメラ25cは、作業機1の周囲を撮像して、画像信号を出力する。対象物検出部25dは、カメラ25cから出力された画像信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。
 監視装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dにより、作業機1及び作業装置2の周囲の状態を監視し、その監視結果を示す監視データを制御装置21に出力する。この監視データには、少なくともカメラ25cが撮像した画像データと、対象物検出部25dが検出した対象物の検出データとが含まれている。
 制御装置21が監視装置25から監視データを取得すると、第1付与部21dは、当該監視データに第1タイムスタンプを付与する。制御装置21は、第1タイムスタンプが付与された監視データを、無線通信装置23により支援装置40へ送信する。制御装置21による監視データとこれに付与された第1タイムスタンプの送信は、所定の周期で行われたり、支援装置40からの要求に応じて行われたりする。
 状態検出装置26には、作業機1又は作業装置2の各部に設置された各種センサが含まれている。状態検出装置26は、その各種センサからの出力信号に基づいて、作業機1及び作業装置2の走行及び作業などの動作状態を検出する。また、状態検出装置26は、位置検出装置24により検出された位置(作業機1の位置、作業装置2の位置)を所定の周期で取得し、当該位置の変化(変遷)も作業機1及び作業装置2の動作状態として検出する。そして、状態検出装置26は、作業機1及び作業装置2の動作状態の検出結果を示す動作検出データを生成し、当該動作検出データを制御装置21に出力する。
 アクチュエータ群27には、作業機1の走行装置7、変速装置5、原動機4、及び連結部8などの各部を作動させるための電動式若しくは油圧式のモータ、シリンダ、及び制御弁などが含まれている。制御装置21の走行制御部21bは、アクチュエータ群27に含まれる所定のアクチュエータを作動させて、走行装置7、変速装置5、及び原動機4などを駆動し、作業機1の走行を制御する。
 作業制御部21cは、作業装置2に備わる制御部2aと通信して、制御部2aに作業装置2の動作を制御させる。即ち、作業制御部21cは、制御部2aを介して作業装置2による作業を制御する。
 制御装置21は、監視装置25から出力される監視データと、状態検出装置26から出力される動作検出データと、位置検出装置24から出力される作業機1の位置などに基づいて、走行制御部21bにより作業機1の走行を制御し、作業制御部21cにより作業動作を制御し、又は作業機1のその他の動作も制御する。また、制御装置21は、遠隔制御端末30から送信された遠隔操作信号を無線通信装置23により受信した場合は、上記の各データに加えて、当該遠隔操作信号に基づいて、作業機1など(又は作業装置2)の走行、作業動作、及びその他の動作を制御する。
 また、制御装置21は、作業機1などの走行又は作業を制御する際に、対象物検出部25dにより作業機1の走行方向若しくは作業装置2の動作方向に対象物が有ることが検出された場合には、走行装置7又は作業装置2などを制御して、走行又は作業を停止し、対象物との衝突を回避する(衝突回避動作)。
 図4は、図1Aなどに示した遠隔制御端末30の電気的構成を示したブロック図である。遠隔制御端末30には、制御部31、記憶部32、通信部33、及び表示操作部34が設けられている。制御部31は、CPUなどから構成されている。制御部31は、遠隔制御端末30の各部の動作を制御する。制御部31には、第2付与部31dが設けられている。第2付与部31dは、ソフトウェアプログラムにより構成されている。他の例として、第2付与部31dを制御部31とは別のハードウェアにより構成してもよい。
 記憶部32は、揮発性又は不揮発性のメモリなどから構成されている。記憶部32には、制御部31が遠隔制御端末30の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。通信部33は、携帯電話通信網51又はインターネット50を介して無線で通信を行う。また、通信部33は、無線LANを介して無線で通信を行うことも可能である。
 表示操作部34は、例えばタッチパネルとハードウェア型のスイッチなどから構成されている。表示操作部34には、作業機1を遠隔制御するための情報が表示される。また、作業機1を遠隔制御するための操作を、表示操作部34により行うことが可能である。他の例として、表示操作部34に代えて、別体の表示部と操作部とが遠隔制御端末30に設けられていてもよい。
 オペレータ60が表示操作部34を操作して、作業機1の動作指示を入力すると、制御部31が、当該動作指示に対応する遠隔操作信号を生成する。第2付与部31dは、生成された遠隔操作信号に第2タイムスタンプを付与する。制御部31は、第2タイムスタンプが付与された遠隔操作信号を、通信部33により支援装置40へ送信する。
 図5は、図1Aなどに示した支援装置40の電気的構成を示したブロック図である。支援装置40には、制御部41、記憶装置42、及び通信部43が設けられている。制御部41は、CPUなどから構成されている。制御部41は、支援装置40の各部の動作を制御する。制御部41には、信号受付部41aが設けられている。信号受付部41aは、デジタルフィルタ41bを有している。信号受付部41aは、ソフトウェアプログラムにより構成されている。他の例として、信号受付部41aを制御部41とは別のハードウェアにより構成してもよい。また、デジタルフィルタ41bを信号受付部41aとは別に構成してもよい。
 記憶装置42は、不揮発性のメモリ又はハードディスクなどから構成されている。記憶装置42には、作業データベース42aと監視データベース42dとが構築されている。作業データベース42aには、作業機1が作業を行うための作業データが複数記憶(保存)されている。監視データベース42dには、監視装置25(図3)の監視データが複数記憶(保存)されている。
 通信部43は、携帯電話通信網51又は固定電話通信網52とインターネット50とを介して無線若しくは有線で通信を行う。また、通信部43は、無線又は有線のLANを介して通信を行うことも可能である。
 作業機1の無線通信装置23から送信された監視データとこれに付与された第1タイムスタンプとは、支援装置40の通信部43により受信される。制御部41は、通信部43により受信した監視データとこれに付与された第1タイムスタンプとを、記憶装置42の監視データベース42dに記憶(保存)させる。
 記憶装置42の監視データベース42dに記憶された監視データと、作業データベース42aに記憶された作業データとは、遠隔制御端末30からの要求に応じて、制御部41により読み出されて、通信部43により遠隔制御端末30へ送信される。監視データが遠隔制御端末30へ送信される場合には、当該監視データに付与された第1タイムスタンプも、通信部43により遠隔制御端末30へ送信される。
 遠隔制御端末30から送信された遠隔操作信号は、支援装置40の通信部43により受信されて、信号受付部41aにより受け付けられる。信号受付部41aは、受け付けた遠隔操作信号に付与された第2タイムスタンプと、記憶装置42の監視データベース42dに記憶された監視データに付与された第1タイムスタンプに基づいて、受け付けた遠隔操作信号の適否を判断する。
 そして、信号受付部41aは、受け付けた遠隔操作信号が適切であると判断した場合には、当該遠隔操作信号を通信部43により作業機1の無線通信装置23に転送することによって有効化する。一方、信号受付部41aは、受け付けた遠隔操作信号が適切でないと判断した場合には、当該遠隔操作信号を転送せずに破棄することによって無効化する。デジタルフィルタ41bは、監視データベース42dから読み出された監視データに含まれる画像データ(画像信号)をフィルタリング処理する。
 図6A及び図6Bは、遠隔制御端末30の表示操作部34に表示される遠隔監視操作画面G1を示す図である。例えば、オペレータ60(図1B)が表示操作部34で所定の操作を行うことで、制御部31が作業機1を遠隔制御するためのアプリケーションプログラム(以下、「遠隔制御アプリ」という。)を実行(起動)し、図6Aなどに示す遠隔監視操作画面G1を表示操作部34に表示させる。遠隔監視操作画面G1には、入力欄J1~J3、操作キーB1~B6、表示欄D1、D2、及び通知欄M1、M2が設けられている。
 オペレータ60が、作業機1で農作業を行う圃場の名称(圃場の識別情報)を圃場入力欄J1に入力し、作業機1の機種(作業機の識別情報)を機種入力欄J2に入力し、農作業の種類(作業の識別情報)を作業入力欄J3に入力した後、決定キーB1をタッチ操作する。この操作を受けて、制御部31は、入力欄J1~J3の入力内容に対応する作業データを記憶部32から読み出す。入力欄J1~J3の入力内容に対応する作業データが記憶部32に記憶されていなければ、制御部31は、当該入力内容に対応する作業要求信号を生成し、当該作業要求信号を通信部33により支援装置40に送信する。
 支援装置40では、通信部43が作業要求信号を受信すると、制御部41が当該作業要求信号に対応する作業データを作業データベース42a(図5)から読み出して、当該作業データを遠隔制御端末30に送信する。
 遠隔制御端末30の制御部31は、記憶部32から作業データを読み出すと、又は通信部33により作業データを受信すると、当該作業データが示す作業情報を遠隔監視操作画面G1の作業表示欄D1に表示させる。また、制御部31は、通信部33により作業データを受信した場合、当該作業データを記憶部32に記憶させる。
 図6Aなどに示すように、作業表示欄D1に表示される作業情報には、圃場入力欄J1に入力された圃場H1を示す圃場マップMP2と、圃場H1で機種入力欄J2に入力された作業機1が作業入力欄J3に入力された作業を行う際に走行する走行ルートL1などが含まれている。
 走行ルートL1には、直進部L1a、旋回部L1b、開始位置Ps、及び終了位置Pgが含まれている。開始位置Psは、作業機1が作業を行うために走行を開始する位置である。直進部L1aは、作業機1が直進走行しながら作業装置2により作業を行うルートである。旋回部L1bは、作業機1が一方の直進部L1aから次の直進部L1aに向かって旋回するルートである。作業機1が旋回部L1bに沿って旋回しているときは、作業装置2による作業が停止される。終了位置Pgは、作業機1が作業及び走行を終了(停止)する位置である。
 また、制御部31は、決定キーB1がタッチ操作されると、監視データを要求する監視要求信号を生成し、当該監視要求信号を通信部33により支援装置40に送信する。支援装置40では、通信部43が監視要求信号を受信すると、制御部41が、当該監視要求信号に対応する監視データを監視データベース42d(図5)から読み出して、当該監視データを通信部43により遠隔制御端末30に送信する。このとき、制御部41は、監視データベース42dに記憶された監視データのうち、最新の監視データと、当該監視データに付与された第1タイムスタンプとを読み出して、これらを通信部43により送信する。
 遠隔制御端末30では、通信部33が監視データを受信すると、制御部31が当該監視データとこれに付与された第1タイムスタンプとを記憶部32に記憶させてから、当該監視データが示す監視結果(監視情報)を遠隔監視操作画面G1の表示欄D2、D1と通知欄M2に表示させる。
 詳しくは、制御部31は、監視データが示す監視結果のうち、監視装置25のカメラ25c(図3)により撮像された画像を、図6Aなどに示すように監視表示欄D2に表示させる。また、制御部31は、対象物検出部25d(図3)による対象物の検出結果を示すメッセージを、監視通知欄M2に表示させる。さらに、制御部31は、位置検出装置24により検出された作業機1の位置を示すマークX1を、作業表示欄D1に表示させる。
 図6A及び図6Bに示す例では、作業機1の周辺を俯瞰した状態の画像が監視表示欄D2に表示されている。この俯瞰画像は、監視データに基づいて制御部31により作成されている。詳しくは、監視データには、複数のカメラ25cが撮像した作業機1の前方、後方、及び左右側方などの画像が含まれていて、制御部31が当該複数の画像と、予め記憶された作業機像X2とを合成して、俯瞰画像を作成する。また、オペレータ60が画像切換キーB2をタッチ操作する度に、制御部31は、監視表示欄D2に表示させる画像を、例えば監視データに含まれる作業機1の前方の画像、後方の画像、左方の画像、右方の画像、及び俯瞰画像などの順で切り換える。
 監視通知欄M2には、対象物の検出結果として、例えば作業機1の周囲における対象物の有無を示すメッセージが表示される。図6Aでは、作業機1の周囲に対象物が無いことを示すメッセージが監視通知欄M2に表示されているが、当該対象物が無いことを示すメッセージは表示されなくてもよい。また、対象物が有ることを示すメッセージが監視通知欄M2に表示される際には、当該対象物までの距離と、当該対象物の大きさなども監視通知欄M2に表示されてもよい。制御部31は、通信部33により支援装置40から監視データを受信する度に、当該監視データの示す監視結果を表示欄D2、D1と通知欄M2に表示させて、表示欄D2、D1と通知欄M2の表示内容を更新する。
 動作通知欄M1には、状態検出装置26(図3)による作業機1などの動作状態の検出結果が表示される。詳しくは、例えば制御部31は、作業機1などの動作状態の検出結果を示す動作検出データを要求する動作要求信号を、通信部33により支援装置40に送信する。支援装置40の制御部41は、通信部43により動作要求信号を受信すると、当該動作要求信号を作業機1の制御装置21に転送する。制御装置21は、無線通信装置23により動作要求信号を受信すると、状態検出装置26から出力された最新の動作検出データを無線通信装置23により支援装置40に送信する。支援装置40の制御部41は、通信部43により動作検出データを受信すると、当該動作検出データを遠隔制御端末30に転送する。遠隔制御端末30の制御部31は、通信部33により動作検出データを受信すると、当該動作検出データが示す作業機の動作状態の検出結果を動作通知欄M1に表示させる。
 上記の作業機1などの動作状態の検出結果として、例えば作業機1の走行の有無(走行中又は停止中)、作業装置2による作業の有無(作業中又は作業停止中)、又は作業機1の遠隔制御の実行の有無などを示すメッセージが、動作通知欄M1に表示される。制御部31は、動作検出データを通信部33により受信する度に、当該動作検出データの示す検出結果を動作通知欄M1に表示させて、動作通知欄M1の表示内容を更新する。
 走行作業開始キーB3と走行作業停止キーB4は、作業機1を遠隔操作するための操作キーの一例である。オペレータ60が走行作業開始キーB3をタッチ操作することで、作業機1が走行ルートL1に基づいて自動で走行と操舵を行いながら、作業装置2により作業を行うことを開始する指示を入力することができる。また、オペレータ60が走行作業停止キーB4をタッチ操作することで、上記作業機1の走行ルートL1に基づく走行と操舵と作業装置2による作業とを停止する指示を入力することができる。
 オペレータ60が次へキーB5又は前へキーB6をタッチ操作することで、操作キーB3、B4に代えて、作業機1を遠隔操作するための別の操作キーが表示される。別の操作キーとしては、例えば、作業機1の走行指示を入力するための走行キー、作業機1の停止指示を入力するための停止キー、作業機1の旋回指示を入力するための旋回キー、作業装置2の昇降指示を入力するための昇降キー、作業機1の暖機などのために原動機4の始動指示を入力するための原動機始動キー、又は原動機4の停止指示を入力するための原動機停止キーなどが含まれている。
 オペレータ60は、遠隔監視操作画面G1の表示欄D1、D2と通知欄M1に表示された作業情報と監視結果とを見ながら、作業機1の遠隔操作用の操作キーB2、B3などを操作して、作業機1の動作指示を入力することができる。
 図7A及び図7Bは、第1実施形態の作業機1の制御装置21、支援装置40、及び遠隔制御端末30の動作を示したフローチャートである。
 作業機1の監視装置25は、例えば作業機1の周辺の監視結果を示す監視データを所定の周期で制御装置21に出力する。制御装置21は監視データを取得すると(図7AのS1)、当該監視データに第1付与部21dにより第1タイムスタンプを付与する(S2)。このとき、第1付与部21dは、例えば現在の時間を示す第1タイムスタンプを監視データに付与する。ここでの現在の時間とは、制御装置21が監視データを取得した時間、又は制御装置21が第1タイムスタンプを付与する時間などである。制御装置21は、第1タイムスタンプが付与された監視データを当該第1タイムスタンプとともに、無線通信装置23により支援装置40に送信する(S3)。
 支援装置40の制御部41は、通信部43により監視データを取得すると(S4)、当該監視データをこれに付与された第1タイムスタンプとともに記憶装置42の監視データベース42dに記憶(保存)させる(S5)。
 作業機1の制御装置21は、遠隔操作信号を受信しない間は(図7BのS21:NO)、上述した図7Aの処理S1~S3と処理S21とを繰り返し実行する。支援装置40の制御部41も、遠隔操作信号を受信しない間は(図7BのS17:NO)、上述した図7Aの処理S4、S5と後述する処理S9、S10と処理S17とを繰り返し実行する。これにより、監視装置25から周期的に出力される作業機1と作業機の周辺の監視結果を示す監視データが、これに付与された第1タイムスタンプとともに支援装置40の監視データベース42dに随時記憶(保存)されて、当該監視データが蓄積される。
 遠隔制御端末の制御部31は、遠隔制御アプリを起動して、遠隔監視操作画面G1を表示操作部34に表示させると(図7AのS6)、入力欄J1~J3の入力内容に対応する作業データを記憶部32又は支援装置40から取得して、当該作業データが示す作業内容を表示操作部34に表示させる(S7)。また、制御部31は、監視データの要求信号を通信部33により支援装置40に送信する(S8)。このとき、制御部31は、動作検出データの要求信号も、通信部33により支援装置40に送信してもよい。
 支援装置40の制御部41は、監視データの要求信号を通信部43により受信すると(S9:YES)、当該要求信号に基づいて監視データベース42dから最新の監視データを読み出して、当該監視データを通信部43により遠隔制御端末30に送信する(S10)。
 遠隔制御端末30の制御部31は、監視データを通信部33により受信すると(S11)、当該監視データが示す監視結果を遠隔監視操作画面G1の表示欄D1、D2と通知欄M1に表示させる(S12)。
 そして、制御部31は、作業機1の動作指示が入力されない間は(図7BのS13:NO)、上述した図7Aの処理S8、S11、S12と処理S13とを繰り返し実行する。支援装置40の制御部41は、監視データの要求信号を受信する度に(図7AのS9:YES)、最新の監視データを監視データベース42dから読み出して、遠隔制御端末30に送信する(S10)。これにより、遠隔制御端末30の遠隔監視操作画面G1に表示される作業機1及び作業機1の周辺の監視結果が随時更新される。
 例えば、作業機1が作業を行う圃場に移動した後、オペレータ60が遠隔制御端末30の遠隔監視操作画面G1の操作キーB2、B3(図6Aなど)などを操作して、作業機1の動作指示を入力する。これにより、制御部31は、作業機1の動作指示の入力が有ったと判断して(図7BのS13:YES)、当該動作指示に対応する遠隔操作信号を生成する(S14)。
 そして、第2付与部31dが、生成された遠隔操作信号に第2タイムスタンプを付与する(S15)。このとき、第2付与部31dは、例えば現在の時間を示す第2タイムスタンプを遠隔操作信号に付与する。ここでの現在の時間とは、制御部31が遠隔操作信号を生成した時間、又は制御部31が第2タイムスタンプを付与する時間などである。
 或いは、第2付与部31dは、例えば、遠隔操作用の操作キーB2、B3などの操作時に表示欄D1、D2と通知欄M1に表示されていた監視結果を示す監視データに付与された第1タイムスタンプを参照し、当該第1タイムスタンプが示す第1時間と同一の第2時間を示す第2タイムスタンプを、遠隔操作信号に付与する。制御部31は、第2タイムスタンプが付与された遠隔操作信号を当該第2タイムスタンプとともに、通信部33により支援装置40に送信する(S16)。
 遠隔制御端末30からの遠隔操作信号を支援装置40の通信部43が受信すると(S17:YES)、信号受付部41aが当該遠隔操作信号を受け付けて、当該遠隔操作信号の適否を判断する(S18)。このとき、信号受付部41aは、受け付けた遠隔操作信号に付与された第2タイムスタンプが示す第2時間と同一の第1時間、又は第2時間より過去で且つ第2時間に最も近い第1時間を示す第1タイムスタンプが付与された特定の監視データと、最新の監視データとを監視データベース42dから読み出す。
 そして、信号受付部41aは、読み出した特定の監視データと最新の監視データとをそれぞれデジタルフィルタ42bにかけてから、特定の監視データと最新の監視データとを比較して、当該両方のデータの差分を検出する。特定の監視データと最新の監視データとをデジタルフィルタ42bにかけることで、当該両方のデータのノイズを除去して、所定値より小さな差分を無視することができる。
 また、信号受付部41aは、特定の監視データと最新の監視データとの差分を検出する際には、当該両方の監視データの同一種類の監視データ同士を比較して、差分を検出する。即ち、カメラ25cの画像データ同士、レーザセンサ25aの検出データ同士、超音波センサ25bの検出データ同士、及び対象物検出部25dの検出データ同士のそれぞれを比較して、各データの差分を検出する。また、カメラ25cの画像データ同士、レーザセンサ25aの検出データ同士、超音波センサ25bの検出データ同士、及び対象物検出部25dの検出データ同士のうち、少なくとも1種類のデータ同士を比較して、差分を検出してもよい。
 遠隔制御端末30と支援装置40との通信において、所定時間以上の通信遅延が無い場合は、遠隔制御端末30で表示している作業機1の周囲の監視結果(監視データ)と、遠隔制御端末30から送信される遠隔操作信号のリアルタイム性がある程度確保される。この場合において、例えば作業機1の停止中に、遠隔制御端末30から走行作業開始キーB3に基づく遠隔操作信号が送信されると、支援装置40の信号受付部41aが当該遠隔操作信号を受け付けて、監視データベース42dから特定の監視データと最新の監視データとを読み出す。このとき読み出された特定の監視データ(即ち、遠隔制御端末30で表示されていた監視データ)で示されている作業機1の周囲の状態と、最新の監視データで示されている作業機1の周囲の状態とが略同等になるので、特定の監視データで示されていない対象物が、最新の監視データで示されることはない。
 また、遠隔制御端末30と支援装置40との通信において、所定時間以上の通信遅延が無い場合、例えば作業機1の走行中に、遠隔制御端末30から作業機1の旋回を指示する旋回キーに基づく遠隔操作信号が送信されると、信号受付部41aが当該遠隔操作信号を受け付けて、監視データベース42dから特定の監視データと最新の監視データとを読み出す。このときも読み出された特定の監視データで示されている作業機1の周囲の状態に対する、最新の監視データで示されている作業機1の周囲の状態の変化は小さく、特定の監視データで示されていない対象物が、最新の監視データで示されることはない。
 つまり、遠隔制御端末30と支援装置40との通信において、所定時間以上の通信遅延が無い場合には、信号受付部41aで検出された特定の監視データと最新の監視データとの差分、即ち当該両方の監視データに含まれるカメラ25cの画像データ同士、レーザセンサ25aの検出データ同士、超音波センサ25bの検出データ同士、及び対象物検出部25dの検出データ同士の差分が小さく、当該差分が所定の程度(閾値)を上回ることはない。
 なお、作業機1の走行中は、作業機1の周囲の状態が変化するので、信号受付部41aが上記差分と比較する所定の程度(閾値)を、作業機1の停止中に上記差分と比較する所定の程度より大きく設定してもよい。又は、作業機1の走行中は、信号受付部41aが、特定の監視データと最新の監視データのうち、レーザセンサ25aの検出データ同士、超音波センサ25bの検出データ同士、又は対象物検出部25dの検出データ同士の差分を検出して所定の程度と比較し、カメラ25cの画像データ同士の差分は検出せず、所定の程度との比較もしないようにしてもよい。
 また、監視データベース42dへの監視データの記憶間隔が長かったり、遠隔制御端末30での監視データの受信間隔が短かったりした場合には、信号受付部41aが監視データベース42dから読み出す特定の監視データと最新の監視データとが同一になることもある。このケースでも、信号受付部41aで検出された特定の監視データと最新の監視データとの差分は所定の程度を上回らない。
 信号受付部41aは、検出した差分が所定の程度を上回らなかった場合には、受け付けた遠隔操作信号が適切であると判断し(S19:YES)、当該遠隔操作信号を作業機1の制御装置21に転送することにより有効化する(S20)。
 作業機1の制御装置21は、無線通信装置23により遠隔操作信号を受信すると(S21:YES)、当該遠隔操作信号に基づいて、走行制御部21b又は作業制御部21cにより作業機1(又は作業装置2)の動作を制御する(S22)。即ち、遠隔制御端末30から送信された遠隔操作信号に基づいて、制御装置21が作業機1又は作業装置2の動作を制御することが許容され、作業機1又は作業装置2が遠隔操作信号に対応する動作を実行する。
 遠隔制御端末30から送信された遠隔操作信号が、走行作業開始キーB3(図6Aなど)の操作に戻づく遠隔操作信号であった場合は、当該遠隔操作信号とともに、作業データも遠隔制御端末30から送信される(図7BのS16)。そして、当該遠隔操作信号が支援装置40の信号受付部41aで有効化された場合には(S20)、作業機1の無線通信装置23により当該遠隔操作信号とともに作業データも受信される(S21:YES)。このため、制御装置21は、受信した遠隔操作信号と作業データに含まれる走行ルートL1などに基づいて、走行制御部21b又は作業制御部21cにより作業機1又は作業装置2の動作を制御して、自動で作業機1の走行と操舵を行いながら、作業装置2により圃場に対して農作業を行う。他の例として、制御装置21が、所定のタイミングで支援装置40から作業データを取得(受信)するようにしてもよい。
 一方、遠隔制御端末30と支援装置40との通信において、所定時間以上の通信遅延が有る場合は、遠隔制御端末30で表示している作業機1の周囲の監視結果(監視データ)と、遠隔制御端末30から送信された遠隔操作信号のリアルタイム性が損なわれる。この場合、例えば作業機1の停止中に、遠隔制御端末30から走行作業開始キーB3に基づく遠隔操作信号が送信されたり、作業機1の走行中に、遠隔制御端末30から旋回キーに基づく遠隔操作信号が送信されたりすると、信号受付部41aが当該遠隔操作信号を受け付けて、監視データベース42dから特定の監視データと最新の監視データとを読み出す。このとき読み出された特定の監視データで示されていない対象物(障害物、例えば鳥獣などの動体)が、最新の監視データで示されることがある。また、作業機1の走行中には、特定の監視データで示されている作業機1の周囲の状態に対する、最新の監視データで示されている作業機1の周囲の状態の変化が大きくなる。
 そのため、遠隔制御端末30と支援装置40との通信において、所定時間以上の通信遅延が有る場合には、信号受付部41aで検出された特定の監視データと最新の監視データとの差分が大きくなって、当該差分が所定の程度(閾値)を上回ってしまう。このように差分が所定の程度を上回った場合には、信号受付部41aは、受け付けた遠隔操作信号が適切でないと判断し(S19:NO)、当該遠隔操作信号を制御装置21に転送せずに破棄することにより無効化する(S23)。そして、信号受付部41aは、遠隔操作信号を無効化したことを示す無効化通知(信号)を、通信部43により遠隔制御端末30に送信する(S24)。これにより、遠隔制御端末30から送信された遠隔操作信号に基づいて、制御装置21が作業機の動作を制御することが阻止される。
 遠隔制御端末30の制御部31は、通信部33により無効化通知を受信すると(S25)、当該無効化通知の内容を動作通知欄M1に表示する(S26)。詳しくは、制御部31は、無効化通知が示す遠隔操作(入力された作業機1の動作指示)が無効化された旨のメッセージを、図6Bに示すように動作通知欄M1に表示する。これにより、オペレータ60は、入力した作業機1の動作指示、即ち遠隔操作が実行されなかったことを認識することができる。
 上述した実施形態では、支援装置40の信号受付部41aが遠隔操作信号に付与された第2タイムスタンプが示す第2時間と、監視データベース42dに記憶されている監視データに付与された第1タイムスタンプが示す第1時間とに基づいて、監視データベース42dから特定の監視データと、最新の監視データとを読み出して、これらの差分に基づいて遠隔操作信号の適否を判断している。然るに、遠隔操作信号の適否の判断方法は、これのみに限定するものではなく、下記の判断方法を採用してもよい。
 例えば、信号受付部41aは、遠隔操作信号に付与された第2タイムスタンプが示す第2時間と、最新の監視データに付与された第1タイムスタンプが示す第1時間との時間差に基づいて、遠隔操作信号の適否を判断する。具体的には、遠隔操作信号の第2タイムスタンプが示す第2時間と、最新の監視データの第1タイムスタンプが示す第1時間との時間差が、所定時間未満であれば、遅延時間が短いので、信号受付部41aは遠隔操作信号が適切であると判断する。また、上記第2時間と第1時間の時間差が所定時間以上であれば、遅延時間が長いので、信号受付部41aは遠隔操作信号が適切でないと判断する。
 或いは、信号受付部41aは、受け付けた遠隔操作信号に応じた動作指示に基づいて、当該遠隔操作信号の適否を判断する。具体的には、例えば信号受付部41aは、作業機1の走行中に、受け付けた遠隔操作信号に応じた動作指示が作業機1の走行停止指示であれば、リスクは小さいので、当該遠隔操作信号が適切であると判断する。また、信号受付部41aは、受け付けた遠隔操作信号に応じた動作指示が、原動機4の始動指示であったり、作業機1の走行及び作業に関係しない動作指示であったりしても、リスクは小さいので、当該遠隔操作信号が適切であると判断する。また、信号受付部41aは、作業機1の旋回中に、受け付けた遠隔操作信号に応じた動作指示が作業装置2の下降指示であれば、作業装置2が着地するとリスクが大きいので、当該遠隔操作信号が適切でないと判断する。
 また、図8に示すように、信号受付部41aは、遠隔操作信号の適否の判断を実行してもよい。図8は、他の実施形態の支援装置40の動作を示したフローチャートである。図8の例では、支援装置40の通信部43が遠隔操作信号を受信すると(S17:YES)信号受付部41aは遠隔操作信号を受け付けて(S18a)、当該遠隔操作信号に応じた動作指示が、作業機1の走行又は作業装置2によって行う作業に関する動作指示であるか否かを確認する。ここで、信号受付部41aは、受け付けた遠隔操作信号に応じた動作指示が、作業機1の走行又は作業装置2によって行う作業に関する動作指示であれば(S18b:YES)、当該遠隔操作信号の適否を判断する(S18c)。
 一方、信号受付部41aは、受け付けた遠隔操作信号に応じた動作指示が、作業機1の走行に関する動作指示でもなく、作業装置2による作業に関する動作指示でもなければ(S18b:NO)、当該遠隔操作信号の適否を判断せずに、当該遠隔操作信号を作業機1の制御装置21に転送することにより有効化する(S20)。その他の支援装置40の各処理は、図7A及び図7Bで説明した各処理と同様である。
 監視装置25からの監視データの出力、無線通信装置23からの監視データ若しくは動作検出データの送信、又は支援装置40からの監視データ若しくは動作検出データの送信は、所定の周期で行われたり、受信する装置からの要求に応じて行われたりしてもよい。
 上述した実施形態では、図1Bなどに示したように、データベース42d、42aが構築された記憶装置42と信号受付部41aとが支援装置40に設けられているが、例えば図9~図11に示すように、記憶装置42と信号受付部41aのうち一方が作業機1(又は作業装置2)に設けられていたり、両方が作業機1(又は作業装置2)に設けられていたりしてもよい。図9~図11は、他の実施形態の作業機の遠隔制御システム100の構成図である。
 図9に示す作業機の遠隔制御システム100では、監視データベース22dが構築された記憶装置22が作業機1に設けられている。つまり、支援装置40には、監視データベース22dが設けられていない。これ以外の構成の設置箇所は、図1B~図5に示した実施形態と同様である。
 図9において、作業機1の監視装置25から制御装置21に出力された監視データは、第1付与部21dにより第1タイムスタンプが付与された後、制御装置21により記憶装置22の監視データベース22dに記憶される。遠隔制御端末30は、監視データを要求する第1監視要求信号を通信部33により支援装置40に送信する。支援装置40は、通信部43により第1監視要求信号を受信して、作業機1の無線通信装置23に転送する。制御装置21は、無線通信装置23により受信された第1監視要求信号に応じて、監視データベース22dから監視データ(最新の監視データ)を読み出して、当該監視データを無線通信装置23により支援装置40に送信する。支援装置40は、通信部43により監視データを受信して、当該監視データを遠隔制御端末30に転送する。
 また、図9において、支援装置40の信号受付部41aは、遠隔制御端末30から送信された遠隔操作信号を、通信部43を介して受け付けると、当該遠隔操作信号に対応する監視データを要求する第2監視要求信号を、通信部43により作業機1の制御装置21に送信する。制御装置21は、無線通信装置23により第2監視要求信号を受信すると、当該第2監視要求信号で要求される監視データを監視データベース22dから読み出す。このとき、第2監視要求信号が送信される基(きっかけ)になった遠隔操作信号に付与された第2タイムスタンプが示す第2時間と同一の第1時間、又は第2時間より過去で且つ第2時間に最も近い第1時間を示す第1タイムスタンプが付与された特定の監視データと、最新の監視データとが、制御装置21により監視データベース22dから読み出される。そして、これらの監視データが無線通信装置23により支援装置40に送信されると、当該監視データを信号受付部41aが通信部43を介して取得する。その他の各部の動作は、図1A~図8で説明した各部の動作と同様である。
 図5に示した作業データベース42aも支援装置40に設けずに、作業機1の記憶装置22に構築してもよい(図示省略)。この場合、記憶装置22に構築された作業データベース42a内の作業データは、上述した監視データと同様の手順で、作業機1の記憶装置22から支援装置40を経由して、遠隔制御端末30に送信される。
 図10に示す作業機の遠隔制御システム100では、信号受付部41a(図5など)が支援装置40に設けられておらず、信号受付部21aが作業機1に設けられている。これ以外の構成の設置箇所は、図1B~図5に示した実施形態と同様である。
 図10において、遠隔制御端末30から送信された遠隔操作信号が、支援装置40の通信部43を経由して、作業機1の無線通信装置23により受信され、信号受付部21aで受け付けられる。すると、信号受付部21aは、受け付けた遠隔操作信号に対応する監視データを要求する第2監視要求信号を無線通信装置23により支援装置40に送信する。支援装置40の制御部41は、通信部43により第2監視要求信号を受信すると、当該第2監視要求信号で要求される監視データを記憶装置42の監視データベース42dから読み出す。このとき、第2監視要求信号の基になった遠隔操作信号に付与された第2タイムスタンプが示す第2時間と同一の第1時間、又は第2時間より過去で且つ第2時間に最も近い第1時間を示す第1タイムスタンプが付与された特定の監視データと、最新の監視データとが、制御部41により監視データベース42dから読み出される。そして、これらの監視データが通信部43により無線通信装置23に送信され、当該監視データを信号受付部21aが無線通信装置23により取得(受信)する。
 信号受付部21aは、上記のように特定の監視データと最新の監視データとを取得すると、信号受付部41a(図5など)と同様に、特定の監視データと最新の監視データとの差分を検出し、当該差分に基づいて遠隔操作信号の適否を判断し、当該判断結果に応じて、遠隔操作信号を有効化又は無効化する。制御装置21は、信号受付部21aにより有効化(適切であると判断)された遠隔操作信号に基づいて、走行制御部21b又は作業制御部21cにより作業機1と作業装置2の動作を制御する。その他の各部の動作は、図1A~図8で説明した各部の動作と同様である。
 図11に示す作業機の遠隔制御システム100では、記憶装置22と信号受付部21aとが作業機1に設けられている。これ以外の構成の設置箇所は、図1B~図5に示した実施形態と同様である。図11において、支援装置40は、作業機1の無線通信装置23と遠隔制御端末30との間で、第1監視要求信号、監視データ、遠隔操作信号などを中継する。支援装置40の通信部43は、携帯電話通信網51、固定電話通信網52、又はLAN(ローカルエリアネットワーク)53と、インターネット50を介して、作業機1の無線通信装置23及び遠隔制御端末30の通信部33と無線又は有線でそれぞれ相互に通信を行う。その他の各部の動作は、図1A~図8又は図9で説明した各部の動作と同様である。
 上述した実施形態では、支援装置40が作業機の遠隔制御システム100に含まれているが、図12に示す他の実施形態の作業機の遠隔制御システム100のように、支援装置を省略してもよい。図12に示す作業機の遠隔制御システム100では、作業機1の無線通信装置23と遠隔制御端末30とが、LAN53、携帯電話通信網51、固定電話通信網52、又はインターネット50などを介して無線で通信を行う。作業機1には、記憶装置22と信号受付部21aとが設けられている。
 図12において、遠隔制御端末30は、監視データを要求する監視要求信号を通信部33により作業機1の無線通信装置23に送信する。作業機1の制御装置21は、無線通信装置23に監視要求信号を受信すると、記憶装置22の監視データベース22dから監視データを読み出して、無線通信装置23により遠隔制御端末30に送信する。作業データベース22aに記憶された作業データも、上記監視データと同様の手順で、無線通信装置23から遠隔制御端末30に送信される。
 また、遠隔制御端末30は、遠隔操作信号を通信部33により無線通信装置23に送信する。無線通信装置23が遠隔操作信号を受信すると、信号受付部21aが当該遠隔操作信号を受け付けて、当該遠隔操作信号に付与された第2タイムスタンプが示す第2時間と同一の第1時間、又は第2時間より過去で且つ第2時間に最も近い第1時間を示す第1タイムスタンプが付与された特定の監視データと、最新の監視データとを、監視データベース22dから読み出す。そして、信号受付部21aは、当該特定の監視データと最新の監視データとの差分に基づいて、受け付けた遠隔操作信号の適否を判断し、当該判断結果に応じて、遠隔操作信号を有効化又は無効化する。その他の各部の動作は、図1A~図8、図9、又は図10で説明した各部の動作と同様である。
 また、他の実施形態として、作業機1の無線通信装置23と遠隔制御端末30とが、ネットワークを介さずに、例えば、赤外線信号、BLU(Bluetooth(登録商標) Low Energy)信号、又はUHF(Ultra High Frequency)信号などのような近距離無線信号で、監視データと遠隔操作指令とを直接通信してもよい。この場合、無線通信装置23と遠隔制御端末30とに、近距離無線通信用のインタフェイスをそれぞれ設ければよい。またこれ以外の構成は、図12に示した構成と同様にすればよい。
 上述した実施形態では、遠隔制御端末30に送信される監視データに、カメラ25cにより撮像した作業機1の周囲の画像データが含まれる例を示したが、例えば、カメラ25cを省略して、センサと対象物検出部25dとにより検出した作業機1などの周囲の状態を示すデータを、監視データとして作業機1の無線通信装置23又は支援装置40から遠隔制御端末30に送信するようにしてもよい。この場合、例えば、図13に示すような表示部38を遠隔制御端末30に設けてもよい。
 図13に示す表示部38は、例えば、タッチパネルに表示される画面であってもよいし、又は遠隔制御端末30の表面に印刷と成形などの加工により形成されていてもよい。後者の場合、印刷された文字とインジケータランプ39a~39k(図13に示す丸印)で表示欄D2aと通知欄M1a、M2aとをそれぞれ構成し、押しボタン型の操作キーB3a、B4aを設ければよい。インジケータランプ39a~39kは、LEDなどにより構成される。
 例えば、レーザセンサ25a又は超音波センサ25bと対象物検出部25dとにより、作業機1及び作業装置2の周囲に対象物が検出された場合には、当該検出結果を含む監視データを受信した遠隔制御端末30の制御部31が、対象物の有る方向に対応する表示欄D2aのインジケータランプ39a~39hを点灯(ハッチングで示す状態)させる。また、制御部31は、車両状態として、作業機1及び作業装置2が停止中であるか又は作業中であるかを通知するため、それぞれに対応する通知欄M1aのインジケータランプ39i、39jを点灯させる。また、制御部31は、遠隔操作信号が無効化されたことを通知するため、対応する通知欄M2aのインジケータランプ39kを点灯させる。作業機1が走行ルートL1に基づいて自動で走行と操舵を行いながら作業装置2により作業を行うことの開始指示を入力するために、走行作業開始キーB3aは操作される。作業機1が走行ルートL1に基づいて自動で走行と操舵を行いながら作業装置2により作業を行うことの停止指示を入力するために、走行作業停止キーB4aは操作される。
 上述した実施形態では、信号受付部41aが適切でないと判断した遠隔操作信号を、制御装置21に転送せずに破棄することにより無効化しているが、無効化の方法は、これに限定するものではない。例えば、信号受付部41aが適切でないと判断した遠隔操作信号を、制御装置21ではなくて、遠隔制御端末30にエラーメッセージとともに返信してもよい。また、作業機1に信号受付部21aを設けた場合には、例えば信号受付部21aが受け付けた遠隔操作信号を適切でないと判断すると、制御装置21の記憶部21e(図3)の所定の記憶領域に、当該遠隔操作信号に基づく作業機1(又は作業装置2)の動作制御を禁止するフラグ(「遠隔制御禁止フラグ」という。)をONすることにより、当該遠隔操作信号を無効化してもよい。この場合、遠隔制御禁止フラグがONであるときは、制御装置21が、無線通信装置23により受信した遠隔操作信号に基づいて、作業機1などの動作制御を実行しない。また、信号受付部21aは、遠隔制御禁止フラグをONしてから所定時間が経過したとき、又は次の遠隔操作信号を受け付けたときなどに、遠隔制御禁止フラグをOFFにしてもよい。
 上述した実施形態では、監視装置25が作業機1に設けられているが、これ以外に、例えば作業機1が作業を行う現場(圃場など)に、作業機1及び作業機1の周囲を監視する監視装置が設けられていてもよい。またこの場合、例えば、監視装置に無線で通信を行う通信部を設けて、当該通信部により監視装置の監視結果を示す監視データを、作業機1の無線通信装置23、遠隔制御端末30、又は支援装置40に送信するようにしてもよい。
 上述した実施形態では、作業機1の無線通信装置23、遠隔制御端末30の通信部33、又は支援装置40の通信部43が、携帯電話通信網51、固定電話通信網52、インターネット50、又はLAN53を介して相互に通信を行う例を示したが、通信網はこれらに限定するものではない。例えば、WAN(ワールドエリアネットワーク)、MAN(メトロポリタンエリアネットワーク)、VPN(仮想専用ネットワーク)、イーサネット、イントラネットなどのような広域ネットワーク若しくは狭域ネットワーク、又は公衆通信網を介して、無線通信装置23と通信部33、43が相互に通信するようにしてもよい。或いは、上記通信網とその他の通信網を組み合わせて、無線通信装置23と通信部33、43が相互に通信するようにしてもよい。
 以上説明した本実施形態の作業機の遠隔制御システム100は、以下の構成を備え、効果を奏する。
 本実施形態の作業機の遠隔制御システム100は、走行可能な作業機1の周辺を監視して、当該監視結果を示す監視データを出力する監視装置25と、監視データに第1タイムスタンプを付与する第1付与部21dと、監視データを当該監視データに付与された第1タイムスタンプとともに複数記憶可能な記憶装置42、22と、監視データを受信して当該監視データが示す監視結果を表示可能で且つ、操作されることで作業機1を遠隔操作する遠隔操作信号を送信する遠隔制御端末30と、遠隔制御端末30から遠隔操作信号が送信される際に、当該遠隔操作信号に第2タイムスタンプを付与する第2付与部31dと、遠隔制御端末30から送信された遠隔操作信号を受け付ける信号受付部41a、21aと、作業機1の動作を制御する制御装置21と、を備え、信号受付部41a、21aは、受け付けた遠隔操作信号に付与された第2タイムスタンプと、記憶装置42、22に記憶された監視データに付与された第1タイムスタンプとに基づいて、遠隔操作信号の適否を判断し、適切でないと判断した隔操作信号を無効化し、制御装置21は、信号受付部41a、21aにより適切であると判断された遠隔操作信号に基づいて、作業機1の動作を制御する。
 上記構成によれば、遠隔制御端末30による作業機1の遠隔制御時に、通信遅延が生じても、信号受付部41a、21aが遠隔操作信号を受け付けて、遠隔操作信号の第2タイムスタンプと、記憶装置42、22の監視データの第1タイムスタンプとに基づいて、遠隔操作信号の適否を判断する。そして、信号受付部41a、21aが、適切でないと判断した遠隔操作信号を無効化する。このため、通信遅延に起因した不適切な遠隔操作信号に基づいて、作業機1が無駄(無意味)に動作するのを回避することができる。また、例えば遠隔制御端末30に表示された監視データで示されなかった障害物(対象物)が、実際の作業機1の周囲に出現したときにも、通信遅延に起因した不適切な遠隔操作信号が無効化されるので、作業機1が当該遠隔操作信号に基づいて動作することによって障害物に衝突するのを回避することができる。よって、作業機1の遠隔制御時に、通信遅延が生じても、リスクヘッジを行うことが可能となる。また、信号受付部41a、21aが適切であると判断した遠隔操作信号に基づいて、制御装置21が作業機1の動作を制御するので、作業機1を有効且つ安定に動作させることが可能となる。
 本実施形態では、信号受付部41a、21aは、受け付けた遠隔操作信号に付与された第2タイムスタンプが示す第2時間と同一の第1時間、又は第2時間より過去で且つ第2時間に最も近い第1時間を示す第1タイムスタンプが付与された特定の監視データと、最新の監視データとを記憶装置42、22から取得して、当該特定の監視データと最新の監視データとの差分を検出し、当該差分が所定の程度を上回らなかった場合に、受け付けた遠隔操作信号が適切であると判断し、当該遠隔操作信号を制御装置21に転送して、制御装置21が当該遠隔操作信号に基づいて作業機1の動作を制御することを許容し、前記差分が所定の程度を上回った場合に、受け付けた遠隔操作信号が適切でないと判断し、当該遠隔操作信号を無効化して、制御装置21が当該遠隔操作信号に基づいて作業機1の動作を制御することを阻止する。
 上記によれば、遠隔制御端末30による作業機1の遠隔制御時に、通信遅延が生じて、遠隔制御端末30に表示されていた監視データと同等の特定の監視データで示されなかった障害物(対象物)が、記憶装置22に記憶された最新の監視データで示されたとき、即ち実際の作業機1の周囲に障害物が有るときに、遠隔制御端末30に表示されていた監視データと同等の特定の監視データと最新の監視データとの差分が所定の程度を上回る。そして、信号受付部41a、21aが、受け付けた遠隔操作信号を適切でないと判断して、当該遠隔操作信号を無効化するので、作業機1(又は作業装置2)が当該遠隔操作信号に基づいて動作(走行又は作業の開始など)することによって障害物に衝突するのを回避することができる。また、特定の監視データで示された作業機の周囲の状態に対して、最新の監視データで示された作業機の周囲の状態が大きく変化しているときにも、特定の監視データと最新の監視データとの差分が所定の程度を上回って、信号受付部41a、21aが受け付けた遠隔操作信号を無効化するので、作業機1が当該遠隔操作信号に基づいて無駄に動作するのを回避することができる。
 また、本実施形態では、第1付与部21dは、監視装置25から監視データを取得する度に、当該監視データに現在の時間を示す第1タイムスタンプを付与する。これにより、監視装置25から出力される全ての監視データを固有の時間情報を含む第1タイムスタンプで管理することができる。
 また、本実施形態では、第2付与部31dは、遠隔制御端末30から遠隔操作信号を送信する際に、当該遠隔操作信号に現在の時間を示す第2タイムスタンプを付与する。これにより、遠隔操作信号から送信する全ての遠隔操作信号を固有の時間情報を含む第2タイムスタンプで管理することができる。また、遠隔操作信号の送信時間と同等の第1タイムスタンプが付与された監視データを、記憶装置42、22から容易に読み出すことができる。
 また、本実施形態では、遠隔制御端末30は、表示部(表示操作部)34を有し、記憶装置42、22から最新の監視データを取得して、当該監視データが示す監視結果を表示部34に表示可能であり、第2付与部31dは、遠隔制御端末30の操作時に表示部34で表示されていた監視結果を示す監視データに付与された前記第1タイムスタンプを参照し、当該第1タイムスタンプが示す第1時間と同一の第2時間を示す第2タイムスタンプを、遠隔操作信号に付与する。これにより、遠隔操作信号から送信する全ての遠隔操作信号を、時間情報を含む第2タイムスタンプで管理することができる。また、オペレータ60による遠隔制御端末30の操作時に、表示部34に表示されていた監視データに相当する特定の監視データを、信号受付部41a、21aが記憶装置42、22から確実に取得することができる。
 また、本実施形態では、信号受付部41a、21aは、受け付けた遠隔操作信号が適切であると判断した場合、当該遠隔操作信号を制御装置21に転送することにより有効化し、受け付けた遠隔操作信号が適切でないと判断した場合、当該遠隔操作信号を制御装置21に転送せずに破棄することにより無効化する。これにより、遠隔制御端末30による作業機1の遠隔制御時に、通信遅延が生じても、制御装置21が適切な遠隔操作信号に基づいて、作業機1の動作を制御することができる。また、制御装置21が不適切な遠隔操作信号に基づいて、作業機1の動作を制御することを確実に阻止することができる。
 また、本実施形態では、信号受付部41a、21aは、遠隔操作信号を無効化したことを遠隔制御端末30に通知し、遠隔制御端末30は、表示部(表示操作部)34を有し、信号受付部41a、21aからの通知を受けて、当該通知の内容を表示部34に表示させる。これにより、オペレータ60は、遠隔制御端末30の表示部34を見て、入力した作業機1の動作指示に対応する遠隔操作信号が無効化されて、当該動作が作業機1で実行されなかったことを容易に把握することができる。
 また、本実施形態では、遠隔制御端末30は、オペレータ60により操作される操作部(表示操作部)34を有し、当該操作部34が操作されることによって入力された作業機1の動作指示に応じた遠隔操作信号を生成し、信号受付部41a、21aは、受け付けた遠隔操作信号に応じた動作指示に基づいて、当該遠隔操作信号の適否を判断する。これにより、信号受付部41a、21aが受け付けた全ての遠隔操作信号について適否を判断しないので、信号受付部41a、21aの処理負担を軽減し、特定の動作指示に応じた遠隔操作信号に基づいて、制御装置21が作業機1の動作制御を迅速に実行することができる。
 また、本実施形態では、遠隔制御端末30は、オペレータ60により操作される操作部(表示操作部)34を有し、当該操作部34が操作されることによって入力された作業機1の動作指示に応じた遠隔操作信号を生成し、信号受付部41a、21aは、受け付けた遠隔操作信号に応じた動作指示が、作業機1の走行又は作業機1に連結された作業装置2によって行う作業に関する動作指示である場合に、当該遠隔操作信号の適否を判断する。これにより、通信遅延に起因したリスクを伴う作業機1の走行又は作業に関する動作指示に応じた遠隔操作信号については、信号受付部41a、21aが適否を判断して、有効化又は無効化するので、当該リスクヘッジを行うことができる。また、通信遅延に起因したリスクを伴わない作業機1のその他の動作指示に応じた遠隔操作信号については、信号受付部41a、21aが適否を判断しないので、信号受付部41a、21aの処理負担を軽減し、当該遠隔操作信号に基づいて、制御装置21が作業機1の動作制御を迅速に実行することができる。
 また、図1A~図8の本実施形態では、作業機1に設けられ且つ無線で通信を行う通信装置(無線通信装置)23と、作業機1以外で且つ遠隔制御端末30以外に設けられた支援装置40と、を備え、遠隔制御端末30は、通信を行う第1通信部(通信部)33を有し、支援装置40は、通信装置23及び第1通信部33と通信を行う第2通信部(通信部)43を有し、監視装置25と第1付与部21dとは、作業機1に設けられ、第2付与部31dは、遠隔制御端末30に設けられ、記憶装置42と信号受付部41aとは、支援装置40に設けられている。これにより、作業機1の監視装置25から出力された監視データに第1タイムスタンプを付与してから、当該監視データを支援装置40の記憶装置42に保存することができる。また、支援装置40の信号受付部41aで遠隔制御端末30からの遠隔操作信号を受け付けて、当該遠隔操作信号の適否を判断してから、適切な遠隔操作信号を作業機1の制御装置21に送信し、不適切な遠隔操作信号を無効化することができる。
 また、図9~図11の本実施形態では、作業機1に設けられ且つ無線で通信を行う通信装置(無線通信装置)23と、作業機1以外で且つ遠隔制御端末30以外に設けられた支援装置40と、を備え、遠隔制御端末30は、通信を行う第1通信部(通信部)33を有し、支援装置40は、通信装置23及び第1通信部33と通信を行う第2通信部43を有し、監視装置25と第1付与部21dとは、作業機1に設けられ、第2付与部31dは、遠隔制御端末30に設けられ、記憶装置22、42と信号受付部21a、41aとは、作業機1又は支援装置40に設けられている。これにより、作業機1の監視装置25から出力された監視データに第1タイムスタンプを付与してから、当該監視データを支援装置40の記憶装置42又は作業機1の記憶装置22に保存することができる。また、支援装置40の信号受付部41a又は作業機1の信号受付部21aで遠隔制御端末30からの遠隔操作信号を受け付けて、当該遠隔操作信号の適否を判断してから、適切な遠隔操作信号を制御装置21に送り、不適切な遠隔操作信号を無効化することができる。
 また、図9~図11の実施形態では、通信装置23は、携帯電話通信網51、広域ネットワーク(インターネット)50、又は狭域ネットワーク(LAN)53を介して無線で通信を行い、第1通信部33及び第2通信部43は、携帯電話通信網51、固定電話通信網52、広域ネットワーク50、又は狭域ネットワーク53を介して無線若しくは有線で通信を行う。これにより、作業機1の遠隔制御時に、携帯電話通信網51、固定電話通信網52、広域ネットワーク50、又は狭域ネットワーク53の通信不具合により、作業機1の通信装置23、支援装置40、及び遠隔制御端末30の間で通信遅延が生じても、これに起因したリスクヘッジを行うことが可能となる。
 また、図12の実施形態では、作業機1に設けられ且つ無線で通信を行う通信装置(無線通信装置)23を備え、遠隔制御端末30は、通信を行う第1通信部33を有し、監視装置25と第1付与部21dと記憶装置22と信号受付部21aとは、作業機1に設けられ、第2付与部31dは、遠隔制御端末30に設けられている。これにより、作業機1の監視装置25から出力された監視データに第1タイムスタンプを付与してから、当該監視データを記憶装置22に保存することができる。また、作業機1の信号受付部21aで遠隔制御端末30からの遠隔操作信号を受け付けて、当該遠隔操作信号の適否を判断し、適切な遠隔操作信号に基づいて制御装置21により作業機1の動作制御を迅速に行うことができる。また、信号受付部21aで不適切な遠隔操作信号を無効化して、不適切な遠隔操作信号に起因するリスクを回避することができる。
 また、図12の実施形態では、通信装置(無線通信装置)23は、携帯電話通信網51、広域ネットワーク50、又は狭域ネットワーク53を介して無線で通信を行い、第1通信部33は、携帯電話通信網51、固定電話通信網52、広域ネットワーク50、又は狭域ネットワーク53を介して無線若しくは有線で通信を行う。これにより、作業機1の遠隔制御時に、携帯電話通信網51、固定電話通信網52、広域ネットワーク50、又は狭域ネットワーク53の通信不具合により、作業機1の通信装置23と遠隔制御端末30との間で通信遅延が生じても、これに起因したリスクヘッジを行うことが可能となる。
 また、本実施形態では、広域ネットワーク50は、インターネットから構成され、狭域ネットワーク53は、ローカルエリアネットワークから構成されている。これにより、作業機1の遠隔制御時に、インターネット又はローカルエリアネットワークの通信不具合により、作業機1の通信装置23、支援装置40、又は遠隔制御端末30の間で通信遅延が生じても、これに起因したリスクヘッジを行うことが可能となる。
 さらに、本実施形態では、作業機1は、圃場で農作業を行う農業機械から構成され、監視装置25は、前記農業機械に設けられ、前記農業機械の周辺にある対象物を検出するカメラ25c又はセンサ25a、25bを有し、監視データは、カメラ25cが撮像した前記農業機械の周辺の画像データ又はセンサの検出結果を示す検出データを含んでいる。これにより、農業機械から構成された作業機1の周辺の状態又は当該周辺の対象物をカメラ25c又はセンサ25a、25bにより監視して、当該監視結果を遠隔制御端末30に表示させることができる。このため、遠隔制御端末30を操作するオペレータ60が作業機1の周囲の状態を把握し易くなり、作業機1の遠隔操作を行い易くなる。また、農業機械から構成された作業機1の遠隔制御時に、通信遅延が生じても、リスクヘッジを行うことが可能となる。
 以上、本発明について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
  1  作業機(農業機械)
  2  作業装置
 21  制御装置
 21a、41a  信号受付部
 21d 第1付与部
 22、42  記憶装置
 23  無線通信装置(通信装置)
 25  監視装置
 25a レーザセンサ(センサ)
 25b 超音波センサ(センサ)
 25c カメラ
 30  遠隔制御端末
 31d 第2付与部
 33  通信部(第1通信部)
 34  表示操作部(表示部、操作部)
 38  表示部
 40  支援装置
 43  通信部(第2通信部)
 50  インターネット(広域ネットワーク)
 51  携帯電話通信網
 52  固定電話通信網
 53  LAN(狭域ネットワーク)
 60  オペレータ
 100 作業機の遠隔制御システム

Claims (16)

  1.  走行可能な作業機の周辺を監視して、当該監視結果を示す監視データを出力する監視装置と、
     前記監視データに第1タイムスタンプを付与する第1付与部と、
     前記監視データを当該監視データに付与された前記第1タイムスタンプとともに複数記憶可能な記憶装置と、
     前記監視データを受信して当該監視データが示す前記監視結果を表示可能で且つ、操作されることで前記作業機を遠隔操作する遠隔操作信号を送信する遠隔制御端末と、
     前記遠隔制御端末から前記遠隔操作信号が送信される際に、当該遠隔操作信号に第2タイムスタンプを付与する第2付与部と、
     前記遠隔制御端末から送信された前記遠隔操作信号を受け付ける信号受付部と、
     前記作業機の動作を制御する制御装置と、を備え、
     前記信号受付部は、受け付けた前記遠隔操作信号に付与された前記第2タイムスタンプと、前記記憶装置に記憶された前記監視データに付与された前記第1タイムスタンプとに基づいて、前記遠隔操作信号の適否を判断し、適切でないと判断した前記遠隔操作信号を無効化し、
     前記制御装置は、前記信号受付部により適切であると判断された前記遠隔操作信号に基づいて、前記作業機の動作を制御する作業機の遠隔制御システム。
  2.  前記信号受付部は、
     受け付けた前記遠隔操作信号に付与された前記第2タイムスタンプが示す第2時間と同一の第1時間、又は前記第2時間より過去で且つ前記第2時間に最も近い第1時間を示す前記第1タイムスタンプが付与された特定の前記監視データと、最新の前記監視データとを前記記憶装置から取得して、当該特定の監視データと最新の監視データとの差分を検出し、
     前記差分が所定の程度を上回らなかった場合に、受け付けた前記遠隔操作信号が適切であると判断し、当該遠隔操作信号を前記制御装置に転送して、前記制御装置が当該遠隔操作信号に基づいて前記作業機の動作を制御することを許容し、
     前記差分が所定の程度を上回った場合に、受け付けた前記遠隔操作信号が適切でないと判断し、当該遠隔操作信号を無効化して、前記制御装置が当該遠隔操作信号に基づいて前記作業機の動作を制御することを阻止する請求項1に記載の作業機の遠隔制御システム。
  3.  前記第1付与部は、前記監視装置から前記監視データを取得する度に、当該監視データに現在の時間を示す前記第1タイムスタンプを付与する請求項1又は2に記載の作業機の遠隔制御システム。
  4.  前記第2付与部は、前記遠隔制御端末から前記遠隔操作信号を送信する際に、当該遠隔操作信号に現在の時間を示す前記第2タイムスタンプを付与する請求項1~3のいずれか1項に記載の作業機の遠隔制御システム。
  5.  前記遠隔制御端末は、表示部を有し、前記記憶装置から最新の前記監視データを取得して、当該監視データが示す前記監視結果を前記表示部に表示可能であり、
     前記第2付与部は、前記遠隔制御端末の操作時に前記表示部で表示されていた前記監視結果を示す前記監視データに付与された前記第1タイムスタンプを参照し、当該第1タイムスタンプが示す第1時間と同一の第2時間を示す前記第2タイムスタンプを、前記遠隔操作信号に付与する請求項1~3のいずれか1項に記載の作業機の遠隔制御システム。
  6.  前記信号受付部は、
     受け付けた前記遠隔操作信号が適切であると判断した場合、当該遠隔操作信号を前記制御装置に転送することにより有効化し、
     受け付けた前記遠隔操作信号が適切でないと判断した場合、当該遠隔操作信号を前記制御装置に転送せずに破棄することにより無効化する請求項1~5のいずれか1項に記載の作業機の遠隔制御システム。
  7.  前記信号受付部は、前記遠隔操作信号を無効化したことを前記遠隔制御端末に通知し、
     前記遠隔制御端末は、表示部を有し、前記信号受付部からの前記通知を受けて、当該通知の内容を前記表示部に表示させる請求項1~6のいずれか1項に記載の作業機の遠隔制御システム。
  8.  前記遠隔制御端末は、オペレータにより操作される操作部を有し、当該操作部が操作されることによって入力された前記作業機の動作指示に応じた前記遠隔操作信号を生成し、
     前記信号受付部は、受け付けた前記遠隔操作信号に応じた前記動作指示に基づいて、当該遠隔操作信号の適否を判断する請求項1~7のいずれか1項に記載の作業機の遠隔制御システム。
  9.  前記遠隔制御端末は、オペレータにより操作される操作部を有し、当該操作部が操作されることによって入力された前記作業機の動作指示に応じた前記遠隔操作信号を生成し、
     前記信号受付部は、受け付けた前記遠隔操作信号に応じた前記動作指示が、前記作業機の走行又は前記作業機に連結された作業装置によって行う作業に関する動作指示である場合に、当該遠隔操作信号の適否を判断する請求項1~7のいずれか1項に記載の作業機の遠隔制御システム。
  10.  前記作業機に設けられ且つ無線で通信を行う通信装置と、
     前記作業機以外で且つ前記遠隔制御端末以外に設けられた支援装置と、を備え、
     前記遠隔制御端末は、通信を行う第1通信部を有し、
     前記支援装置は、前記通信装置及び前記第1通信部と通信を行う第2通信部を有し、
     前記監視装置と前記第1付与部とは、前記作業機に設けられ、
     前記第2付与部は、前記遠隔制御端末に設けられ、
     前記記憶装置と前記信号受付部とは、前記支援装置に設けられている請求項1~9のいずれか1項に記載の作業機の遠隔制御システム。
  11.  前記作業機に設けられ且つ無線で通信を行う通信装置と、
     前記作業機以外で且つ前記遠隔制御端末以外に設けられた支援装置と、を備え、
     前記遠隔制御端末は、通信を行う第1通信部を有し、
     前記支援装置は、前記通信装置及び前記第1通信部と通信を行う第2通信部を有し、
     前記監視装置と前記第1付与部とは、前記作業機に設けられ、
     前記第2付与部は、前記遠隔制御端末に設けられ、
     前記記憶装置と前記信号受付部とは、前記作業機又は前記支援装置に設けられている請求項1~9のいずれか1項に記載の作業機の遠隔制御システム。
  12.  前記通信装置は、携帯電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線で通信を行い、
     前記第1通信部及び前記第2通信部は、携帯電話通信網、固定電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線若しくは有線で通信を行う請求項10又は11に記載の作業機の遠隔制御システム。
  13.  前記作業機に設けられ且つ無線で通信を行う通信装置を備え、
     前記遠隔制御端末は、通信を行う第1通信部を有し、
     前記監視装置と前記第1付与部と前記記憶装置と前記信号受付部とは、前記作業機に設けられ、
     前記第2付与部は、前記遠隔制御端末に設けられている請求項1~9のいずれか1項に記載の作業機の遠隔制御システム。
  14.  前記通信装置は、携帯電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線で通信を行い、
     前記第1通信部は、携帯電話通信網、固定電話通信網、広域ネットワーク、又は狭域ネットワークを介して無線若しくは有線で通信を行う請求項13に記載の作業機の遠隔制御システム。
  15.  前記広域ネットワークは、インターネットから構成され、
     前記狭域ネットワークは、ローカルエリアネットワークから構成されている請求項12又は14に記載の作業機の遠隔制御システム。
  16.  前記作業機は、圃場で農作業を行う農業機械から構成され、
     前記監視装置は、前記農業機械に設けられて、前記農業機械の周辺にある対象物を検出するカメラ又はセンサを有し、
     前記監視データは、前記カメラが撮像した前記農業機械の周辺の画像データ又は前記センサの検出結果を示す検出データを含んでいる請求項1~15のいずれか1項に記載の作業機の遠隔制御システム。
PCT/JP2022/038144 2021-11-18 2022-10-13 作業機の遠隔制御システム Ceased WO2023089996A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280076770.7A CN118284863A (zh) 2021-11-18 2022-10-13 作业机的远程控制系统
AU2022393357A AU2022393357A1 (en) 2021-11-18 2022-10-13 Remote control system for work machine
EP22895282.6A EP4435547A4 (en) 2021-11-18 2022-10-13 Remote control system for work machine
JP2023561454A JP7757419B2 (ja) 2021-11-18 2022-10-13 作業機の遠隔制御システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021187953 2021-11-18
JP2021-187953 2021-11-18

Publications (1)

Publication Number Publication Date
WO2023089996A1 true WO2023089996A1 (ja) 2023-05-25

Family

ID=86396826

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/038144 Ceased WO2023089996A1 (ja) 2021-11-18 2022-10-13 作業機の遠隔制御システム

Country Status (5)

Country Link
EP (1) EP4435547A4 (ja)
JP (1) JP7757419B2 (ja)
CN (1) CN118284863A (ja)
AU (1) AU2022393357A1 (ja)
WO (1) WO2023089996A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110687A (ja) * 2011-11-24 2013-06-06 Omron Automotive Electronics Co Ltd 車両用携帯機および情報通信システム
JP2017200125A (ja) * 2016-04-28 2017-11-02 ヤンマー株式会社 無線通信システム
JP2018126851A (ja) * 2017-02-10 2018-08-16 日本電信電話株式会社 遠隔操作通信システム及びその中継方法並びにプログラム
JP2019126268A (ja) * 2018-01-22 2019-08-01 株式会社クボタ 農業支援装置及び農業支援システム
JP2020027606A (ja) * 2018-08-09 2020-02-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法、情報処理装置、及び、情報処理システム
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
WO2021166267A1 (ja) * 2020-02-21 2021-08-26 日本電信電話株式会社 通信遅延測定装置、通信遅延測定方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9488979B1 (en) * 2015-04-14 2016-11-08 Zipline International Inc. System and method for human operator intervention in autonomous vehicle operations
SE539699C2 (en) 2016-04-21 2017-10-31 Construction Tools Pc Ab Safety system, method and computer program for remotely controlled work vehicles
JP6726128B2 (ja) 2017-03-31 2020-07-22 ヤンマーパワーテクノロジー株式会社 農作業車両の自律走行システム
WO2018191514A1 (en) 2017-04-12 2018-10-18 Marble Robot, Inc. Method for sensor data processing
CN107589745B (zh) 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
JP6943143B2 (ja) 2017-10-31 2021-09-29 株式会社豊田自動織機 産業車両用遠隔操作システム、産業車両、産業車両用遠隔操作プログラム及び産業車両用遠隔操作方法
CN109326110B (zh) 2018-10-18 2020-05-22 朱泉昊 无人机控制装置、无人机、无人机系统及控制方法
US11112790B2 (en) 2018-12-21 2021-09-07 GM Global Technology Operations LLC Micro-authorization of remote assistance for an autonomous vehicle
EP3702864B1 (en) * 2019-02-27 2021-10-27 Ree Technology GmbH Accounting for latency in teleoperated remote driving
WO2021166580A1 (ja) * 2020-02-19 2021-08-26 ヤンマーパワーテクノロジー株式会社 自律走行システム
CN112000106A (zh) 2020-09-07 2020-11-27 新石器慧义知行智驰(北京)科技有限公司 一种无人车远程驾驶处理系统和方法
CN112256004A (zh) 2020-12-08 2021-01-22 新石器慧义知行智驰(北京)科技有限公司 无人驾驶车辆的远程驾驶控制装置、控制方法及无人驾驶车辆
CN112714167B (zh) 2020-12-22 2022-06-07 北京百度网讯科技有限公司 用于远程控制的通信方法、云端服务器、驾驶舱和车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110687A (ja) * 2011-11-24 2013-06-06 Omron Automotive Electronics Co Ltd 車両用携帯機および情報通信システム
JP2017200125A (ja) * 2016-04-28 2017-11-02 ヤンマー株式会社 無線通信システム
JP2018126851A (ja) * 2017-02-10 2018-08-16 日本電信電話株式会社 遠隔操作通信システム及びその中継方法並びにプログラム
JP2019126268A (ja) * 2018-01-22 2019-08-01 株式会社クボタ 農業支援装置及び農業支援システム
JP2020027606A (ja) * 2018-08-09 2020-02-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理方法、情報処理装置、及び、情報処理システム
JP2021072091A (ja) * 2019-10-30 2021-05-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 計算負荷分散方法、計算負荷分散装置、可動物体、データ処理方法、データ処理装置、およびプログラム
WO2021166267A1 (ja) * 2020-02-21 2021-08-26 日本電信電話株式会社 通信遅延測定装置、通信遅延測定方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4435547A4

Also Published As

Publication number Publication date
AU2022393357A1 (en) 2024-05-23
JP7757419B2 (ja) 2025-10-21
EP4435547A1 (en) 2024-09-25
EP4435547A4 (en) 2025-11-12
JPWO2023089996A1 (ja) 2023-05-25
CN118284863A (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
AU2022202920B2 (en) System and method for autonomous operation of a machine
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6727971B2 (ja) 作業車
US20220264784A1 (en) Automatic Travel System
JP6663506B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6726128B2 (ja) 農作業車両の自律走行システム
US20220221299A1 (en) Update method of map data and map information system
EP3872740B1 (en) Assistance device and assistance method
JP2020175890A (ja) 作業車
WO2023089996A1 (ja) 作業機の遠隔制御システム
JP2020166689A (ja) 車両遠隔監視システム、車両遠隔監視装置、及び車両遠隔監視方法
KR20230010168A (ko) 자동 주행 방법, 자동 주행 시스템, 및 자동 주행 프로그램
EP4548738A1 (en) Assistance system for agricultural machine
WO2020181396A1 (es) Un método de asistencia para la tele-operación de vehículos en túneles, por ejemplo, túneles mineros
KR20250144280A (ko) 동작 제어 방법, 동작 제어 프로그램, 및 동작 제어 시스템
US20250013246A1 (en) Traveling control method, traveling control program, and traveling control system
JP2025130017A (ja) 制御方法、制御プログラム、及び制御システム
US20250165003A1 (en) Autonomous movable body control system, autonomous movable body, and control device
WO2024219350A1 (ja) 遠隔装置および遠隔操縦システム
JP2024094637A (ja) 遠隔装置および遠隔操縦システム
KR20250097670A (ko) 표시 제어 방법, 표시 제어 프로그램, 및 표시 제어 시스템
NZ787784A (en) System and method for autonomous operation of a machine

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895282

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202417035182

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2023561454

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2401002980

Country of ref document: TH

WWE Wipo information: entry into national phase

Ref document number: 202280076770.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022393357

Country of ref document: AU

Date of ref document: 20221013

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022895282

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022895282

Country of ref document: EP

Effective date: 20240618