WO2021152741A1 - Crop-growing system - Google Patents
Crop-growing system Download PDFInfo
- Publication number
- WO2021152741A1 WO2021152741A1 PCT/JP2020/003234 JP2020003234W WO2021152741A1 WO 2021152741 A1 WO2021152741 A1 WO 2021152741A1 JP 2020003234 W JP2020003234 W JP 2020003234W WO 2021152741 A1 WO2021152741 A1 WO 2021152741A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- crop
- data
- flight
- disease
- drone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/45—UAVs specially adapted for particular uses or applications for releasing liquids or powders in-flight, e.g. crop-dusting
Definitions
- the present invention relates to a crop growing system that remotely monitors crops and sprays pesticides, fertilizers, etc. on the crops based on the monitoring results.
- drones multicopters
- spraying chemicals such as pesticides and liquid fertilizers on agricultural land (fields).
- fields Especially in relatively small farmlands, it is often appropriate to use drones instead of manned airplanes and helicopters.
- Patent Document 1 an aerial photograph of agricultural land is taken with a drone, an area and amount of pesticide to be sprayed are specified based on the obtained image, and a flight for efficiently spraying the specified amount of pesticide to the specified area.
- a pesticide spraying method has been proposed in which a route, etc. is planned and pesticides are sprayed by a drone according to the plan.
- the pathological diagnosis system that photographs agricultural products by aerial photography of a drone and diagnoses the morbidity of the agricultural products based on the images obtained by the photography, the agricultural products that the system diagnoses as having the disease are engaged in agriculture. There is a need for a person to make a self-diagnosis of whether the crop is really affected by the disease and to what extent the disease is progressing, and to confirm the validity of the diagnosis of the system. be.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a user such as an agricultural worker with a means for determining the morbidity of a crop.
- the crop growing system according to the present invention is mounted on an unmanned aircraft flying over a farmland, and includes one or more measuring means for measuring a physical quantity representing the state of the crops planted on the farmland, and the one or more measuring means. Based on the data showing the measurement result by at least one, it was diagnosed by the diagnostic means for diagnosing whether or not the crops cultivated on the farmland are sick, and the diagnosing means. Additional data indicating the measurement results of the crop by one or more measuring means and different from the information used by the diagnostic means for the diagnosis of the crop corresponds to the crop identification data for identifying the crop. It is provided with a recording means for attaching and recording.
- FIG. 1 It is a figure which shows the structure of the crop growing system which is one Embodiment of this invention. It is a figure which shows the structure of the drone in the same embodiment. It is a figure which shows the structure of the drone. It is a figure which shows the structure of the drone. It is a figure which shows the structure of the drone. It is a figure which shows the structure of the drone. It is a figure which shows the structure of the drone. It is a figure which shows the structure of the drone. It is a block diagram which shows the structure of the drone. It is a block diagram which shows the functional structure of the data processing apparatus in the drone. It is a block diagram which shows the structure of the server in the same embodiment. It is a block diagram which shows the functional structure of the CPU of the server. It is a figure which shows the structure of the crop map in the same embodiment.
- FIG. 1 is a diagram showing a configuration of a crop growing system according to an embodiment of the present invention.
- the field 403 is an agricultural land such as a rice field or a field where crops are cultivated.
- the base station 404 has both a function as a master unit for Wi-Fi communication and a function as an RTK-GPS base station.
- the user terminal 401 is a terminal operated by the agricultural worker 402 who is a user, and communicates with the drone 100 or the server 405 via the base station 404 and the network.
- the user terminal 401 may be realized by a portable information device such as a general tablet terminal that executes a computer program.
- the user terminal 401 has a touch panel as a user interface.
- Drone 100 is an unmanned aerial vehicle equipped with an autonomous flight function.
- the drone 100 has the following main functions.
- the first function is to take a picture of each crop while flying over several tens of centimeters of the crop so as to scan the entire area of the field 403 according to the flight photography plan given in advance, and image of each crop. It is a flight photography function that diagnoses the morbidity of crops based on the above.
- the second function is a flight re-photographing function of flying while passing through a specific position in the field 403 and photographing the crops at the specific position according to the flight re-imaging plan given in advance.
- the third function is a flight spraying function that flies while passing through a specific position in the field 403 and sprays pesticides on the crops at the specific position according to the flight spraying plan given in advance.
- the drone 100 takes off from the departure / arrival point 406 outside the field 403 and returns to the departure / arrival point 406 after spraying the pesticide on the field 403 or when pesticide replenishment, charging, or the like is required.
- the server 405 is typically a group of computers and related software operated on a cloud service.
- This server 405 has the following main functions.
- the first function is a function of acquiring information indicating a crop planting position, an image and a diagnosis result from the drone 100 and saving it as a crop map in the process of taking a flight image of the drone 100.
- the second function is the editing function of the crop map.
- an image showing a crop map is provided to the user terminal 401 according to an instruction from the user terminal 401.
- the image of the instructed agricultural product is provided to the user terminal 401.
- the instruction for re-photographing the crop at a specific position is written in the crop map.
- the instruction of spraying the pesticide to the crop at a specific position is written in the crop map.
- the third function is to generate a flight re-photographing plan for re-imaging the instructed crop based on the crop map in which the re-photographing instruction is written, and provide the drone 100 with the re-photographing plan.
- the fourth function is to generate a flight spraying plan for spraying pesticides on the designated crops based on the crop map in which the instructions for spraying pesticides are written, and provide the drone 100 with the flight spraying plan.
- the fifth function is a function of relaying a flight re-photographing instruction or a flight spraying instruction transmitted from the user terminal 401 to the drone 100.
- the drone 100 will be described.
- the drone is regardless of the power means (electric power, prime mover, etc.) and the maneuvering method (wireless or wired, autonomous flight type, manual maneuvering type, etc.). It refers to all unmanned aerial vehicles with multiple rotors.
- the rotor blades 101-1a, 101-1b, 101-2a, 101-2b, 101-3a, 101-3b, 101-4a, 101-4b are It is a means for flying the drone 100, and is equipped with eight aircraft (four sets of two-stage rotor blades) in consideration of the balance between flight stability, aircraft size, and battery consumption.
- the motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 102-4a, 102-4b are the rotary blades 101-1a, 101-1b, 101-2a, 101-. It is a means for rotating 2b, 101-3a, 101-3b, 101-4a, 101-4b (typically, it is an electric motor, but it may be a motor, etc.), and one machine is provided for one rotary blade. Has been done.
- the motor 102 is an example of a propulsion device.
- the upper and lower rotors (eg, 101-1a and 101-1b) in one set and the corresponding motors (eg, 102-1a and 102-1b) are used for drone flight stability and the like.
- the axes are on the same straight line and rotate in opposite directions. Although some rotor blades 101-3b and motor 102-3b are not shown, their positions are self-explanatory and are in the positions shown if there is a left side view. As shown in FIGS. 3 and 4, the radial members for supporting the propeller guards provided so that the rotor does not interfere with foreign matter have a rather wobbling structure rather than a horizontal one. This is to encourage the member to buckle outside the rotor in the event of a collision and prevent it from interfering with the rotor.
- the drug nozzles 103-1, 103-2, 103-3, 103-4 are means for spraying the drug downward, and are provided with four machines.
- the term "pharmaceutical” generally refers to a liquid or powder sprayed on a field such as a pesticide, a herbicide, a liquid fertilizer, an insecticide, a seed, and water.
- the drug tank 104 is a tank for storing the sprayed drug, and is provided at a position close to the center of gravity of the drone 100 and at a position lower than the center of gravity from the viewpoint of weight balance.
- the drug hoses 105-1, 105-2, 105-3, 105-4 are means for connecting the drug tank 104 and the drug nozzles 103-1, 103-2, 103-3, 103-4, and are rigid. It may be made of the above material and also serve to support the drug nozzle.
- the pump 106 is a means for discharging the drug from the nozzle.
- FIG. 7 shows a block diagram showing the control function of the drone 100.
- the data processing device 501 is a component that controls the entire drone, and may be an embedded computer including a CPU, memory, related software, and the like.
- the data processing device 501 uses the motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104 via a control means such as ESC (Electronic Speed Control).
- the flight of the drone 100 is controlled by controlling the rotation speed of ⁇ b.
- the actual rotation speeds of the motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 104-a, 104-b are fed back to the data processing device 501, and the normal rotation is achieved. It is configured to monitor whether it is being performed.
- the rotary blade 101 may be provided with an optical sensor or the like so that the rotation of the rotary blade 101 is fed back to the data processing device 501.
- the software used by the data processing device 501 can be rewritten through a storage medium or the like for function expansion / change, problem correction, etc., or through communication means such as Wi-Fi communication or USB. In this case, protection is performed by encryption, checksum, electronic signature, virus check software, etc. so that rewriting by malicious software is not performed. Further, a part of the calculation process used by the data processing device 501 for control may be executed by another computer existing on the user terminal 401, the server 405, or somewhere else. Since the data processing device 501 is of high importance, some or all of its components may be duplicated.
- the battery 502 is a means for supplying electric power to the data processing device 501 and other components of the drone, and may be rechargeable.
- the battery 502 is connected to the data processing device 501 via a fuse, a power supply unit including a circuit breaker, or the like.
- the battery 502 may be a smart battery having a function of transmitting its internal state (storage amount, integrated usage time, etc.) to the data processing device 501 in addition to the power supply function.
- the data processing device 501 can communicate with the user terminal 401 and the server 405 via the Wi-Fi slave unit 503 (an example of transmission means) and further via the base station 404.
- the communication may be encrypted so as to prevent fraudulent acts such as interception, spoofing, and device hijacking.
- the base station 404 also has a Wi-Fi communication function and a function as an RTK-GPS base station. Therefore, by combining the signal of the RTK base station and the signal from the GPS positioning satellite, the GPS module 504 can measure the absolute position of the drone 100 with an accuracy of about 2 cm. Since the GPS module 504 is so important, it may be duplicated / multiplexed, and each redundant GPS module 504 should use a different satellite in order to cope with the failure of a specific GPS satellite. It may be controlled.
- the 6-axis gyro sensor 505 is a means for measuring the acceleration of the drone body in three directions orthogonal to each other (furthermore, a means for calculating the velocity by integrating the acceleration).
- the 6-axis gyro sensor 505 is a means for measuring the change in the attitude angle of the drone body in the above-mentioned three directions, that is, the angular velocity.
- the geomagnetic sensor 506 is a means for measuring the direction of the drone body by measuring the geomagnetism.
- the barometric pressure sensor 507 is a means for measuring barometric pressure, and can also indirectly measure the altitude of the drone.
- the laser sensor 508 is a means for measuring the distance between the drone body and the ground surface by utilizing the reflection of the laser beam, and may be an IR (infrared) laser.
- the sonar 509 is a means for measuring the distance between the drone body and the ground surface by utilizing the reflection of sound waves such as ultrasonic waves. These sensors may be selected according to the cost target and performance requirements of the drone. Further, a gyro sensor (angular velocity sensor) for measuring the inclination of the aircraft, a wind force sensor for measuring the wind force, and the like may be added. Further, these sensors may be duplicated or multiplexed.
- the data processing device 501 may use only one of them, and when it fails, it may be switched to an alternative sensor for use.
- a plurality of sensors may be used at the same time, and if the measurement results do not match, it may be considered that a failure has occurred.
- the flow rate sensor 510 is a means for measuring the flow rate of the drug, and is provided at a plurality of locations on the path from the drug tank 104 to the drug nozzle 103.
- the liquid drainage sensor 511 is a sensor that detects that the amount of the drug has fallen below a predetermined amount.
- the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c are cameras for photographing agricultural products, respectively, and function as measuring means for measuring physical quantities indicating the state of agricultural products planted on the farmland.
- the visible light camera 512a captures the entire wavelength band of visible light of sunlight reflected by agricultural products.
- the first spectrum camera 512b disperses and photographs red light, for example, a component in a wavelength band near 680 nm in the sunlight reflected by the agricultural product.
- the second spectrum camera 512c disperses and photographs near-infrared light, for example, a component in a wavelength band near 780 nm in the sunlight reflected by the agricultural crop.
- the first spectrum camera 512b and the second spectrum camera 512c are used as the first photographing means, and the diagnosis regarding the morbidity of the crop is performed based on the images obtained from the first photographing means.
- the visible light camera 512a is used as the second photographing means, and the image obtained from the second photographing means is provided to the agricultural worker 402 who is the user of the user terminal 401 as additional data.
- Obstacle detection camera 513 is a camera for detecting drone obstacles.
- the switch 514 is a means for the agricultural worker 402 using the drone 100 to make various settings.
- the obstacle contact sensor 515 is a sensor for detecting that the drone 100, particularly its rotor or propeller guard portion, has come into contact with an obstacle such as an electric wire, a building, a human body, a standing tree, a bird, or another drone. ..
- the cover sensor 516 is a sensor that detects that the operation panel of the drone 100 and the cover for internal maintenance are in the open state.
- the drug injection port sensor 517 is a sensor that detects that the injection port of the drug tank 104 is in an open state.
- sensors may be selected according to the cost target and performance requirements of the drone, and may be duplicated or multiplexed.
- a sensor may be provided at the base station 404 outside the drone 100, the user terminal 401, or some other place, and the read information may be transmitted to the drone.
- a wind power sensor may be provided in the base station 404 to transmit information on the wind power and the wind direction to the drone 100 via Wi-Fi communication.
- the data processing device 501 transmits a control signal to the pump 106 to adjust the drug discharge amount and stop the drug discharge.
- the current state of the pump 106 (for example, the number of revolutions) is fed back to the data processing device 501.
- the LED107 is a display means for notifying the drone operator of the state of the drone.
- a display means such as a liquid crystal display may be used instead of the LED or in addition to the LED.
- the buzzer 518 is an output means for notifying the state of the drone (particularly the error state) by an audio signal.
- the Wi-Fi slave unit function 519 is an optional component for communicating with an external computer or the like for transferring software, for example, in addition to the user terminal 401. In place of or in addition to the Wi-Fi slave function, other wireless communication means such as infrared communication, Bluetooth®, ZigBee®, NFC, or wired communication means such as USB connection. You may use it.
- the speaker 520 is an output means for notifying the state of the drone (particularly the error state) by means of a recorded human voice, synthetic voice, or the like. Depending on the weather conditions, it may be difficult to see the visual display of the drone 100 in flight. In such a case, it is effective to convey the situation by voice.
- the warning light 521 is a display means such as a strobe light for notifying the state of the drone (particularly the error state).
- FIG. 8 is a block diagram showing a functional configuration of the data processing device 501.
- the data processing device 501 includes a CPU 710 and a storage unit 720 including a non-volatile memory and a volatile memory.
- a communication processing unit 711 In the box showing the CPU 710, a communication processing unit 711, a diagnosis unit 712, a flight imaging control unit 713, a flight re-imaging control unit 714, and a flight spray control unit 715 are shown. These are the functions realized by the CPU 710 executing the program in the storage unit 720.
- the flight shooting plan 721, the flight reshooting plan 722, and the flight spraying plan 723 are stored in the storage unit 720. These are given by the server 405 and stored in the storage unit 720.
- the flight photography plan 721 includes information indicating the route on the field 403 that the drone 100 should fly for flight photography.
- the flight re-photographing plan 722 indicates information indicating a route on the field 403 to which the drone 100 should fly for flight re-imaging, a position on which the crop should be re-photographed, and conditions for re-imaging. Including information.
- the flight spraying plan 723 includes information indicating a route on the field 403 to which the drone 100 should fly for flight spraying, and information indicating the crop location and spray amount on which the pesticide should be sprayed. ..
- the communication processing unit 711 is a means for communicating with the server 405 or the user terminal 401.
- the diagnostic unit 712 (an example of the diagnostic means) captures an image of the agricultural product, specifically, an image of the agricultural product taken by the first spectrum camera 512b and the second spectrum camera 512c (an example of data showing the measurement result by the measuring means). It is a means to generate diagnostic result data for agricultural products by analysis. This diagnostic result data indicates whether or not the crop is affected by the disease, the type of the disease affected, and the degree of morbidity such as mild or severe.
- the flight shooting control unit 713 When the flight shooting control unit 713 receives the flight shooting instruction from the user terminal 401 via the server 405, the flight shooting control unit 713 controls the drone 100 to perform the flight shooting according to the flight shooting plan 721 in the storage unit 720. ..
- the flight imaging control unit 713 has motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, for flying the drone 100 according to the route defined in the flight imaging plan 721.
- the rotation speeds of 102-3b, 104-a, and 104-b are controlled.
- the flight imaging control unit 713 measures the three-dimensional position of the drone 100 measured by a position measuring means such as the GPS module 504 and the drone measured by the 6-axis gyro sensor 505 while the drone 100 is performing flight imaging. Based on the postures of 100, the shooting positions (positions of the shooting subjects) of the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c are calculated.
- each image obtained from the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c is associated with each shooting position, and images having the same shooting position and reflecting the same agricultural product are associated with each other. And hand it over to the diagnostic unit 712. At this time, the flight imaging control unit 713 records the image delivered to the diagnosis unit 712 in the temporary storage area of the storage unit 720.
- the diagnostic unit 712 generates diagnostic result data regarding the morbidity of agricultural crops based on the images obtained from the first spectrum camera 512b and the second spectrum camera 512c among the handed over data, and sends the flight imaging control unit 713. return.
- the flight imaging control unit 713 causes the agricultural product to become sick among the images of the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c recorded in the temporary storage area of the storage unit 720 and handed over to the diagnosis unit 712.
- the image of the agricultural product for which the diagnosis result data indicating that the patient has been affected is returned is handed over to the communication processing unit 711 together with the identification data (agricultural product identification data) of the agricultural product and the diagnosis result data.
- the communication processing unit 711 transmits the delivered data to the server 405.
- the identification data is data for identifying the crop, specifically, data indicating the planting position of the diseased crop in the field 403.
- the flight imaging control unit 713 discards the image data in the storage unit 720 after the image data of the agricultural product is transmitted to the server 405 together with the identification data and the diagnosis result data. Further, when the flight imaging control unit 713 receives the diagnosis result data indicating that the crop does not suffer from a disease, the flight imaging control unit 713 promptly deletes the image data of each camera corresponding to the crop in the storage unit 720.
- the flight re-shooting control unit 714 When the flight re-shooting control unit 714 receives the flight re-shooting instruction from the user terminal 401 via the server 405, the flight re-shooting control unit 714 causes the drone 100 to perform the flight re-shooting according to the flight re-shooting plan 722 in the storage unit 720. To control.
- the flight re-shooting control unit 714 controls to fly the drone 100 according to the route defined in the flight re-shooting plan 722.
- the flight re-imaging control unit 714 sets the drone 100 at a position where it is possible to photograph the agricultural products at the imaging position specified in the flight re-imaging plan 722 under the imaging conditions (for example, the imaging direction) specified in the plan.
- the visible light camera 512a is made to shoot under the shooting position and shooting conditions, and the image shot by the visible light camera 512a is transmitted to the server 405 by the communication processing unit 711. ..
- the flight spray control unit 715 When the flight spray control unit 715 receives the flight spray instruction from the user terminal 401 via the server 405, the flight spray control unit 715 controls the drone 100 to perform the flight spray according to the flight spray plan 723 in the storage unit 720. ..
- the flight spray control unit 715 controls to fly the drone 100 according to the route defined in the flight spray plan 723. Further, the flight re-imaging control unit 714 stops the drone 100 at a position where spraying to the spraying position specified in the flight spraying plan 723 is possible, and causes the pump 106 to spray the pesticide to the spraying position. At that time, the flight spray control unit 715 controls the pump 106 so that the pesticide in the spray amount specified in the flight spray plan 723 is sprayed.
- FIG. 9 is a block diagram showing the configuration of the server 405.
- FIG. 9 shows the user terminal 401, the drone 100, the solar radiation amount sensor 601 and the rainfall sensor 602 together with the server 405.
- the server 405 communicates with a CPU 810 that controls the whole, a storage unit 820 that stores programs and data, and a communication partner such as a user terminal 401, a drone 100, an insolation sensor 601 and a rainfall sensor 602. 830 (an example of a transmission means) and a communication unit 830 (an example of a transmission means).
- the CPU 810 is an aggregate of CPUs of a plurality of computers provided by a cloud service.
- the storage unit 820 is an aggregate of storage devices owned by a plurality of computers provided by the cloud service.
- FIG. 10 is a block diagram showing a functional configuration of the CPU 810.
- various data stored in the storage unit 820 are shown together with the CPU 810 in order to make the functional configuration of the CPU 810 easy to understand.
- FIG. 10 in the box showing the CPU 810, a communication processing unit 811, a recording unit 812, a map editing unit 813, a flight rephotographing plan generation unit 814, and a flight spraying plan generation unit 815 are shown. These are functions realized by the CPU 810 executing a program (not shown) in the storage unit 820.
- the communication processing unit 811 is a means for controlling communication with a communication partner such as the user terminal 401, the drone 100, the solar radiation amount sensor 601 and the rainfall sensor 602 shown in FIG.
- the recording unit 812 is a means for receiving the data transmitted from the drone 100 in the process of the drone 100 performing flight photographing or flight re-imaging, forming the crop map 821, and storing it in the storage unit 820.
- FIG. 11 is a diagram illustrating the crop map 821.
- the data corresponding to one crop includes identification data, diagnosis result data, image data, rephotographing instruction data, photographing condition data, spraying instruction data, and spraying amount data.
- the identification data is data that identifies the crop, specifically data that indicates the cropping position (for example, latitude and longitude) of the crop.
- the diagnosis result data is data indicating whether or not the crop is affected by a disease, the type of the disease affected, and the degree of the disease. As described above, in the process of flight photography, identification data, diagnosis result data and image data are transmitted from the drone 100 to the server 405 only for the crops suffering from the disease.
- the diagnostic result data constituting the crop map 821 does not include the diagnostic result data indicating no morbidity, and all the diagnostic result data show the morbidity of the disease.
- the image data includes each image data taken by the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c, respectively. Of these, each image data taken by the first spectrum camera 512b and the second spectrum camera 512c is the image data used for diagnosing the disease of the agricultural product. In addition, the image data taken by the visible light camera 512a is additional data that was not used for diagnosing the morbidity of the crop.
- the re-photographing instruction data is data instructing whether to re-photograph the crop (ON) or not (OFF).
- the shooting condition data is data indicating the conditions for reshooting (for example, the shooting direction).
- the spraying instruction data is data instructing whether to spray (ON) or not (OFF) the pesticide on the crop.
- the spray amount data is data showing the amount of pesticide to be sprayed.
- the map editing department 813 is a means for editing the crop map 821.
- the map editing unit 813 provides the user terminal 401 with an image showing the crop map 821 according to the instruction from the user terminal 401. This image shows the location of crops diagnosed as suffering from a disease in a two-dimensional plane showing field 403.
- the map editorial unit 813 uses additional data (that is, a visible light camera 512a) included in the image data corresponding to the crop. The captured image) is read out from the crop map 821 and provided to the user terminal 401.
- the map editing unit 813 when the map editing unit 813 receives the instruction of the re-photographing of the desired crop and the shooting condition thereof from the user terminal 401, the map editing unit 813 turns on the re-shooting instruction data corresponding to the crop in the crop map 821 and shoots the shooting condition data. To the instructed content. Further, when the map editorial unit 813 receives the instruction of spraying the pesticide and the instruction of the spraying amount of the desired crop from the user terminal 401, the map editorial unit 813 turns on the spray instruction data corresponding to the crop in the crop map 821 and turns on the spray instruction data. Make the spray amount data the specified content. Further, when the map editing unit 813 receives an instruction from the user terminal 401 that the pesticide does not need to be sprayed on the desired crop, the map editorial unit 813 turns off the spraying instruction data corresponding to the crop in the crop map 821.
- the flight re-shooting plan generation unit 814 generates a flight re-shooting plan 822 for re-shooting the crop for which the re-shooting instruction data is ON in the crop map 821 according to the instruction from the user terminal 401, and causes the drone 100 to perform the flight re-shooting plan 822. offer.
- the flight spraying plan generation unit 815 creates a flight spraying plan for spraying the pesticide of the spraying amount indicated by the spraying amount data on the crops for which the spraying instruction data is ON in the crop map 821. Generate and provide to Drone 100.
- the CPU 810 relays the flight re-shooting instruction or the flight spraying instruction transmitted from the user terminal 401 to the drone 100.
- the CPU 810 When the condition for performing this re-shooting is satisfied, the CPU 810 sends a flight re-shooting instruction to the drone 100. On the other hand, if the conditions for re-shooting are not satisfied, the CPU 810 returns a response to the user terminal 401 to reject the instruction for re-shooting the flight.
- FIG. 12 is a flowchart showing an outline of the operation of the present embodiment.
- 13 to 18 are diagrams illustrating a screen displayed on the user terminal 401 in the present embodiment.
- the operation of the present embodiment will be described with reference to these figures.
- the agricultural worker 402 transmits an instruction for flight photography to the server 405 via the user terminal 401.
- This flight shooting instruction is relayed by the server 405 and transmitted to the drone 100.
- the flight photography control unit 713 of the drone 100 causes the drone 100 to perform flight photography according to the flight photography plan stored in advance in the storage unit 720.
- the drone 100 scans the entire area of the field 403, flies over several tens of centimeters of the crop, and photographs the crop with the visible light camera 512a, the first spectrum camera 512b, and the second spectrum camera 512c. Then, in the drone 100, the diagnostic unit 712 generates diagnostic result data regarding the morbidity of the disease based on the images taken by the first spectrum camera 512b and the second spectrum camera 512c.
- the aerial photography control unit 713 uses the visible light camera 512a, the first, for the agricultural product for which the diagnostic result data indicating the morbidity of the disease has been obtained, the identification data indicating the planting position of the agricultural product, the diagnostic result data for the agricultural product, and the visible light camera 512a.
- the image data of the agricultural products taken by the spectrum camera 512b and the second spectrum camera 512c are associated with each other and transmitted to the server 405.
- the recording unit 812 records the data received from the flight photographing control unit 713 of the drone 100 in the storage unit 820 as the crop map 821. In this way, the recording unit 812 functions as a recording means for recording additional data (that is, image data of the crop taken by the visible light camera 512a) in association with the identification data for identifying the crop (the above is step S1). ).
- the touch panel of the user terminal 401 displays the screen shown in FIG. 13 as the initial screen.
- the map editing unit 813 of the server 405 generates an image showing the crop map 821 and transmits it to the user terminal 401.
- the screen illustrated in FIG. 14 is displayed on the touch panel of the user terminal 401.
- the horizontal axis is, for example, longitude, and the vertical axis is latitude.
- the black circle plot shows the location of the diseased crop in the field 403. The position of the black circle plot in this screen corresponds to the planting position indicated by the identification data in the crop map 821.
- the map editing unit 813 of the server 405 specifies the crop planting position corresponding to the designated position. Then, the map editing unit 813 reads out the additional data of the image data associated with the identification data indicating the planting position of the specified agricultural product from the agricultural product map 821, and photographs the additional data, that is, the visible light camera 512a. The resulting image is transmitted to the user terminal 401. As a result, the screen illustrated in FIG. 15 is displayed on the touch panel of the user terminal 401. In this way, the map editing unit 813 functions as a notification means for notifying the user of the additional data (image taken by the visible light camera 512a).
- Agricultural worker 402 confirms the image P1 of the crop displayed on the touch panel and determines whether or not the spraying of pesticides is necessary. Then, when the agricultural worker 402 determines that it is necessary to spray the pesticide, he / she instructs the soft button B11 with the indication of "spraying", and when he / she determines that it is unnecessary, the indication of "unnecessary" is displayed. Instruct the attached soft button B12. In addition, when it is not possible to judge the propriety of spraying from the image of the agricultural product, the soft button B13 with the display of "re-shooting" is instructed.
- the map editing unit 813 on the server 405 displays the screen illustrated in FIG. 16 on the touch panel of the user terminal 401.
- a fader F1 that indicates the amount of pesticide sprayed is displayed.
- the indicated position of the fader F1 is set to the amount of spraying according to the degree of morbidity indicated by the diagnosis result data.
- Agricultural worker 402 determines whether or not the amount of application indicated by the fader F1 is appropriate for the degree of morbidity determined from the image P1 of the crop on the left side of the screen, and if it is inappropriate, the fader F1 Correct the indicated position to the indicated position that indicates the appropriate amount of spray. If the indicated position of the fader F1 is appropriate, the farmer 402 does not operate the fader F1.
- the map editing unit 813 on the server 405 returns the display screen of the touch panel of the user terminal 401 to the state illustrated in FIG.
- the map editorial unit 813 on the server 405 turns on the spray instruction data associated with the crop for which the agricultural worker 402 has instructed the spray and the spray amount in the crop map 821, and sets the spray amount data as the fader.
- the value corresponds to the indicated position of F1.
- the map editing unit 813 displays a white circle mark corresponding to "spraying" at the position of the black circle plot corresponding to the crop for which the spraying instruction is given on the display screen of the touch panel of the user terminal 401.
- the map editing unit 813 on the server 405 returns the display screen of the touch panel of the user terminal 401 to the state illustrated in FIG. At this time, the map editing unit 813 on the server 405 turns off the spraying instruction data associated with the crop for which the instruction that does not require spraying is given in the crop map 821. Then, the map editing unit 813 displays a x mark corresponding to "unnecessary" at the position of the black circle plot corresponding to the crop for which the instruction of not requiring spraying is given on the display screen of the touch panel of the user terminal 401.
- the map editing unit 813 on the server 405 causes the touch panel of the user terminal 401 to display the screen illustrated in FIG. On the right side of this screen, soft buttons B21, B22, ... For specifying the conditions for re-photographing the crop are displayed. Although not shown, sentences and images explaining the conditions for re-shooting are displayed near each soft button.
- the conditions for re-shooting include, for example, shooting from four directions of front, back, left, and right, and shooting from distances of 20 cm and 50 cm.
- the agricultural worker 402 While checking the image P1 of the crop on the left side of the screen, the agricultural worker 402 instructs one or more soft buttons indicating the desired re-photographing conditions, and instructs the soft button B14 on which "return" is displayed.
- the map editing unit 813 in the server 405 returns the display screen of the touch panel of the user terminal 401 to the state illustrated in FIG.
- the map editorial department 813 turns on the re-photographing instruction data associated with the crop for which the re-photographing instruction has been given in the crop map 821. Further, the map editing unit 813 sets the photographing condition data associated with the crop to the content indicating the re-imaging condition instructed by the agricultural worker 402. Then, the map editing unit 813 displays a white triangle mark corresponding to the "re-shooting" at the position of the plot corresponding to the crop for which the re-shooting instruction has been given on the display screen of the touch panel of the user terminal 401.
- the map editing unit 813 returns the touch panel of the user terminal 401 to the screen shown in FIG.
- the agricultural worker 402 instructs the soft button B02 displayed as "re-shooting instruction”
- the re-shooting instruction is transmitted from the user terminal 401 to the server 405.
- the flight re-shooting plan generation unit 814 of the server 405 generates a flight re-shooting plan 822 based on the crop map 821 stored in the storage unit 820, stores the flight re-shooting plan 822 in the storage unit 820, and uses the communication processing unit 811 to store the drone 100.
- the drone 100 that took off from the departure / arrival point 406 passes each position (position indicated by the identification data) of each crop for which the re-shooting instruction data is ON in the crop map 821 in the shortest distance. Contains information indicating the flight route back to the departure / arrival point 406.
- the flight re-photographing plan 822 includes information indicating the planting position of the crop to be re-photographed on the re-photographing flight route and the conditions for re-photographing the crop. This information is generated from the above flight route, each position (position indicated by the identification data) of the crop for which the re-photographing instruction data is ON in the crop map 821, and the shooting condition data associated with the crop. NS.
- the flight re-shooting plan generation unit 814 When the flight re-shooting plan generation unit 814 transmits the flight re-shooting plan 822 to the drone 100, the flight re-shooting plan generation unit 814 displays a message inquiring whether to execute the flight re-shooting on the touch panel of the user terminal 401.
- the flight re-shooting plan generation unit 814 communicates with the solar radiation amount sensor 601 and the rainfall sensor 602 to determine whether or not the conditions for the flight re-shooting are satisfied. to decide. When this condition is satisfied, the flight re-shooting plan generation unit 814 transmits a flight re-shooting instruction to the drone 100.
- the flight re-shooting plan 822 received from the flight re-shooting plan generation unit 814 of the server 405 is stored in the storage unit 720 as the flight re-shooting plan 722.
- the flight re-shooting control unit 714 of the drone 100 receives the flight re-shooting instruction from the server 405, the flight re-shooting control unit 714 causes the drone 100 to perform the flight re-shooting according to the flight re-shooting plan 722 in the storage unit 720.
- the diagnosis unit 712 does not make a diagnosis, but according to the conditions specified in the flight re-imaging plan, the crops can be photographed with higher accuracy than in the case of flight re-imaging, for example, imaging from multiple directions. It is done against.
- the image data obtained by the photographing is transmitted to the server 405 together with the identification data of the crop.
- the recording unit 812 records the data received from the flight rephotographing control unit 714 of the drone 100 in the storage unit 820 as the crop map 821.
- This crop map 821 has the same contents as those generated at the time of flight photography, but the contents of the diagnosis result data are empty (the above is step S3).
- the agricultural worker 402 can access the server 405 by the user terminal 401 and check and correct the crop map 821 obtained by the flight rephotographing (step S4).
- the procedure of this confirmation and correction is the same as the procedure of confirmation and correction (step S2) of the crop map 821 obtained by the flight rephotographing.
- Agricultural worker 402 determines in the confirmation of step S4 whether or not further flight re-photographing is necessary (step S5). Further, when it is determined that flight re-shooting is necessary (step S5; Yes), the agricultural worker 402 displays the screen shown in FIG. 13 on the touch panel of the user terminal 401, and the software displayed as "re-shooting instruction" is displayed. Instruct button B02. In response to this instruction, steps S3 and subsequent steps are repeated.
- step S5 the agricultural worker 402 displays the software displayed as "spraying instruction" in the state where the screen shown in FIG. 13 is displayed on the touch panel of the user terminal 401.
- the agricultural worker 402 can specify the crop map 821 which is the basis of the flight spraying plan 823.
- the flight spray plan generation unit 815 When the crop map 821 obtained by the flight photography is specified, the flight spray plan generation unit 815 generates the flight spray plan 823 based on the crop map 821, stores it in the storage unit 820, and transmits it to the drone 100. do.
- the drone 100 that took off from the departure / arrival point 406 passes through each position (position indicated by the identification data) of each crop for which the spray instruction data is ON in the crop map 821 and arrives / departs at the shortest distance. Contains information indicating the flight route back to point 406.
- the flight spraying plan 823 includes information indicating the planting position of the crop to be sprayed on the flight route of the flight spraying and the amount of pesticide sprayed. This information is generated from the above flight route, each position of the crop for which the spray instruction data is ON in the crop map 821 (the position indicated by the identification data), and the spray amount data associated with the crop. ..
- the flight spray plan generation unit 815 When both the crop map 821 obtained by flight photography and the crop map 821 obtained by flight reshooting are specified, the flight spray plan generation unit 815 generates a map in which both maps are merged, and this merged map is generated. Based on the above, the flight spraying plan 823 is generated, stored in the storage unit 820, and transmitted to the drone 100.
- the merging is performed according to the rule that the data of the crop map 821 obtained by the flight rephotograph is prioritized for the duplicated data. Specifically, it is as follows. a. If certain identification data (crops planting position) is in the crop map 821 obtained by flight photography and not in the crop map 821 obtained by flight rephotographing, the identification is found in the crop map 821 obtained by flight photography. The data associated with the data is included in the merged crop map 821. b. When certain identification data (crops planting position) is present in both the crop map 821 obtained by flight photography and the crop map 821 obtained by flight rephotographing, the relevant identification data is found in the crop map 821 obtained by flight rephotographing. The data associated with the identification data is included in the merged crop map 821.
- the flight spray plan 823 received from the flight spray plan generation unit 815 of the server 405 is stored in the storage unit 820 as the flight spray plan 723.
- the flight spraying plan generation unit 815 that has transmitted the flight spraying plan 823 displays a message inquiring whether or not the flight spraying may be executed on the touch panel of the user terminal 401. At that time, the flight spraying plan generation unit 815 may display an image showing the flight route of the flight spraying on the touch panel.
- the flight spraying plan generation unit 815 transmits the flight spraying instruction to the drone 100.
- the flight spray control unit 715 of the drone 100 causes the drone 100 to perform flight spray according to the flight spray plan 723 stored in the storage unit 720 (the above is step S6).
- the agricultural worker 402 does not visit the field 403 to determine whether or not the crop is affected by the disease, and if so, the type of the disease. And the degree of symptoms can be confirmed.
- the type of sensor used for pathological diagnosis is not limited to a spectrum camera of red light or near infrared light.
- a visible light camera an example of imaging means
- the type of the measuring device that generates the data used for the pathological diagnosis and the measuring device that generates the data (additional data) that is not used for the pathological diagnosis but is used for the confirmation of the farmer 402 are the same.
- a low resolution (first resolution) image may be used for pathological diagnosis, and a high resolution (second resolution higher than the first resolution) image may be used for confirmation of the farmer 402. .
- the image used for the pathological diagnosis and the image used for confirmation by the agricultural worker 402 in addition to the image may be images taken in different shooting directions.
- a certain image (image generated by the first imaging means) is used for pathological diagnosis.
- an image not used for the pathological diagnosis (an image generated by the second photographing means) may be made available to the farmer 402 as additional data.
- a certain one (an example of data showing the result measured by the measuring means at the first timing) is used for pathological diagnosis, and pathology is performed.
- an image not used for the pathological diagnosis (an example of data showing the result measured by the measuring means at the second timing) may be made available to the farmer 402 as additional data. ..
- a stock that was visible on the right side on the outward trip may be visible on the left side on the return trip. If the shooting range of the shooting means is wide-angle, images of the same strain shot in different shooting directions by the same shooting means can be obtained on the outward trip and the return trip. Therefore, for example, the pathological diagnosis may be made based on the images taken on the outward route, and the image of the same strain taken on each of the outward route and the return route may be viewed by the agricultural worker 402 for confirmation of the pathological diagnosis.
- the drone 100 is equipped with a front photographing means in which the front of the flight direction is the shooting direction and a rear shooting means in which the rear is the shooting direction.
- An image of the stock taken by the rear photography means may be made available to the agricultural worker 402 as additional data.
- Behind the drone 100 a strong downward wind (downwash) is generated by the propeller.
- the agricultural worker 402 is provided with an image of the stock that clearly shows the state of illness. It will be desirable.
- the additional data recorded in the crop growing system may be viewed by the agricultural worker 402 and may be used for determining the adequacy of the pathological diagnosis by the crop growing system.
- the server 405 is provided with a pass / fail determination means for determining the validity of the diagnosis result by the diagnosis unit 712 based on the additional data included in the crop map 821, and a correction means for correcting the recorded diagnosis result.
- the correction means may correct the data indicating the diagnosis result that is provided and determined to be incorrect by the pass / fail determination means.
- the diagnostic unit 712 may be realized in a device other than the data processing device 501 mounted on the drone 100.
- the data processing device 501 mounted on the drone 100 may not perform the pathological diagnosis, and the server 405 may perform the pathological diagnosis.
- the data processing device 501 mounted on the drone 100 may include data representing images taken by a first spectrum camera, a second spectrum camera, a visible light camera, or feature points extracted from those images.
- the data indicating the above is transmitted to the server 405, and the diagnostic means realized in the server 405 performs a pathological diagnosis based on the data received from the data processing device 501.
- the diagnostic unit 712 may be arranged in each of the two or more devices.
- the data processing device 501 mounted on the drone 100 realizes the first diagnostic means
- the server 405 realizes the second diagnostic means, and there is a possibility that the first diagnostic means is sick.
- the second diagnostic means diagnoses whether or not the strain has a disease, and if so, the type of the disease. Diagnose the degree of progression.
- the visible light camera (an example of the measuring means for generating additional data) continuously shoots during the flight shooting, and all the data representing the shot images are temporarily stored.
- the visible light camera may capture only the strains diagnosed as suffering from the disease by diagnostic means, and the system may record data representing the captured images. In this case, the visible light camera starts and stops imaging according to the diagnosis result of the diagnostic means.
- the mechanism for identifying the three-dimensional position of the drone 100 on the earth is not limited to the RTK-GPS method.
- the DGPS method may be adopted.
- distance measurement using sound waves may be performed.
- the first photographing means may be composed only of the first spectrum camera 512b that photographs red light. Further, the first photographing means may be composed of three or more spectrum cameras.
- the flight re-shooting plan generation unit 814 realized by the CPU 810 communicates with the solar radiation sensor 601 and the rainfall sensor 602 to instruct the flight re-shooting, and the solar radiation sensor 601 and the rainfall sensor 602. Based on the information obtained from, it is judged whether or not the conditions for re-shooting are satisfied. Instead, the CPU 810 may communicate with a known weather forecast system and determine whether or not the re-photographing condition is satisfied based on the information obtained from the weather forecast system.
- the frequency band of light used by the first spectrum camera 512b as the first photographing means for generating an image is red light (for example, a frequency band near 680 nm), and another first photographing.
- the frequency band of light used by the second spectrum camera 512c as a means for generating an image is near-infrared light (for example, a frequency band near 780 nm).
- the frequency band of light used by the visible light camera 512a as the second photographing means for generating an image is the entire wavelength band of visible light.
- the frequency band of light used by the first photographing means for generating an image and the frequency band of light used by the second photographing means for generating an image are limited to those adopted in the embodiment as long as they are different. do not have.
- different frequency bands means that at least one of the upper limit and the lower limit of the two frequency bands is different. Therefore, the frequency band of light used by the first photographing means for generating an image and the frequency band of light used by the second photographing means for generating an image do not have to have a completely overlapping band, or a partially overlapping band. Or one may contain all of the other.
- a method of identifying a crop planting position (an example of a crop planting position or area) diagnosed as suffering from a disease by the diagnostic unit 712 (an example of diagnostic means).
- the planting position of the crop may be specified by the following method.
- the flight imaging control unit 713 (an example of the planting position identifying means) is photographed by the first spectrum camera 512b and the second spectrum camera 512c (an example of the measuring means), and the image of the agricultural product (data used by the diagnostic means for diagnosis).
- the three-dimensional position of the unmanned aircraft measured by the position measuring means such as the GPS module 504 and the shooting direction of the first spectrum camera 512b and the second spectrum camera 512c based on the unmanned aircraft. Based on this, identify the planting position of the photographed crop.
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Pest Control & Pesticides (AREA)
- Insects & Arthropods (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Catching Or Destruction (AREA)
Abstract
Description
この発明は、農作物を遠隔監視し、監視結果に基づいて農作物への農薬の散布、施肥等を行う農作物育成システムに関する。 The present invention relates to a crop growing system that remotely monitors crops and sprays pesticides, fertilizers, etc. on the crops based on the monitoring results.
ドローンと呼ばれる小型ヘリコプター(マルチコプター)の応用が進んでいる。その重要な応用分野の一つとして農地(圃場)への農薬や液肥などの薬剤散布が挙げられる。特に比較的面積が狭い農地においては、有人の飛行機やヘリコプターではなくドローンの使用が適しているケースが多い。 The application of small helicopters (multicopters) called drones is advancing. One of the important application fields is spraying chemicals such as pesticides and liquid fertilizers on agricultural land (fields). Especially in relatively small farmlands, it is often appropriate to use drones instead of manned airplanes and helicopters.
特許文献1には、ドローンにより農地を空撮し、得られた画像に基づき農薬を散布すべき領域及び量を特定し、特定した領域に特定した量の農薬を効率的に散布するための飛行ルート等を計画し、計画に従いドローンによる農薬の散布を行う農薬散布方法が提案されている。 In Patent Document 1, an aerial photograph of agricultural land is taken with a drone, an area and amount of pesticide to be sprayed are specified based on the obtained image, and a flight for efficiently spraying the specified amount of pesticide to the specified area. A pesticide spraying method has been proposed in which a route, etc. is planned and pesticides are sprayed by a drone according to the plan.
ドローンの空撮により農作物を撮影し、撮影により得られた画像に基づき、農作物の病気への罹患の診断を行う病理診断システムでは、病気に罹患しているとシステムが診断した農作物に関し、農業従事者は本当にその農作物が病気に罹患しているのか、また、どの程度、罹患している病気が進行しているのか、といったことを自ら診断し、システムの診断の当否を確認したい、というニーズがある。 In the pathological diagnosis system that photographs agricultural products by aerial photography of a drone and diagnoses the morbidity of the agricultural products based on the images obtained by the photography, the agricultural products that the system diagnoses as having the disease are engaged in agriculture. There is a need for a person to make a self-diagnosis of whether the crop is really affected by the disease and to what extent the disease is progressing, and to confirm the validity of the diagnosis of the system. be.
しかし、農業従事者が、病理診断システムにより病気に罹患していると判定された農作物が作付けされている農地における位置(又は領域)まで行くのは手間である。特に、病気に罹患していると判定された農作物が作付けされている位置(又は領域)が水田の中央付近であるような場合、農業従事者がその位置(又は領域)に行くのは容易ではない。 However, it is troublesome for the agricultural worker to go to the position (or area) in the agricultural land where the crops determined to be affected by the disease by the pathological diagnosis system are planted. In particular, if the location (or area) where the crops determined to be sick are planted is near the center of the paddy field, it is not easy for farmers to go to that position (or area). do not have.
この発明は、以上のような事情に鑑みてなされたものであり、農作物の病気への罹患に関する判断を行うための手段を農業従事者等のユーザに提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a user such as an agricultural worker with a means for determining the morbidity of a crop.
この発明による農作物育成システムは、農地の上空を飛行する無人航空機に搭載され、前記農地に作付けされている農作物の状態を表す物理量を測定する1以上の測定手段と、前記1以上の測定手段の少なくとも1つによる測定結果を示すデータに基づき、前記農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段と、前記診断手段により病気に罹患していると診断された農作物に関し前記1以上の測定手段による測定結果を示すデータであって、前記診断手段が当該農作物に関する診断に用いた情報とは異なる情報を示す付加データを、当該農作物を識別する農作物識別データと対応付けて記録する記録手段とを備える。 The crop growing system according to the present invention is mounted on an unmanned aircraft flying over a farmland, and includes one or more measuring means for measuring a physical quantity representing the state of the crops planted on the farmland, and the one or more measuring means. Based on the data showing the measurement result by at least one, it was diagnosed by the diagnostic means for diagnosing whether or not the crops cultivated on the farmland are sick, and the diagnosing means. Additional data indicating the measurement results of the crop by one or more measuring means and different from the information used by the diagnostic means for the diagnosis of the crop corresponds to the crop identification data for identifying the crop. It is provided with a recording means for attaching and recording.
以下、図を参照しながら、この発明を実施するための形態について説明する。図はすべて例示である。以下の詳細な説明では、説明のために、開示された実施形態の完全な理解を促すために、ある特定の詳細について述べられている。しかしながら、実施形態は、これらの特定の詳細に限られない。また、図面を単純化するために、周知の構造および装置については概略的に示されている。 Hereinafter, a mode for carrying out the present invention will be described with reference to the drawings. All figures are illustrations. In the following detailed description, certain details are given for illustration purposes and to facilitate a complete understanding of the disclosed embodiments. However, embodiments are not limited to these particular details. Also, to simplify the drawings, well-known structures and devices are outlined.
図1はこの発明の一実施形態である農作物育成システムの構成を示す図である。圃場403は、農作物が作付けされる田圃や畑等の農地である。基地局404は、Wi-Fi通信の親機としての機能と、RTK-GPS基地局としての機能を併有している。ユーザ端末401は、ユーザである農業従事者402により操作される端末であり、基地局404及びネットワークを介してドローン100またはサーバ405と通信を行う。このユーザ端末401は、コンピュータ・プログラムを実行する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本実施形態において、ユーザ端末401は、ユーザインタフェースとして、タッチパネルを有する。
FIG. 1 is a diagram showing a configuration of a crop growing system according to an embodiment of the present invention. The
ドローン100は、自律飛行機能を備えた無人航空機である。このドローン100には、次のような主要な機能がある。第1の機能は、予め与えられた飛行撮影計画に従って、圃場403の全域を走査するように、農作物の数十センチメートル上空を飛行しつつ一株一株の農作物を撮影し、各農作物の画像に基づき、農作物の病気への罹患に関する診断を行う飛行撮影機能である。第2の機能は、予め与えられた飛行再撮影計画に従って、圃場403内の特定の位置を通過しつつ飛行し、特定の位置にある農作物を撮影する飛行再撮影機能である。第3の機能は、予め与えられた飛行散布計画に従って、圃場403内の特定の位置を通過しつつ飛行し、特定の位置にある農作物に農薬を散布する飛行散布機能である。通常、ドローン100は圃場403の外部にある発着地点406から離陸し、圃場403に農薬を散布した後に、あるいは、農薬補充や充電等が必要になった時に発着地点406に帰還する。
Drone 100 is an unmanned aerial vehicle equipped with an autonomous flight function. The
サーバ405は、典型的にはクラウドサービス上で運営されているコンピュータ群と関連ソフトウェアである。このサーバ405には次のような主要な機能がある。第1の機能は、ドローン100が飛行撮影を行う過程において、ドローン100から農作物の作付位置、画像及び診断結果を示す情報を取得し、農作物マップとして保存する機能である。第2の機能は、農作物マップの編集機能である。この編集機能では、ユーザ端末401からの指示に従って、農作物マップを示す画像をユーザ端末401に提供する。また、指示された農作物の画像をユーザ端末401に提供する。そして、ユーザ端末401からの指示に従い、特定の位置の農作物の再撮影の指示を農作物マップに書き込む。また、ユーザ端末401からの指示に従い、特定の位置の農作物への農薬の散布の指示を農作物マップに書き込む。第3の機能は、再撮影の指示が書き込まれた農作物マップに基づき、指示された農作物についての再撮影を行うための飛行再撮影計画を生成し、ドローン100に提供する機能である。第4の機能は、農薬散布の指示が書き込まれた農作物マップに基づき、指示された農作物についての農薬散布を行うための飛行散布計画を生成し、ドローン100に提供する機能である。第5の機能は、ユーザ端末401から送信される飛行再撮影の指示または飛行散布の指示をドローン100に中継する機能である。
The
次にドローン100について説明する。この明細書において、ドローンとは、動力手段(電力、原動機等)、操縦方式(無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等)を問わず、複数の回転翼を有する無人航空機全般を指すこととする。
Next, the
図2乃至図6に示すように、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b(ローターとも呼ばれる)は、ドローン100を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリ消費量のバランスを考慮し、8機(2段構成の回転翼が4セット)備えられている。
As shown in FIGS. 2 to 6, the rotor blades 101-1a, 101-1b, 101-2a, 101-2b, 101-3a, 101-3b, 101-4a, 101-4b (also referred to as rotors) are It is a means for flying the
モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4a、102-4bは、回転翼101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4bを回転させる手段(典型的には電動機だが発動機等であってもよい)であり、一つの回転翼に対して1機設けられている。モータ102は、推進器の例である。1セット内の上下の回転翼(たとえば、101-1aと101-1b)、および、それらに対応するモータ(たとえば、102-1aと102-1b)は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転する。なお、一部の回転翼101-3b、および、モータ102-3bが図示されていないが、その位置は自明であり、もし左側面図があったならば示される位置にある。図3、および、図4に示されるように、ローターが異物と干渉しないよう設けられたプロペラガードを支えるための放射状の部材は水平ではなくやぐら状の構造である。衝突時に当該部材が回転翼の外側に座屈することを促し、ローターと干渉することを防ぐためである。 The motors 102-1a, 102-1b, 102-2a, 102-2b, 102-3a, 102-3b, 102-4a, 102-4b are the rotary blades 101-1a, 101-1b, 101-2a, 101-. It is a means for rotating 2b, 101-3a, 101-3b, 101-4a, 101-4b (typically, it is an electric motor, but it may be a motor, etc.), and one machine is provided for one rotary blade. Has been done. The motor 102 is an example of a propulsion device. The upper and lower rotors (eg, 101-1a and 101-1b) in one set and the corresponding motors (eg, 102-1a and 102-1b) are used for drone flight stability and the like. The axes are on the same straight line and rotate in opposite directions. Although some rotor blades 101-3b and motor 102-3b are not shown, their positions are self-explanatory and are in the positions shown if there is a left side view. As shown in FIGS. 3 and 4, the radial members for supporting the propeller guards provided so that the rotor does not interfere with foreign matter have a rather wobbling structure rather than a horizontal one. This is to encourage the member to buckle outside the rotor in the event of a collision and prevent it from interfering with the rotor.
薬剤ノズル103-1、103-2、103-3、103-4は、薬剤を下方に向けて散布するための手段であり4機備えられている。なお、本願明細書において、薬剤とは、農薬、除草剤、液肥、殺虫剤、種、および、水などの圃場に散布される液体または粉体を一般的に指すこととする。 The drug nozzles 103-1, 103-2, 103-3, 103-4 are means for spraying the drug downward, and are provided with four machines. In the specification of the present application, the term "pharmaceutical" generally refers to a liquid or powder sprayed on a field such as a pesticide, a herbicide, a liquid fertilizer, an insecticide, a seed, and water.
薬剤タンク104は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン100の重心に近い位置でかつ重心より低い位置に設けられている。薬剤ホース105-1、105-2、105-3、105-4は、薬剤タンク104と各薬剤ノズル103-1、103-2、103-3、103-4とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ106は、薬剤をノズルから吐出するための手段である。
The
図7にドローン100の制御機能を表したブロック図を示す。データ処理装置501は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリ、関連ソフトウェア等を含む組み込み型コンピュータであってよい。データ処理装置501は、ESC(Electronic Speed Control)等の制御手段を介して、モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの回転数を制御することで、ドローン100の飛行を制御する。モータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの実際の回転数はデータ処理装置501にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼101に光学センサ等を設けて回転翼101の回転がデータ処理装置501にフィードバックされる構成でもよい。
FIG. 7 shows a block diagram showing the control function of the
データ処理装置501が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっている。この場合において、不正なソフトウェアによる書き換えが行なわれないように、暗号化、チェックサム、電子署名、ウィルスチェックソフト等による保護が行われている。また、データ処理装置501が制御に使用する計算処理の一部が、ユーザ端末401上、または、サーバ405上や他の場所に存在する別のコンピュータによって実行されてもよい。データ処理装置501は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。
The software used by the
バッテリ502は、データ処理装置501、および、ドローンのその他の構成要素に電力を供給する手段であり、充電式であってもよい。バッテリ502はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してデータ処理装置501に接続されている。バッテリ502は電力供給機能に加えて、その内部状態(蓄電量、積算使用時間等)をデータ処理装置501に伝達する機能を有するスマートバッテリであってもよい。
The
データ処理装置501は、Wi-Fi子機503(送信手段の一例)を介して、さらに、基地局404を介してユーザ端末401及びサーバ405と通信を行うことができる。この場合に、通信には暗号化を施し、傍受、成り済まし、機器の乗っ取り等の不正行為を防止できるようにしておいてもよい。上述したように基地局404は、Wi-Fiによる通信機能と、RTK-GPS基地局としての機能も併有する。従って、RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール504により、ドローン100の絶対位置を2センチメートル程度の精度で測定可能となる。GPSモジュール504は重要性が高いため、二重化・多重化されていてもよく、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール504は別の衛星を使用するよう制御されていてもよい。
The
6軸ジャイロセンサ505はドローン機体の互いに直交する3方向の加速度を測定する手段(さらに、加速度の積分により速度を計算する手段)である。6軸ジャイロセンサ505は、上述の3方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサ506は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサ507は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザセンサ508は、レーザ光の反射を利用してドローン機体と地表との距離を測定する手段であり、IR(赤外線)レーザであってもよい。ソナー509は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサ類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサ(角速度センサ)、風力を測定するための風力センサなどが追加されていてもよい。また、これらのセンサ類は、二重化または多重化されていてもよい。同一目的複数のセンサが存在する場合には、データ処理装置501はそのうちの一つのみを使用し、それが障害を起こした際には、代替のセンサに切り替えて使用するようにしてもよい。あるいは、複数のセンサを同時に使用し、それぞれの測定結果が一致しない場合には障害が発生したと見なすようにしてもよい。
The 6-
流量センサ510は薬剤の流量を測定するための手段であり、薬剤タンク104から薬剤ノズル103に至る経路の複数の場所に設けられている。液切れセンサ511は薬剤の量が所定の量以下になったことを検知するセンサである。
The
可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cは、各々農作物を撮影するためのカメラであり、農地に作付けされている農作物の状態を示す物理量を測定する測定手段として機能する。ここで、可視光カメラ512aは、農作物によって反射された太陽光の可視光の全波長帯域を撮影対象とする。また、第1スペクトルカメラ512bは、農作物によって反射された太陽光のうち赤色光、例えば680nm付近の波長帯域の成分を分光して撮影する。また、第2スペクトルカメラ512cは、農作物によって反射された太陽光のうち近赤外光、例えば780nm付近の波長帯域の成分を分光して撮影する。本実施形態では、第1スペクトルカメラ512b及び第2スペクトルカメラ512cを第1の撮影手段とし、この第1の撮影手段から得られる画像に基づいて、農作物の病気への罹患に関する診断が行われる。また、可視光カメラ512aを第2の撮影手段とし、この第2の撮影手段から得られる画像を、付加データとしてユーザ端末401のユーザである農業従事者402に提供する。
The
障害物検知カメラ513はドローン障害物を検知するためのカメラである。スイッチ514はドローン100を使用する農業従事者402が様々な設定を行なうための手段である。障害物接触センサ515はドローン100、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサである。カバーセンサ516は、ドローン100の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサである。薬剤注入口センサ517は薬剤タンク104の注入口が開放状態であることを検知するセンサである。これらのセンサ類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。また、ドローン100外部の基地局404、ユーザ端末401、または、その他の場所にセンサを設けて、読み取った情報をドローンに送信してもよい。たとえば、基地局404に風力センサを設け、風力・風向に関する情報をWi-Fi通信経由でドローン100に送信するようにしてもよい。
データ処理装置501はポンプ106に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ106の現時点の状況(たとえば、回転数等)は、データ処理装置501にフィードバックされる構成となっている。
The
LED107は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。表示手段は、LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー518は、音声信号によりドローンの状態(特にエラー状態)を知らせるための出力手段である。Wi-Fi子機機能519はユーザ端末401とは別に、たとえば、ソフトウェアの転送などのために外部のコンピュータ等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth(登録商標)、ZigBee(登録商標)、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカ520は、録音した人声や合成音声等により、ドローンの状態(特にエラー状態)を知らせる出力手段である。天候状態によっては飛行中のドローン100の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯521はドローンの状態(特にエラー状態)を知らせるストロボライト等の表示手段である。これらの入出力手段は、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。
LED107 is a display means for notifying the drone operator of the state of the drone. As the display means, a display means such as a liquid crystal display may be used instead of the LED or in addition to the LED. The
図8はデータ処理装置501の機能構成を示すブロック図である。図8に示すように、データ処理装置501は、CPU710と、不揮発性メモリ及び揮発性メモリからなる記憶部720とを有する。CPU710を示すボックス内には、通信処理部711、診断部712、飛行撮影制御部713、飛行再撮影制御部714及び飛行散布制御部715が示されている。これらはCPU710が記憶部720内のプログラムを実行することにより実現される機能である。
FIG. 8 is a block diagram showing a functional configuration of the
記憶部720には、飛行撮影計画721、飛行再撮影計画722及び飛行散布計画723が格納される。これらはサーバ405から与えられ、記憶部720に格納される。飛行撮影計画721は、飛行撮影のためにドローン100が飛行すべき圃場403上のルートを示す情報を含む。また、飛行再撮影計画722は、飛行再撮影のためにドローン100が飛行すべき圃場403上のルートを示す情報と、このルート上において農作物の再撮影を行うべき位置と再撮影の条件を示す情報とを含む。飛行散布計画723は、飛行散布のためにドローン100が飛行すべき圃場403上のルートを示す情報と、このルート上において農薬の散布を行うべき農作物の作付位置と散布量を示す情報とを含む。
The flight shooting plan 721, the flight reshooting plan 722, and the
CPU710において、通信処理部711は、サーバ405またはユーザ端末401と通信を行うための手段である。診断部712(診断手段の一例)は、農作物の画像、具体的には第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された農作物の画像(測定手段による測定結果を示すデータの一例)を解析することにより農作物についての診断結果データを生成する手段である。この診断結果データは、農作物が病気に罹患しているか否か、罹患している病気の種類及び軽症、重症といった罹患の進行度を示す。
In the
飛行撮影制御部713は、サーバ405を介してユーザ端末401から飛行撮影の指示を受け取った場合に、記憶部720内の飛行撮影計画721に従い、ドローン100に飛行撮影を行わせるための制御を行う。
When the flight
具体的には、飛行撮影制御部713は、飛行撮影計画721において定められたルートに従ってドローン100を飛行させるためのモータ102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-bの回転数の制御を行う。また、飛行撮影制御部713は、ドローン100が飛行撮影を行っている間に、GPSモジュール504等の位置測定手段により測定されるドローン100の3次元位置と6軸ジャイロセンサ505により測定されるドローン100の姿勢に基づいて、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cの各々の撮影位置(撮影の被写体の位置)を算出する。そして、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cから得られる各画像に各々の撮影位置を対応付け、撮影位置が同じであり、同じ農作物を映している画像同士を対応付けて診断部712へ引き渡す。このとき飛行撮影制御部713は、診断部712に引き渡した画像を記憶部720の一時記憶領域に記録する。
Specifically, the flight
診断部712は、引き渡されたデータのうち第1スペクトルカメラ512b及び第2スペクトルカメラ512cから得られた画像に基づいて農作物の病気への罹患に関する診断結果データを生成し、飛行撮影制御部713に返す。
The
飛行撮影制御部713は、記憶部720の一時記憶領域に記録された、診断部712に引き渡した可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cの各画像のうち農作物が病気に罹患した旨の診断結果データが返ってきた農作物の画像を当該農作物の識別データ(農作物識別データ)及び診断結果データとともに通信処理部711に引き渡す。通信処理部711は、この引き渡されたデータをサーバ405に送信する。ここで、識別データは、農作物を特定するデータ、具体的には病気に罹患した農作物の圃場403内における作付位置を示すデータである。飛行撮影制御部713は、農作物の画像データが識別データ及び診断結果データとともにサーバ405に送信された後、記憶部720内のその画像データを廃棄する。また、飛行撮影制御部713は、農作物が病気に罹患しない旨の診断結果データを受け取った場合、記憶部720内のその農作物に対応した各カメラの画像データを速やかに削除する。
The flight
飛行再撮影制御部714は、サーバ405を介してユーザ端末401から飛行再撮影の指示を受け取った場合に、記憶部720内の飛行再撮影計画722に従い、ドローン100に飛行再撮影を行わせるための制御を行う。
When the flight
具体的には、飛行再撮影制御部714は、飛行再撮影計画722において定められたルートに従ってドローン100を飛行させるための制御を行う。また、飛行再撮影制御部714は、飛行再撮影計画722において定められた撮影位置にある農作物を同計画において定められた撮影条件(例えば撮影方向)で撮影することが可能な位置にドローン100を止め、かつ、ドローン100を適切な姿勢とし、可視光カメラ512aにその撮影位置及び撮影条件での撮影を行わせ、可視光カメラ512aにより撮影される画像を通信処理部711によりサーバ405に送信する。
Specifically, the flight
飛行散布制御部715は、サーバ405を介してユーザ端末401から飛行散布の指示を受け取った場合に、記憶部720内の飛行散布計画723に従い、ドローン100に飛行散布を行わせるための制御を行う。
When the flight
具体的には、飛行散布制御部715は、飛行散布計画723において定められたルートに従ってドローン100を飛行させるための制御を行う。また、飛行再撮影制御部714は、飛行散布計画723において定められた散布位置への散布が可能になる位置にドローン100を止め、ポンプ106にその散布位置への農薬の散布を行わせる。その際、飛行散布制御部715は、飛行散布計画723において定められた散布量の農薬が散布されるようにポンプ106の制御を行う。
Specifically, the flight
図9はサーバ405の構成を示すブロック図である。なお、図9にはサーバ405の機能を分かり易くするため、サーバ405とともに、ユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602が示されている。
FIG. 9 is a block diagram showing the configuration of the
図9に示すように、サーバ405は、全体を制御するCPU810と、プログラムやデータを記憶する記憶部820と、ユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602等の通信相手と通信を行う通信部830(送信手段の一例)とを含む。CPU810は、クラウドサービスが提供する複数のコンピュータのCPUの集合体である。また、記憶部820は、クラウドサービスが提供する複数のコンピュータが保有する記憶装置の集合体である。
As shown in FIG. 9, the
図10はCPU810の機能構成を示すブロック図である。なお、この図10にはCPU810の機能構成を分かり易くするため、記憶部820に記憶された各種のデータがCPU810とともに示されている。
FIG. 10 is a block diagram showing a functional configuration of the
図10において、CPU810を示すボックス内には、通信処理部811、記録部812、マップ編集部813、飛行再撮影計画生成部814及び飛行散布計画生成部815が示されている。これらはCPU810が記憶部820内のプログラム(図示略)を実行することにより実現される機能である。
In FIG. 10, in the box showing the
通信処理部811は、図9に示すユーザ端末401、ドローン100、日射量センサ601及び降雨センサ602等の通信相手との通信を制御する手段である。記録部812は、ドローン100が飛行撮影または飛行再撮影を行っている過程において、ドローン100から送信されるデータを受信し、農作物マップ821を構成して記憶部820に保存する手段である。
The
図11は農作物マップ821を例示する図である。この農作物マップ821において、1個の農作物に対応したデータは、識別データ、診断結果データ、画像データ、再撮影指示データ、撮影条件データ、散布指示データ及び散布量データを含む。ここで、識別データは、当該農作物を特定するデータ、具体的には農作物の作付位置(例えば緯度、経度)を示すデータである。診断結果データは、当該農作物が病気に罹患しているか否か、罹患している病気の種類及び罹患の程度を示すデータである。上述したように飛行撮影の過程では、病気に罹患している農作物のみについて識別データ、診断結果データ及び画像データがドローン100からサーバ405に送信される。従って、飛行撮影の終了後において、農作物マップ821を構成する診断結果データには、罹患なしを示す診断結果データは含まれず、いずれの診断結果データも病気への罹患を示す内容となっている。画像データには、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより各々撮影された各画像データが含まれる。これらのうち第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された各画像データは、当該農作物の病気への罹患の診断に用いられた画像データである。また、可視光カメラ512aにより撮影された画像データは、当該農作物の病気への罹患の診断に用いられなかった付加データである。再撮影指示データは、当該農作物の再撮影を行うか(ON)行わないか(OFF)を指示するデータである。撮影条件データは、再撮影の条件(例えば撮影方向等)を示すデータである。散布指示データは、当該農作物への農薬の散布を行うか(ON)行わないか(OFF)を指示するデータである。散布量データは、散布する農薬の量を示すデータである。飛行撮影が終了した後、農作物マップ821の再撮影指示データはOFF、散布指示データはONに初期設定される。
FIG. 11 is a diagram illustrating the
マップ編集部813は、農作物マップ821の編集を行う手段である。このマップ編集部813は、ユーザ端末401からの指示に従って、農作物マップ821を示す画像をユーザ端末401に提供する。この画像は、圃場403を示す2次元平面内において、病気に罹患しているとの診断がなされた農作物の所在位置を示すものである。また、マップ編集部813は、この農作物マップ821の画像において、ユーザ端末401によって所望の農作物が指示された場合に、その農作物に対応した画像データに含まれる付加データ(すなわち、可視光カメラ512aにより撮影された画像)を農作物マップ821から読み出し、ユーザ端末401に提供する。また、マップ編集部813は、ユーザ端末401から所望の農作物についての再撮影及びその撮影条件の指示を受け取った場合、農作物マップ821において当該農作物に対応した再撮影指示データをONにし、撮影条件データを指示された内容にする。また、マップ編集部813は、ユーザ端末401から所望の農作物についての農薬の散布の指示及び散布量の指示を受け取った場合、農作物マップ821において当該農作物に対応した散布指示データをONにし、かつ、散布量データを指示された内容にする。また、マップ編集部813は、ユーザ端末401から所望の農作物について農薬の散布不要の指示を受け取った場合、農作物マップ821において当該農作物に対応した散布指示データをOFFにする。
The
飛行再撮影計画生成部814は、ユーザ端末401からの指示に従い、農作物マップ821において、再撮影指示データがONである農作物について再撮影を行うための飛行再撮影計画822を生成し、ドローン100に提供する。
The flight re-shooting
飛行散布計画生成部815は、ユーザ端末401からの指示に従い、農作物マップ821において、散布指示データがONである農作物に対し、散布量データが示す散布量の農薬を散布するための飛行散布計画を生成し、ドローン100に提供する。
In accordance with the instruction from the
さらにCPU810は、ユーザ端末401から送信される飛行再撮影の指示または飛行散布の指示をドローン100に中継する。飛行再撮影を指示するに当たっては条件がある。すなわち、再撮影は、日射量が所定値以上であり、かつ、降雨がない昼の時間帯において行うべきである。そこで、CPU810は、ユーザ端末401から再撮影の指示が与えられた場合、圃場403若しくはその近くに配置された日射量センサ601及び降雨センサ602と通信を行い、再撮影を行うための条件が満たされているか否かの判断を行う。この再撮影を行うための条件が満たされている場合、CPU810はドローン100に飛行再撮影の指示を送る。一方、再撮影を行うための条件が満たされていない場合、CPU810は、ユーザ端末401に対し、飛行再撮影の指示を拒否する旨の応答を返す。
Further, the
図12は、本実施形態の動作の概略を示すフローチャートである。また、図13~図18は、本実施形態においてユーザ端末401に表示される画面を例示する図である。以下、これらの図を参照し、本実施形態の動作を説明する。
FIG. 12 is a flowchart showing an outline of the operation of the present embodiment. 13 to 18 are diagrams illustrating a screen displayed on the
農作物が病気に罹患し易い時期になると、農業従事者402は、ユーザ端末401を介してサーバ405に飛行撮影の指示を送信する。この飛行撮影の指示はサーバ405によって中継され、ドローン100に送信される。これによりドローン100の飛行撮影制御部713は、記憶部720に予め記憶された飛行撮影計画に従い、ドローン100に飛行撮影を行わせる。
When the crop is susceptible to disease, the
この飛行撮影において、ドローン100は、圃場403の全域を走査し、農作物の数十センチメートル上空を飛行し、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cに農作物を撮影する。そして、ドローン100では、第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された画像に基づいて、診断部712が病気への罹患に関する診断結果データを生成する。
In this flight photography, the
飛行撮影制御部713は、病気への罹患を示す診断結果データの得られた農作物について、その農作物の作付位置を示す識別データと、その農作物についての診断結果データと、可視光カメラ512a、第1スペクトルカメラ512b及び第2スペクトルカメラ512cにより撮影された農作物の画像データを対応付け、サーバ405に送信する。サーバ405では、このドローン100の飛行撮影制御部713から受信されるデータを、記録部812が農作物マップ821として記憶部820に記録する。このように記録部812は、付加データ(すなわち、可視光カメラ512aにより撮影された農作物の画像データ)を、農作物を識別する識別データと対応付けて記録する記録手段として機能する(以上、ステップS1)。
The aerial
ユーザ端末401のタッチパネルには、初期画面として図13に示す画面が表示される。農業従事者402が「マップ確認」と表示されたソフトボタンB01を指示すると、サーバ405のマップ編集部813は、農作物マップ821を示す画像を生成し、ユーザ端末401に送信する。この結果、図14に例示する画面がユーザ端末401のタッチパネルに表示される。
The touch panel of the
この図14の左側の画像において、横軸は例えば経度であり、縦軸は緯度である。この画面において、黒丸プロットは、病気に罹患している農作物の圃場403内における所在位置を示している。この画面内における黒丸プロットの位置は、農作物マップ821における識別データが示す作付位置に対応している。
In the image on the left side of FIG. 14, the horizontal axis is, for example, longitude, and the vertical axis is latitude. In this screen, the black circle plot shows the location of the diseased crop in the
図14に示す表示状態において、農業従事者402が所望の黒丸プロットを指示すると、サーバ405のマップ編集部813は、指示位置に対応した農作物の作付位置を特定する。そして、マップ編集部813は、この特定した農作物の作付位置を示す識別データに対応付けられた画像データのうちの付加データを農作物マップ821から読み出し、その付加データ、すなわち、可視光カメラ512aによって撮影された画像をユーザ端末401に送信する。この結果、図15に例示する画面がユーザ端末401のタッチパネルに表示される。このようにマップ編集部813は、付加データ(可視光カメラ512aによって撮影された画像)をユーザに通知する通知手段として機能する。
In the display state shown in FIG. 14, when the
農業従事者402は、タッチパネルに表示された農作物の画像P1を確認し、農薬の散布が必要か否かを判断する。そして、農業従事者402は、農薬の散布が必要であると判断した場合は、「散布」の表示が付されたソフトボタンB11を指示し、不要と判断した場合は、「不要」の表示が付されたソフトボタンB12を指示する。また、農作物の画像から散布の是非を判断し兼ねる場合は、「再撮影」の表示が付されたソフトボタンB13を指示する。
農業従事者402がソフトボタンB11を指示すると、サーバ405におけるマップ編集部813は、図16に例示する画面をユーザ端末401のタッチパネルに表示させる。この画面の右側には農薬の散布量を指示するフェーダF1が表示される。このフェーダF1の指示位置は、初期状態において、診断結果データが示す罹患の程度に応じた散布量に設定されている。農業従事者402は、画面左側の農作物の画像P1から判断される罹患の程度に対し、フェーダF1が指示する散布量が適切であるか否かを判断し、不適切であれば、フェーダF1の指示位置を適切な散布量を示す指示位置に修正する。フェーダF1の指示位置が適切である場合、農業従事者402はフェーダF1の操作を行わない。
When the
農業従事者402が「戻る」の表示がなされたソフトボタンB14を指示すると、サーバ405におけるマップ編集部813は、ユーザ端末401のタッチパネルの表示画面を図14に例示するような状態に戻す。このときサーバ405におけるマップ編集部813は、農作物マップ821において、農業従事者402によって散布および散布量の指示が行われた農作物に対応付けられた散布指示データをONとし、散布量データを上記フェーダF1の指示位置に対応した値とする。そして、マップ編集部813は、ユーザ端末401のタッチパネルの表示画面において、散布の指示を行った農作物に対応した黒丸プロットの位置に「散布」に対応した白丸マークを表示させる。
When the
図15に示す画面において、農業従事者402がソフトボタンB12を指示すると、サーバ405におけるマップ編集部813は、ユーザ端末401のタッチパネルの表示画面を図14に例示するような状態に戻す。このときサーバ405におけるマップ編集部813は、農作物マップ821において、散布不要の指示が行われた農作物に対応付けられた散布指示データをOFFとする。そして、マップ編集部813は、ユーザ端末401のタッチパネルの表示画面において、散布不要の指示を行った農作物に対応した黒丸プロットの位置に「不要」に対応した×マークを表示させる。
When the
図15に示す画面において、農業従事者402がソフトボタンB13を指示すると、サーバ405におけるマップ編集部813は、ユーザ端末401のタッチパネルに図17に例示する画面を表示させる。この画面の右側には農作物の再撮影の条件を指定するソフトボタンB21、B22、…が表示される。図示は省略したが、各ソフトボタンの近くには再撮影の条件を説明する文や画像が表示される。再撮影の条件とは、例えば前後左右4方向からの撮影、距離20cm及び50cmからの撮影といったものである。農業従事者402は、画面左側の農作物の画像P1を確認しつつ、所望の再撮影条件を示すソフトボタンを1または複数指示し、「戻る」の表示がなされたソフトボタンB14を指示する。これによりサーバ405におけるマップ編集部813は、ユーザ端末401のタッチパネルの表示画面を図14に例示する状態に戻す。
When the
そして、マップ編集部813は、農作物マップ821において、再撮影の指示が行われた農作物に対応付けられた再撮影指示データをONとする。また、マップ編集部813は、同農作物に対応付けられた撮影条件データを農業従事者402によって指示された再撮影の条件を示す内容に設定する。そして、マップ編集部813は、ユーザ端末401のタッチパネルの表示画面において、再撮影の指示が行われた農作物に対応したプロットの位置に「再撮影」に対応した白三角マークを表示させる。
Then, the
以上の操作が繰り返されることにより図14に示す各黒丸プロットに白丸マーク、×マークまたは白三角マークが表示され、ユーザ端末401のタッチパネルには図18に例示する画面が表示される(以上、ステップS2)。 By repeating the above operation, a white circle mark, an × mark, or a white triangle mark is displayed on each black circle plot shown in FIG. 14, and the screen illustrated in FIG. 18 is displayed on the touch panel of the user terminal 401 (the above steps). S2).
図18に例示する表示状態において、農業従事者402が「戻る」の表示がなされたソフトボタンB14を指示すると、マップ編集部813は、ユーザ端末401のタッチパネルを図13に示す画面に戻す。農業従事者402が「再撮影指示」と表示されたソフトボタンB02を指示すると、再撮影指示がユーザ端末401からサーバ405に送信される。
In the display state illustrated in FIG. 18, when the
サーバ405の飛行再撮影計画生成部814は、記憶部820に記憶された農作物マップ821に基づいて、飛行再撮影計画822を生成し、記憶部820に格納するとともに、通信処理部811によりドローン100に送信する。この飛行再撮影計画822は、発着地点406を離陸したドローン100が、農作物マップ821において再撮影指示データがONになっている各農作物の各位置(識別データが示す位置)を最短距離で通過して発着地点406に戻る飛行ルートを示す情報を含む。また、飛行再撮影計画822は、再撮影の飛行ルート上において再撮影を行う農作物の作付位置と、その農作物に対して行う再撮影の条件を示す情報を含む。この情報は、上記飛行ルートと、農作物マップ821において再撮影指示データがONになっている農作物の各位置(識別データが示す位置)と、同農作物に対応付けられた撮影条件データとから生成される。
The flight re-shooting
飛行再撮影計画生成部814は、飛行再撮影計画822をドローン100に送信すると、ユーザ端末401のタッチパネルに飛行再撮影を実行するか否かを問い合わせるメッセージを表示させる。農業従事者402が飛行再撮影の実行を指示した場合、飛行再撮影計画生成部814は、日射量センサ601及び降雨センサ602と通信を行い、飛行再撮影の条件が満たされているか否かを判断する。この条件が満たされている場合、飛行再撮影計画生成部814は、飛行再撮影の指示をドローン100に対して送信する。
When the flight re-shooting
ドローン100では、サーバ405の飛行再撮影計画生成部814から受信された飛行再撮影計画822が飛行再撮影計画722として記憶部720に格納される。ドローン100の飛行再撮影制御部714は、飛行再撮影の指示がサーバ405から受信されることにより、記憶部720内の飛行再撮影計画722に従って、ドローン100に飛行再撮影を行わせる。この飛行再撮影において、診断部712による診断は行われないが、飛行再撮影計画において指定された条件に従い、例えば複数の方向からの撮影等、飛行撮影の場合よりも高精度な撮影が農作物に対して行われる。撮影により得られた画像データは、農作物の識別データとともにサーバ405に送信される。サーバ405では、このドローン100の飛行再撮影制御部714から受信されるデータを、記録部812が農作物マップ821として記憶部820に記録する。この農作物マップ821は、飛行撮影の際に生成されたものと同様な内容であるが、診断結果データの内容は空になっている(以上、ステップS3)。
In the
農業従事者402は、ユーザ端末401によりサーバ405にアクセスし、飛行再撮影により得られた農作物マップ821の確認及び修正をすることができる(ステップS4)。この確認及び修正の手順は、飛行再撮影により得られた農作物マップ821の確認及び修正の手順(ステップS2)と同様である。
The
農業従事者402は、ステップS4の確認において、さらに飛行再撮影が必要か否かを判断する(ステップS5)。さらに飛行再撮影が必要と判断した場合(ステップS5;Yes)、農業従事者402はユーザ端末401のタッチパネルに図13に示す画面を表示させた状態において、「再撮影指示」と表示されたソフトボタンB02を指示する。この指示に応じて、ステップS3以降が繰り返される。
さらなる飛行再撮影は不要と判断した場合(ステップS5;No)、農業従事者402は、ユーザ端末401のタッチパネルに図13に示す画面を表示させた状態において、「散布指示」と表示されたソフトボタンB03を指示することによりドローン100による飛行散布を指示することができる。その際、農業従事者402は、飛行散布計画823の基礎となる農作物マップ821を指定することができる。
When it is determined that further flight re-shooting is unnecessary (step S5; No), the
飛行撮影により得られた農作物マップ821が指定された場合、飛行散布計画生成部815は、その農作物マップ821に基づいて、飛行散布計画823を生成して記憶部820に格納し、ドローン100に送信する。この飛行散布計画823は、発着地点406を離陸したドローン100が、農作物マップ821において散布指示データがONになっている各農作物の各位置(識別データが示す位置)を最短距離で通過して発着地点406に戻る飛行ルートを示す情報を含む。また、飛行散布計画823では、飛行散布の飛行ルート上において散布を行う農作物の作付位置と、農薬の散布量を示す情報を含む。この情報は、上記飛行ルートと、農作物マップ821において散布指示データがONになっている農作物の各位置(識別データが示す位置)と、同農作物に対応付けられた散布量データとから生成される。
When the
飛行撮影により得られた農作物マップ821と飛行再撮影により得られた農作物マップ821の両者が指定された場合、飛行散布計画生成部815は、両マップをマージしたマップを生成し、このマージしたマップに基づいて、飛行散布計画823を生成して記憶部820に格納し、ドローン100に送信する。
When both the
この場合のマージは、重複したデータについては、飛行再撮影により得られた農作物マップ821のデータを優先する、というルールに従って行われる。具体的には次の通りである。
a.ある識別データ(農作物の作付位置)が、飛行撮影により得られた農作物マップ821にあり、飛行再撮影により得られた農作物マップ821にはない場合、飛行撮影により得られた農作物マップ821において当該識別データに対応付けられたデータをマージ後の農作物マップ821に含める。
b.ある識別データ(農作物の作付位置)が、飛行撮影により得られた農作物マップ821と、飛行再撮影により得られた農作物マップ821の両方にある場合、飛行再撮影により得られた農作物マップ821において当該識別データに対応付けられたデータをマージ後の農作物マップ821に含める。
In this case, the merging is performed according to the rule that the data of the
a. If certain identification data (crops planting position) is in the
b. When certain identification data (crops planting position) is present in both the
ドローン100では、サーバ405の飛行散布計画生成部815から受信された飛行散布計画823を飛行散布計画723として記憶部820に格納する。飛行散布計画823を送信した飛行散布計画生成部815は、ユーザ端末401のタッチパネルに飛行散布を実行してよいか否かを問い合わせるメッセージを表示させる。その際、飛行散布計画生成部815は、飛行散布の飛行ルートを示す画像をタッチパネルに表示させてもよい。農業従事者402が飛行散布の実行の指示を、ユーザ端末401を介してサーバ405に送信すると、飛行散布計画生成部815は、この飛行散布の指示をドローン100に送信する。これによりドローン100の飛行散布制御部715は、記憶部720に記憶された飛行散布計画723に従って、ドローン100に飛行散布を行わせる(以上、ステップS6)。
In the
以上説明したように、本実施形態によれば、農業従事者402は、圃場403に足を運ぶことなく、農作物が病気に罹患しているか否か、また、罹患している場合の病気の種類や症状の程度を、確認することができる。
As described above, according to the present embodiment, the
[変形例]
上記実施形態には次のような変形例が考えられる。
[Modification example]
The following modifications can be considered in the above embodiment.
(1)病理診断に用いるセンサの種類は、赤色光または近赤外光のスペクトルカメラに限られない。例えば、病理診断に用いるセンサとして可視光カメラ(撮影手段の一例)が用いられてもよい。
その場合、病理診断に用いるデータを生成する測定装置と、病理診断に用いられず農業従事者402の確認のために用いられるデータ(付加データ)を生成する測定装置の種類が同じとなるが、病理診断には低解像度(第1の解像度)の画像が用いられ、農業従事者402の確認のためには高解像度(第1の解像度より高い第2の解像度)の画像が用いられてもよい。
(1) The type of sensor used for pathological diagnosis is not limited to a spectrum camera of red light or near infrared light. For example, a visible light camera (an example of imaging means) may be used as a sensor used for pathological diagnosis.
In that case, the type of the measuring device that generates the data used for the pathological diagnosis and the measuring device that generates the data (additional data) that is not used for the pathological diagnosis but is used for the confirmation of the
(2)病理診断に用いる画像と、当該画像に加えて農業従事者402が確認のために用いる画像とが、異なる撮影方向で撮影された画像であってもよい。
(2) The image used for the pathological diagnosis and the image used for confirmation by the
その場合、ドローン100に搭載された撮影方向が異なる複数の撮影手段の各々が撮影した同じ株の画像のうち、或るもの(第1の撮影手段により生成された画像)を病理診断に用い、病理診断に用いられた画像に加え、病理診断に用いられなかった画像(第2の撮影手段により生成された画像)を付加データとして、農業従事者402に閲覧可能としてもよい。
In that case, among the images of the same strain taken by each of the plurality of imaging means mounted on the
(3)同じ撮影装置で異なるタイミングで撮影された同じ株の複数の画像のうち、或るもの(測定手段が第1のタイミングに測定した結果を示すデータの一例)を病理診断に用い、病理診断に用いられた画像に加え、病理診断に用いられなかった画像(測定手段が第2のタイミングに測定した結果を示すデータの一例)を付加データとして、農業従事者402に閲覧可能としてもよい。例えば、往路において右側に見えていた株が、復路において左側に見える場合がある。撮影手段の撮影範囲が広角であれば、往路と復路において、同じ撮影手段により異なる撮影方向で同じ株を撮影した画像が得られる。従って、例えば、往路に撮影した画像により病理診断を行い、農業従事者402には往路と復路の各々で撮影された同じ株の画像が病理診断の確認のために閲覧されてもよい。
(3) Among a plurality of images of the same strain taken at different timings with the same imaging device, a certain one (an example of data showing the result measured by the measuring means at the first timing) is used for pathological diagnosis, and pathology is performed. In addition to the image used for the diagnosis, an image not used for the pathological diagnosis (an example of data showing the result measured by the measuring means at the second timing) may be made available to the
(4)ドローン100の飛行方向の前方を撮影方向とする前方撮影手段と、後方を撮影方向とする後方撮影手段を搭載し、前方撮影手段で撮影した画像により病気に罹患していると診断された株を後方撮影手段で撮影した画像を、付加データとして農業従事者402に閲覧可能にしてもよい。ドローン100の後方には、プロペラにより下方への強い風(ダウンウォッシュ)が生じる。この風により一時的になぎ倒されて上空から株元が見えた状態の株を後方撮影手段により撮影することで、農業従事者402には、病気の状態を顕著に示す株元の画像が提供されることになり、望ましい。
(4) The
(5)農作物育成システムに記録される付加データは、農業従事者402に閲覧される他、農作物育成システムによる病理診断の当否判定に用いられてもよい。具体的には、例えばサーバ405に、農作物マップ821に含まれる付加データに基づき、診断部712による診断の結果の当否を判定する当否判定手段と、記録されている診断結果を修正する修正手段を設け、当否判定手段により誤っていると判定された診断結果を示すデータを、修正手段が修正してもよい。
(5) The additional data recorded in the crop growing system may be viewed by the
(6)診断部712が、ドローン100に搭載されたデータ処理装置501以外の装置において実現されてもよい。例えば、ドローン100に搭載されたデータ処理装置501は病理診断を行わず、サーバ405が病理診断を行ってもよい。その場合、例えば、ドローン100に搭載されたデータ処理装置501は、第1スペクトルカメラ、第2スペクトルカメラ、可視光カメラが撮影した画像を表すデータ、もしくは、それらの画像から抽出された特徴点等を示すデータをサーバ405に送信し、サーバ405において実現される診断手段が、データ処理装置501から受信したデータに基づき病理診断を行う。
(6) The
(7)診断部712が、2以上の装置の各々に配置されてもよい。例えば、ドローン100に搭載されたデータ処理装置501が第1の診断手段を実現し、サーバ405が第2の診断手段を実現し、第1の診断手段において病気に罹患している可能性の有無を診断する。そして、病気に罹患している可能性があると診断された株に関し、第2の診断手段が病気に罹患しているか否かを診断し、また、罹患している場合はその病気の種類と進行度を診断する。
(7) The
(8)実施形態では、飛行撮影中、可視光カメラ(付加データを生成する測定手段の一例)は継続的に撮影を行い、撮影された画像を表すデータは全て、一時的に記憶される。これに代えて、診断手段により、病気に罹患している、と診断された株に関してのみ、可視光カメラが撮影を行い、撮影した画像を表すデータをシステムが記録してもよい。この場合、可視光カメラは診断手段の診断結果に応じて、撮影の開始及び停止を行う。 (8) In the embodiment, the visible light camera (an example of the measuring means for generating additional data) continuously shoots during the flight shooting, and all the data representing the shot images are temporarily stored. Alternatively, the visible light camera may capture only the strains diagnosed as suffering from the disease by diagnostic means, and the system may record data representing the captured images. In this case, the visible light camera starts and stops imaging according to the diagnosis result of the diagnostic means.
(9)ドローン100の地球における三次元位置を特定するための仕組みはRTK-GPS方式に限られない。例えば、DGPS方式が採用されてもよい。また、ドローン100の地球における三次元位置の測定結果の精度を高めるために、例えば音波を用いた測距等が行われてもよい。
(9) The mechanism for identifying the three-dimensional position of the
(10)実施形態では、第1の撮影手段として第1スペクトルカメラ512b及び第2スペクトルカメラ512cの複数のスペクトルカメラを用いる。これに代えて、第1の撮影手段を、赤色光を撮影する第1スペクトルカメラ512bのみで構成してもよい。また、第1の撮影手段を3台以上のスペクトルカメラで構成してもよい。
(10) In the embodiment, a plurality of spectrum cameras of the
(11)実施形態では、CPU810により実現される飛行再撮影計画生成部814は、飛行再撮影を指示するに当たって、日射量センサ601及び降雨センサ602と通信を行い、日射量センサ601及び降雨センサ602から得られた情報に基づき、再撮影の条件が満たされているか否かの判断を行う。これに代えて、CPU810が既知の気象予報システムと通信を行い、気象予報システムから得られた情報に基づき、再撮影の条件が満たされているか否かの判断を行ってもよい。
(11) In the embodiment, the flight re-shooting
(12)実施形態では、第1の撮影手段とした第1スペクトルカメラ512bが画像の生成に用いる光の周波数帯は赤色光(例えば680nm付近の周波数帯)であり、もう一つの第1の撮影手段とした第2スペクトルカメラ512cが画像の生成に用いる光の周波数帯は近赤外光(例えば780nm付近の周波数帯)である。また、第2の撮影手段とした可視光カメラ512aが画像の生成に用いる光の周波数帯は可視光の全波長帯域である。第1の撮影手段が画像の生成に用いる光の周波数帯と第2の撮影手段が画像の生成に用いる光の周波数帯は、それらが異なっている限り、実施形態で採用されたものに限られない。なお、本願において、「周波数帯が異なる」とは、2つの周波数帯の上限及び下限の少なくとも一方が異なっていることを意味する。従って、第1の撮影手段が画像の生成に用いる光の周波数帯と第2の撮影手段が画像の生成に用いる光の周波数帯は、全く重なる帯域を持たなくてもよいし、一部重なる帯域を持ってもよいし、一方が他方の全てを含んでもよい。
(12) In the embodiment, the frequency band of light used by the
(13)上述した実施形態の説明において、診断部712(診断手段の一例)により病気に罹患されていると診断された農作物の作付位置(農作物の作付けの位置又は領域の一例)を特定する方法について言及しなかったが、例えば以下の方法により農作物の作付位置の特定が行われてもよい。
例えば、飛行撮影制御部713(作付位置特定手段の一例)は、第1スペクトルカメラ512b及び第2スペクトルカメラ512c(測定手段の一例)が撮影を行い、農作物の画像(診断手段が診断に用いるデータの一例)を生成したタイミングにおいて、GPSモジュール504等の位置測定手段が測定した無人航空機の3次元位置と、無人航空機を基準とする第1スペクトルカメラ512b及び第2スペクトルカメラ512cの撮影方向とに基づき、撮影された農作物の作付位置を特定する。
(13) In the description of the above-described embodiment, a method of identifying a crop planting position (an example of a crop planting position or area) diagnosed as suffering from a disease by the diagnostic unit 712 (an example of diagnostic means). However, for example, the planting position of the crop may be specified by the following method.
For example, the flight imaging control unit 713 (an example of the planting position identifying means) is photographed by the
401……ユーザ端末、402……農業従事者、403……圃場、404……基地局、405……サーバ、406……発着地点、100……ドローン、101……回転翼、501……データ処理装置、519……WiFi子機、504……GPSモジュール、505……6軸ジャイロセンサ、506……地磁気センサ、507……気圧センサ、508……レーザセンサ、509……ソナー、511……液切れセンサ、512a……可視光カメラ、512b……第1スペクトルカメラ、512c……第2スペクトルカメラ、513……障害物検知カメラ、514……スイッチ、515……障害物接触センサ、516……カバーセンサ、517……薬剤注入口センサ、102……モータ、106……ポンプ、107……LED、518……ブザー、520……スピーカ、521……警告灯、710,810……CPU、720,820……記憶部、711,811……通信処理部、712……診断部、713……飛行撮影制御部、714……飛行再撮影制御部、715……飛行散布制御部、721……飛行撮影計画、722,822……飛行再撮影計画、723,823……飛行散布計画、830……通信部、821……農作物マップ、812……記録部、813……マップ編集部、814……飛行再撮影計画生成部、815……飛行散布計画生成部、B01~B03,B11~B14,B21,B22……ソフトボタン、P1……農作物の画像、F1……フェーダ。 401 ... user terminal, 402 ... farmer, 403 ... field, 404 ... base station, 405 ... server, 406 ... departure / arrival point, 100 ... drone, 101 ... rotary wing, 501 ... data Processing device, 519 ... WiFi handset, 504 ... GPS module, 505 ... 6-axis gyro sensor, 506 ... geomagnetic sensor, 507 ... pressure sensor, 508 ... laser sensor, 509 ... sonar, 511 ... Liquid drain sensor, 512a ... Visible light camera, 512b ... First spectrum camera, 512c ... Second spectrum camera, 513 ... Obstacle detection camera, 514 ... Switch, 515 ... Obstacle contact sensor, 516 ... ... cover sensor, 517 ... drug inlet sensor, 102 ... motor, 106 ... pump, 107 ... LED, 518 ... buzzer, 520 ... speaker, 521 ... warning light, 710, 810 ... CPU, 720, 820 ... Storage unit, 711,811 ... Communication processing unit, 712 ... Diagnosis unit, 713 ... Flight imaging control unit, 714 ... Flight re-imaging control unit, 715 ... Flight spray control unit, 721 ... ... Flight shooting plan, 722,822 ... Flight reshooting plan, 723,823 ... Flight spraying plan, 830 ... Communication department, 821 ... Agricultural crop map, 812 ... Recording department, 813 ... Map editorial department, 814 ...... Flight re-shooting plan generation unit, 815 ... Flight spraying plan generation unit, B01 to B03, B11 to B14, B21, B22 ... Soft button, P1 ... Agricultural crop image, F1 ... Fader.
Claims (13)
前記1以上の測定手段の少なくとも1つによる測定結果を示すデータに基づき、前記農地に作付けされている農作物が病気に罹患しているか否かを診断する診断手段と、
前記診断手段により病気に罹患していると診断された農作物に関し前記1以上の測定手段による測定結果を示すデータであって、前記診断手段が当該農作物に関する診断に用いた情報とは異なる情報を示す付加データを、当該農作物を識別する農作物識別データと対応付けて記録する記録手段と
を備える農作物育成システム。 One or more measuring means for measuring a physical quantity indicating the state of crops mounted on an unmanned aerial vehicle flying over a farmland and planted on the farmland.
Based on the data showing the measurement results by at least one of the above-mentioned one or more measuring means, a diagnostic means for diagnosing whether or not the crops cultivated on the farmland are sick, and
Data showing the measurement results of one or more measuring means for a crop diagnosed as suffering from a disease by the diagnostic means, and showing information different from the information used by the diagnostic means for the diagnosis of the crop. A crop growing system including a recording means for recording additional data in association with crop identification data for identifying the crop.
を備える請求項1に記載の農作物育成システム。 The crop growing system according to claim 1, further comprising a transmission means for transmitting the additional data to a terminal device used by the user.
を備える請求項1又は2に記載の農作物育成システム。 The crop growing system according to claim 1 or 2, further comprising a notification means for notifying the user of an image of a crop diagnosed as suffering from a disease by the diagnostic means indicated by the additional data.
を備える請求項1乃至3のいずれか1項に記載の農作物育成システム。 The crop growing system according to any one of claims 1 to 3, further comprising a pass / fail determination means for determining the validity of the diagnosis result by the diagnostic means based on the additional data.
前記診断手段は、前記第1の撮影手段により生成された画像を表すデータに基づき診断を行い、
前記記録手段は、前記第2の撮影手段により生成された画像を表すデータを付加データとして記録する
請求項1乃至4のいずれか1項に記載の農作物育成システム。 The one or more measuring means include a first photographing means and a second photographing means in which the frequency band of light used for generating an image is different from that of the first photographing means.
The diagnostic means makes a diagnosis based on data representing an image generated by the first photographing means.
The crop growing system according to any one of claims 1 to 4, wherein the recording means records data representing an image generated by the second photographing means as additional data.
前記診断手段は、前記1以上の撮影手段により生成された第1の解像度の画像を表すデータに基づき診断を行い、
前記記録手段は、前記1以上の撮影手段により生成された前記第1の解像度より高い第2の解像度の画像を表すデータを付加データとして記録する
請求項1乃至5のいずれか1項に記載の農作物育成システム。 The one or more measuring means includes one or more photographing means capable of generating data representing images having different resolutions.
The diagnostic means makes a diagnosis based on the data representing the image of the first resolution generated by the one or more photographing means.
The recording means according to any one of claims 1 to 5, wherein the recording means records data representing an image having a second resolution higher than the first resolution generated by the one or more photographing means as additional data. Agricultural crop growing system.
前記診断手段は、前記複数の撮影手段のうちの第1の撮影手段により生成された画像を表すデータに基づき診断を行い、
前記記録手段は、前記複数の撮影手段のうちの前記第1の撮影手段と異なる第2の撮影手段により生成された画像を表すデータを付加データとして記録する
請求項1乃至4及び6のいずれか1項に記載の農作物育成システム。 The one or more measuring means include a plurality of photographing means for generating data representing images taken from the unmanned aerial vehicle in different shooting directions.
The diagnostic means makes a diagnosis based on data representing an image generated by the first photographing means among the plurality of photographing means.
The recording means is any one of claims 1 to 4 and 6 for recording data representing an image generated by a second photographing means different from the first photographing means among the plurality of photographing means as additional data. The crop growing system described in item 1.
前記記録手段は、前記1以上の測定手段が前記第1のタイミングとは異なる第2のタイミングに測定した結果を示すデータを付加データとして記録する
請求項1乃至7のいずれか1項に記載の農作物育成システム。 The diagnostic means makes a diagnosis based on data showing the results of measurement by the one or more measuring means at the first timing.
The recording means according to any one of claims 1 to 7, wherein the recording means records data indicating the result of measurement by the one or more measuring means at a second timing different from the first timing as additional data. Agricultural crop growing system.
前記記録手段は、前記診断手段により病気に罹患していると診断された農作物に関し前記農作物識別データに対応付けて前記診断手段により判定された病気の種類及び病気の進行度の少なくとも一方を示す診断結果データを記録する
請求項1乃至8のいずれか1項に記載の農作物育成システム。 The diagnostic means determines at least one of the type of disease affecting the crop and the degree of progression of the disease affecting the crop.
The recording means is a diagnosis indicating at least one of the type of disease and the degree of progression of the disease determined by the diagnostic means in association with the crop identification data for the crops diagnosed as suffering from the disease by the diagnostic means. The agricultural product growing system according to any one of claims 1 to 8 for recording result data.
前記診断手段が診断に用いるデータを前記1以上の測定手段が生成したタイミングにおける前記位置測定手段が測定した前記無人航空機の位置に基づき、前記診断手段により病気に罹患されていると診断された農作物の作付けの位置又は領域を特定する作付位置特定手段と
を備え、
前記記録手段は、前記作付位置特定手段により特定された位置又は領域を示すデータを農作物識別データとして記録する
請求項1乃至9のいずれか1項に記載の農作物育成システム。 A position measuring means for measuring the position of the unmanned aerial vehicle and
Agricultural products diagnosed as suffering from a disease by the diagnostic means based on the position of the unmanned aerial vehicle measured by the position measuring means at the timing when the data used by the diagnostic means for diagnosis is generated by the one or more measuring means. Equipped with a planting position identification means for specifying the planting position or area of
The crop growing system according to any one of claims 1 to 9, wherein the recording means records data indicating a position or region specified by the planting position specifying means as crop identification data.
を備え、
前記診断手段は、前記無人航空機に搭載され、農作物が病気に罹患している可能性の有無を診断する第1の診断手段と、前記データ処理装置に配置され、前記第1の診断手段により病気に罹患している可能性が有ると診断された農作物が病気に罹患しているか否かを診断する第2の診断手段とを有する
請求項1乃至10のいずれか1項に記載の農作物育成システム。 A transmission means for transmitting data indicating a measurement result by at least one of the one or more measuring means to a data processing device not mounted on the unmanned aerial vehicle is provided.
The diagnostic means is mounted on the unmanned aircraft and is arranged in the first diagnostic means for diagnosing the possibility that the agricultural product is affected by the disease and the data processing device, and the disease is caused by the first diagnostic means. The agricultural product growing system according to any one of claims 1 to 10, which has a second diagnostic means for diagnosing whether or not the agricultural product diagnosed as having the possibility of suffering from the disease has the disease. ..
請求項1乃至11のいずれか1項に記載の農作物育成システム。 The recording means records data showing the measurement results by the one or more measuring means, and deletes the recorded data related to the agricultural products diagnosed as not suffering from the disease by the diagnostic means. The agricultural product growing system according to any one of 1 to 11.
請求項1乃至11のいずれか1項に記載の農作物育成システム。 The crop growing system according to any one of claims 1 to 11, wherein the one or more measuring means generates the additional data with respect to the crop diagnosed as suffering from the disease by the diagnostic means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/003234 WO2021152741A1 (en) | 2020-01-29 | 2020-01-29 | Crop-growing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/003234 WO2021152741A1 (en) | 2020-01-29 | 2020-01-29 | Crop-growing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021152741A1 true WO2021152741A1 (en) | 2021-08-05 |
Family
ID=77078124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/003234 Ceased WO2021152741A1 (en) | 2020-01-29 | 2020-01-29 | Crop-growing system |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2021152741A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272314A (en) * | 2022-09-27 | 2022-11-01 | 广东晟腾地信科技有限公司 | Agricultural low-altitude remote sensing mapping method and device |
| CN116246186A (en) * | 2023-03-07 | 2023-06-09 | 衡阳晟达信息技术有限公司 | UAV-based intelligent agricultural inspection system |
| WO2024176078A1 (en) * | 2023-02-22 | 2024-08-29 | Kubota Corporation | Agricultural cutting system and cut-point method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014119330A1 (en) * | 2013-02-01 | 2014-08-07 | 株式会社ブリリアントサービス | Cultivation system, cultivation program, and cultivation method |
| JP2016131494A (en) * | 2015-01-15 | 2016-07-25 | 株式会社日立ソリューションズ | Growth management device |
| JP2017012138A (en) * | 2015-07-06 | 2017-01-19 | 日立マクセル株式会社 | Crop management system and crop management method |
| WO2018073899A1 (en) * | 2016-10-18 | 2018-04-26 | 株式会社オプティム | Computer system, plant diagnosis method, and program |
| JP2019039913A (en) * | 2018-08-02 | 2019-03-14 | 株式会社Zmp | Monitoring system |
| US20190219499A1 (en) * | 2018-01-18 | 2019-07-18 | Wisconsin Alumni Research Foundation | System For Detection Of Disease In Plants |
-
2020
- 2020-01-29 WO PCT/JP2020/003234 patent/WO2021152741A1/en not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014119330A1 (en) * | 2013-02-01 | 2014-08-07 | 株式会社ブリリアントサービス | Cultivation system, cultivation program, and cultivation method |
| JP2016131494A (en) * | 2015-01-15 | 2016-07-25 | 株式会社日立ソリューションズ | Growth management device |
| JP2017012138A (en) * | 2015-07-06 | 2017-01-19 | 日立マクセル株式会社 | Crop management system and crop management method |
| WO2018073899A1 (en) * | 2016-10-18 | 2018-04-26 | 株式会社オプティム | Computer system, plant diagnosis method, and program |
| US20190219499A1 (en) * | 2018-01-18 | 2019-07-18 | Wisconsin Alumni Research Foundation | System For Detection Of Disease In Plants |
| JP2019039913A (en) * | 2018-08-02 | 2019-03-14 | 株式会社Zmp | Monitoring system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272314A (en) * | 2022-09-27 | 2022-11-01 | 广东晟腾地信科技有限公司 | Agricultural low-altitude remote sensing mapping method and device |
| WO2024176078A1 (en) * | 2023-02-22 | 2024-08-29 | Kubota Corporation | Agricultural cutting system and cut-point method |
| CN116246186A (en) * | 2023-03-07 | 2023-06-09 | 衡阳晟达信息技术有限公司 | UAV-based intelligent agricultural inspection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111566010B (en) | Unmanned aerial vehicle, unmanned aerial vehicle control method, and computer-readable recording medium | |
| JP6982908B2 (en) | Driving route generator, driving route generation method, and driving route generation program, and drone | |
| WO2021214812A1 (en) | Survey system, survey method, and survey program | |
| JP2022084735A (en) | Drone, drone control method, and drone control program | |
| WO2021152741A1 (en) | Crop-growing system | |
| JP6913979B2 (en) | Drone | |
| WO2021140657A1 (en) | Drone system, flight management device, and drone | |
| JP7353630B2 (en) | Drone control system, drone control method, and drone | |
| WO2021205559A1 (en) | Display device, drone flight propriety determination device, drone, drone flight propriety determination method, and computer program | |
| CN113678083B (en) | Industrial machine system, control device, control method for industrial machine system, and computer-readable recording medium | |
| JP7562163B2 (en) | Flight Control System | |
| JP7359464B2 (en) | Crop growing system | |
| JP7008999B2 (en) | Driving route generation system, driving route generation method, and driving route generation program, and drone | |
| JP7079547B1 (en) | Field evaluation device, field evaluation method and field evaluation program | |
| JP6973829B2 (en) | Field photography camera | |
| JP7412037B2 (en) | How to define the drone system, controls and work area | |
| JP7011233B2 (en) | Spraying system and spraying management device | |
| JP7411259B2 (en) | Plant pathology diagnosis system, plant pathology diagnosis method, plant pathology diagnosis device, and drone | |
| JP7570710B2 (en) | Area editing system, how to edit working areas | |
| JP7412038B2 (en) | Re-survey necessity determination device, survey system, drone system, and re-survey necessity determination method | |
| JP7387195B2 (en) | Field management system, field management method and drone | |
| WO2021224970A1 (en) | Positioning system, mobile body, speed estimating system, positioning method, and speed estimating method | |
| JP7169022B2 (en) | Harvest forecast system, harvest forecast method, harvest forecast program, and harvest time forecast system | |
| JP7075127B2 (en) | Field analysis method, field analysis program, field analysis device, drone system and drone | |
| WO2021199243A1 (en) | Positioning system, drone, surveying machine, and positioning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20916851 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20916851 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |