WO2025219011A1 - System for assisting with the cutting of plants - Google Patents
System for assisting with the cutting of plantsInfo
- Publication number
- WO2025219011A1 WO2025219011A1 PCT/EP2025/057909 EP2025057909W WO2025219011A1 WO 2025219011 A1 WO2025219011 A1 WO 2025219011A1 EP 2025057909 W EP2025057909 W EP 2025057909W WO 2025219011 A1 WO2025219011 A1 WO 2025219011A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cutting
- plant
- image
- laser
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23D—PLANING; SLOTTING; SHEARING; BROACHING; SAWING; FILING; SCRAPING; LIKE OPERATIONS FOR WORKING METAL BY REMOVING MATERIAL, NOT OTHERWISE PROVIDED FOR
- B23D59/00—Accessories specially designed for sawing machines or sawing devices
- B23D59/001—Measuring or control devices, e.g. for automatic control of work feed pressure on band saw blade
- B23D59/002—Measuring or control devices, e.g. for automatic control of work feed pressure on band saw blade for the position of the saw blade
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23D—PLANING; SLOTTING; SHEARING; BROACHING; SAWING; FILING; SCRAPING; LIKE OPERATIONS FOR WORKING METAL BY REMOVING MATERIAL, NOT OTHERWISE PROVIDED FOR
- B23D59/00—Accessories specially designed for sawing machines or sawing devices
- B23D59/008—Accessories specially designed for sawing machines or sawing devices comprising computers
Definitions
- the invention relates to a system for assisting in the cutting of plants, comprising a computer device connected to at least one image capture device, an image evaluation device and a display device.
- plants are understood to mean, in particular, woody plants such as grapevines, fruit trees and fruit bushes, Rosaceae, and generally trees, bushes, shrubs, and ornamental shrubs in agriculture and forestry, as well as in parks and gardens. These are often perennial plants whose axils become woody and remain permanently intact, so that their above-ground shoot system increases in size over the years. Plants must be pruned to positively support their development, and proper pruning of plants requires expert knowledge.
- EP 3 617 816 A2 discloses a computer-implemented method in which, by forming various actual and target models of a plant, instructions for cutting the plant are generated, which are displayed to the user on a portable computer device.
- CN 102696411 B discloses a method for analyzing and processing images of grapevines.
- the image information captured by a binocular camera is transmitted to a computer, which performs image preprocessing, image enhancement, image segmentation, image recognition, and performs other processing steps on the image information.
- the branches are identified, the pruning point is analyzed and determined, and the three-dimensional coordinate information of the pruning point is extracted.
- the vines are then pruned using a corresponding pruning device installed on a self-maneuvering and navigating vehicle.
- CN 104871841 A describes a fruit tree pruning aid with a frame.
- a multidirectional video device, a remote transmission module, an input panel, and the like are arranged on the frame.
- a plurality of video cameras are arranged in a ring on the multidirectional video device.
- the multidirectional video device captures the multidirectional, multidimensional video information of the fruit trees, which is transmitted to a remote management center via the remote transmission module.
- the remote management center's computer calculates an optical pruning mode and transmits the optical pruning mode back so that the pruning mode can be displayed on the prompt panel.
- the remote management center collects the data for pruning various fruit trees with respect to multiple shapes and purposes for future reference. Lighting components are attached to the cameras of the multidirectional video device to provide illumination as needed; the prompt panel may be an integrated tablet computer that transmits data over a network.
- US 2016/0050852 A1 discloses a system for assisting in the cutting of plants, comprising at least one computer device which is connected to at least one image capturing device, an image evaluation device and at least one light source comprising at least one light source.
- Display device is connected, wherein the image capture device generates at least one image of the plant to be cut, which image is analyzed and segmented at the image evaluation device in order to cut the plant directly at the cutting positions by means of a light beam from the light source of the display device.
- the invention is based on the object of creating a system for assisting in the cutting of plants of the type mentioned at the outset, which provides a user with assistance in cutting plants with little effort.
- a system for assisting in the pruning of plants comprises at least one computer device connected to at least one image capture device, an image evaluation device, and at least one display device comprising at least one light source.
- the image capture device generates at least one image of the plant to be pruned, which image is analyzed and segmented by the image evaluation device or examined using artificial intelligence in order to project cutting positions onto the plant using a light beam from the light source of the display device and/or to directly cut the plant at the cutting positions.
- a 3D model of the plant to be processed can be created.
- This invention relates to horticulture, fruit-growing, and viticulture and describes a system that simplifies the professional and proper pruning of plants with the support of cameras, sensors, computers, and light, so that even laypeople can perform such work almost error-free.
- the system is in Capable of collecting and processing information about the plants to be cut, and using a light beam to mark the areas to be cut on the plants or, if a suitable light source is used, to cut them directly.
- the light beam is usually a laser beam.
- At least one actuator or control element connected to the computer device can align the at least one light source such that the respective light beam marks a cutting position.
- At least one marking laser also known as a pointer, is used to mark the points to be cut on the woody plant.
- the plant is cut manually, for example, using scissors or a saw.
- the computing unit controls the display device via interfaces to align the emitted light beam in order to apply the cutting positions as corresponding light projections onto the plant.
- the display device has at least one alignment device with corresponding adjustment elements and/or at least one optical device to precisely align the light beam to the calculated cutting positions.
- the display device comprises, in particular, at least one marking laser with a relatively low energy density and/or a cutting laser suitable for cutting the plant.
- the optical device can comprise, for example, mirrors or light guides.
- At least one cutting laser can be installed in the display device, which cuts the plant directly at the respectively calculated cutting point, which can optionally also be additionally displayed by the associated marking laser.
- the cutting laser can preferably be a A controllable laser, particularly a CO2 laser or another state-of-the-art laser, can be used.
- a UV diode laser can also be used as a cutting laser, which is robust, inexpensive, and compact.
- the expert knowledge within the scope of this invention is implemented in the form of computer programs that run on the devices, i.e., at least one computer device.
- the computer programs include both algorithmic methods and artificial intelligence, e.g., in the form of neural networks.
- a computer device within the meaning of this invention includes both mobile devices such as smartphones, portable microcomputers, embedded systems, single-board computers, and microcontrollers, as well as stationary computers, servers, and PCs on which the computer programs run.
- the at least one computer device involved in the system is also referred to below as the computing unit.
- This invention differs from the relevant prior art regarding plant pruning or support for pruning vines, particularly in the way the results are displayed or applied.
- pruning suggestions were displayed using AR or VR headsets or on screens.
- the present invention applies the cutting positions directly to the plant to be pruned using at least one light beam.
- the present system cuts contactlessly using laser light.
- the image capture device comprises at least one camera or at least one lidar sensor for capturing images of the plant to be cut.
- the camera can operate in the visible and/or invisible wavelength spectrum of light to achieve the best possible image of the plant in its current state. If multiple cameras are used on the image capture device, the quality of the camera images can be improved by combining them. and/or three-dimensional images are generated.
- the camera images can be recorded as single images, video, or a data stream.
- the LIDAR sensor which is designed, for example, as a time-of-flight camera, i.e., one based on a time-of-flight measurement.
- LIDAR technology the plant to be cut can be scanned using laser light, and very precise three-dimensional measurements can be determined.
- the LIDAR sensor is used in particular with the sensors described below, i.e., preferably in conjunction with a satellite navigation system and/or a distance measurement system.
- An INS intial navigation system
- the distance measurements are used to determine a true three-dimensional image of the reflecting target, i.e., the plant in object space.
- the point data is post-processed after LIDAR data acquisition and integrated into a highly accurate georeferenced XYZ coordinate system by analyzing laser period, laser scanning angle, GPS position, and INS information.
- distance determination sensors are used to improve the quality of the calculation results.
- Such distance determination sensors can also be arranged, in particular, alternatively or in addition to LIDAR sensors, whose sensor data are processed on the computer device as explained above.
- sensors of a satellite navigation system are preferably provided for determining the position in space, which are designed, for example, as GPS sensors. Furthermore, at least one gyro sensor is preferably provided to determine the orientation and, if necessary, movement in space.
- the aforementioned components are used for data acquisition and are deployed in a mobile manner near the plant being treated. They are referred to below as data acquisition components.
- the sensors can also be assigned to the display device for position data acquisition in order to calibrate it or to more precisely align the light beams of the marking laser and/or the cutting laser.
- the data from the data acquisition components is transmitted via interfaces to the computer device for further processing.
- These interfaces can be internal (e.g., smartphone) or external (e.g., Wi-Fi, Bluetooth), wired or wireless, without departing from the scope of the invention.
- the processing unit or computer system processes the data received from the data acquisition components into positions for cutting on the plant.
- the plant images are segmented by the image analysis system to identify the components relevant for calculating the cutting positions. Segmentation can be performed using conventional image processing methods or artificial intelligence.
- intersection positions are calculated from the combination of segmentation and 3D modeling.
- the intersection positions can be calculated directly from the camera and sensor data using artificial intelligence, for example, deep learning or another suitable method, without segmentation and 3D modeling.
- a three-dimensional model (3D model) of the plant is calculated from the plant images and/or segmentation, possibly supplemented by data from the sensors coupled to the computer system.
- a three-dimensional graph (3D graph) is derived from this 3D model for further calculations.
- the cutting rules are stored electronically in at least one memory device of the processing unit and can be implemented algorithmically, e.g., as a decision tree, a neural network, or an analog computer.
- the cutting positions are then calculated from the cutting rules and the 3D graph.
- the cutting positions are calculated using artificial intelligence (e.g., a neural network), which was created using deep learning and may require no 3D modeling.
- the computing unit controls the display device via interfaces to align the emitted light beam in order to apply the cutting positions as corresponding light projections onto the plant.
- the display device has at least one alignment device with corresponding adjustment elements and/or at least one optical device to precisely align the light beam to the calculated cutting positions.
- the display device comprises, in particular, at least one marking laser with a relatively low energy density and/or a cutting laser suitable for cutting the plant.
- the optical device can comprise, for example, mirrors or light guides.
- the data from the aforementioned sub-steps are processed on a mobile computer device, which can form a structural unit with the data acquisition components, in particular the image acquisition device and preferably the sensors.
- This unit can in particular be a smartphone or It can be an embedded system or a mobile PC that controls the pointer via interfaces and is referred to below as a mobile component.
- the mobile component is expanded with additional computing units or computer devices in order to perform functions for which the mobile component is not suitable on its own due to its inherent performance or computing power and storage capacity.
- These can be particularly computationally intensive processes that are executed on one or more stationary computing units, e.g., servers with many hardware resources (CPU, GPU, RAM, read-only storage). All possible network interfaces and protocols suitable for enabling data exchange between computing units or computer devices can be used as interfaces for the distributed system.
- the mobile component can be designed as a portable device or mounted on a ground-based mobile platform, for example with a chassis, in particular with or without its own propulsion, or a drone, hereinafter referred to individually or collectively as a mobile device.
- the mobile component can, if necessary, influence the motion control of the mobile via interfaces, thus creating an autonomously operating mobile. This allows plants to be trimmed automatically without human intervention. Multiple mobiles can be linked via interfaces to form a swarm of mobiles if necessary. This allows many plants to be trimmed simultaneously in a short period of time.
- the mobile component is worn by a user, preferably attached to their body or work clothing, the user monitors the cut or performs it with a suitable tool, e.g., plant shears.
- a suitable tool e.g., plant shears.
- plant shears are electrically or pneumatically powered with a drive control, these plant shears can be connected to the mobile unit via interfaces.
- the mobile unit can The control particularly takes over the opening and closing of the plant shears if the drive can be controlled accordingly.
- the light source is calibrated using the cameras, sensors, and the processing unit.
- the display device can, of course, have its own sensors or cameras, particularly for calibrating the light beam or light source, and can operate independently of the image processing device, for example.
- the cutting positions are used to control the light source so that the light beam is directed at precisely the parts of the plant that are to be cut. Additionally, the light source can be used to project information onto the plant or into the surrounding area, e.g., if certain information is still missing for the cut calculation, or if the system user or wearer of the mobile component should assume a different position for the cut. This is particularly the case if, from a certain position, branches of the plant lie one behind the other or if the cutting positions cannot be optimally projected onto the plant. Depending on the power and energy content of the light, the light source displays the cutting positions as markings on the plant or cuts them directly.
- the mobile unit can be powered by a built-in battery, an external connected battery (e.g. a so-called power bank or similar), the power supply of an electric drive of the plant shears, portable solar cells, portable generators or the power supply of the mobile.
- a built-in battery e.g. a so-called power bank or similar
- the power supply of an electric drive of the plant shears e.g. a so-called power bank or similar
- the power supply of an electric drive of the plant shears e.g. a so-called power bank or similar
- a cutting laser which, for example, has sufficient power to cut off particularly woody parts of a plant, such as grapevines, be movable and/or alignable in three dimensions on its own movable arm.
- the cutting laser can be aligned and positioned in space accordingly in order to make a cut at a desired location, in particular controlled by a corresponding evaluation program.
- woody, dead, or other unwanted parts of a plant are to be cut away.
- optical monitoring can be achieved using a marking laser, which projects an optical mark at a specific location so that the process can also be directly monitored by a user. This means that a mark is projected and then automatically cut at the desired location with the cutting laser. This can be monitored by a user.
- the system can comprise a marking laser, a cutting laser, and two mirrors.
- the cutting laser for example, a high-energy UV laser with a short wavelength, shines through a mirror that is semi-transparent for the corresponding wavelength.
- the light from the marking laser for example, a lower-energy laser with red, visible light, is reflected off this semi-transparent mirror, and the two laser beams are projected together by a second mirror onto the desired cutting point.
- This second mirror is designed to be movable and can be rotated and/or tilted in order to direct the two light beams in the desired direction.
- Several second mirrors can also be provided if this should be necessary due to the shape of the plant to be treated.
- the desired cutting point can be marked with the marking laser, and then, if necessary after user approval, the cutting laser is activated to cut at the desired location.
- This can also be automatically checked by the system via optical detection using image processing.
- the two lasers and mirrors can be mounted on a common, movable robot arm to mark and/or cut any part of a plant or growth.
- the lasers can also be mounted separately on different, movable arms.
- LIDAR sensors can be used to detect the position of a desired interface.
- a 3D model in particular, can also be used. dell of the plant can be calculated in order to determine a cutting position or stored cutting rules such as thickness, degree of lignification, possible shading of other parts of the plant or the like can be taken into account.
- Fig. 1 is a schematic representation of a housing to be assigned to the body of a user with components of the system according to the invention
- Fig. 2 a first representation of the user with the housing according to Fig. 1 ,
- Fig. 3 a second representation of the user with the housing according to Fig. 1 ,
- Fig. 4 is a representation of the user according to Fig. 3 in relation to a plant to be cut
- Fig. 5 is a representation of a chassis designed as an over-row frame with associated components of the system according to the invention
- Fig. 6 is a first representation of components of the system according to the invention
- Fig. 7 shows a first alternative representation of components of the system according to the invention
- Fig. 8 shows a second alternative representation of components of the system according to the invention
- Fig. 9 shows a third alternative representation of components of the system according to the invention.
- Fig. 10 is a further illustration of the chassis designed as an over-row frame with associated components of the system and a towing vehicle,
- Fig. 11 an alternative representation of the chassis with associated components of the system
- Fig. 12 shows another alternative representation of the chassis with a frame with associated components of the system
- Fig. 13 shows a fourth alternative representation of components of the system according to the invention.
- Fig. 14 a flow chart of the procedure
- Fig. 15 a system with marking laser, cutting laser and two mirrors.
- Fig. 1 and Fig. 6 show a relatively simple embodiment of the system with the housing 1, in which an image capture device 3 comprising at least one camera 2 is arranged for capturing images of a plant 4, which are analyzed by an image evaluation device 5 of a connected computer device 6.
- the image evaluation device 5 of the computer device 6 calculates cutting positions 14 from the image data, i.e., locations at which the plant should be trimmed.
- the image is segmented and 3D modeled, followed by the calculation of the cutting positions by combining the segmentation and the 3D model.
- the cutting positions can be calculated directly and without segmentation and 3D modeling using artificial intelligence, in particular deep learning or another suitable method.
- the housing 1, in particular made of metal, or a housing, can be coated and/or matted, in particular on the inside and/or outside, for example with sand or the like, in order to reduce disturbing reflections of sunlight on the one hand and to minimize or prevent the escape of unwanted laser radiation on the other hand.
- the housing 1 can be arranged, for example, on a particularly self-propelled and self-steering over-row frame in order, for example, to work a row of vines.
- At least one lidar sensor 19 can also be used to create an image of the plant 4.
- the arrangement of at least one camera 2 and one lidar sensor 19 on the image capture device 3 and their coupling to the image evaluation device 5 of the computer device 6 is also possible.
- a display device 7 is connected to the computer device 6, which generates at least one light beam 13 marking a cutting position 14 on the plant 4.
- the display device 7, which is also referred to as a pointer comprises at least one controllable light source 8 and is controlled by the computer device 6 according to the calculated or determined interfaces.
- actuators and/or optical devices can be provided for positioning the pointer and the associated alignment of the light beam 13, which are also connected to the computer device 6 via suitable interfaces.
- an electronic module 18 is provided, which, for example, manages the power supply of the individual components, wherein In particular, batteries, solar panels or the like, not shown in detail, may be provided to provide electrical energy.
- sensors 10 connected to the computer device 6, which of course also includes a memory device 9 in addition to a processor, are arranged in the housing 1, the sensor data of which are evaluated by the computer device.
- the sensor data is used to determine the cutting positions 14 and to display them on the plant 4 using the alignable light beam 13 of the display device 7.
- the sensors 10 can be a distance sensor, a sensor of a satellite navigation system, and/or a gyro sensor. After calibration of the sensors 10, the sensor data, in addition to the image data, describe the orientation of the housing 1 in the environment and in relation to the plant 4 and ensure the precise alignment of the light beam for marking the cutting position 14 on the plant 4.
- the system according to Fig. 2 and Fig. 3 is equipped with the image capture device 3 comprising two cameras 2 or two lidar sensors 19 or one camera 2 and one lidar sensor 19, which enable stereo images of the plant 4.
- the housing 4 is arranged by means of a fastening strap 11 in a chest area or forehead area of a user 12 of the system such that the cameras 2 or the lidar sensors 19 and the display device 7 are aligned in the line of sight. Images of the plant 4 arranged in front of the user 12 are thus recorded and evaluated, and the light radiation is projected onto the cutting points of the plant so that the user 12 can immediately perceive it.
- the user 12 has both hands free and can cut the plant 4 at the marked cutting positions 14 using plant scissors.
- Fig. 4 illustrates the display of a cutting position 14 on the plant 4, which is located in the viewing direction of the user 12 by means of the laser beam acting as a marking laser. formed light source 8 emitted light beam 13 of the display device.
- the display device 7 comprises a light source 8 designed as a cutting laser, which can be arranged in addition to or alternatively to the marking laser and, for example, has a higher energy density, a cutting laser beam 21 is emitted, which can cut the plant 4 at the determined cutting position 14, thus eliminating the need for manual processing.
- the light source 8 designed as a cutting laser can be aligned by means of controlled actuators and/or the cutting laser beam 21, like the marking laser beam 22, can be deflected by means of suitable optical devices, which can also be aligned in a controlled manner, in order to reliably reach the cutting position.
- the transmittance of the optical device can be adapted to the cutting laser or the marking laser.
- the housing 1 can also be arranged on a chassis 16 designed as an over-the-line frame 15, which is either towed by a towing vehicle 17 or is self-propelled.
- the chassis 16 offers the possibility of arranging, for example, optical devices of the display device 7 or the display device 7 with corresponding actuators for aligning the light beam 13 outside the housing 1.
- several over-the-line frames 15 can also be arranged on a chassis 16.
- the chassis 16 carries a simple frame 20, on which, for example, an optical device of the display device 7 is arranged to align the light beam 13.
- the image capture device 3 of the system comprises a plurality of cameras 2, which are connected to the computer device 6 and the image evaluation device 5 provided thereon. Furthermore, the display device 7 is shown in addition to the electronic module 18. According to Figs. 8 and 9, several cameras 2 and several sensors 10 are connected to a central computer device 6, which, of course, also communicates wirelessly with additional computer devices 6.n via suitable interfaces.
- the additional computer devices 6n can increase the computing power or are assigned to other autonomous systems, so that several plants 4 can be cut simultaneously, especially if the chassis 16 move autonomously and the light beams 13 for cutting the plants are designed as laser light.
- cameras 2 are used to capture image data of plant 4, and sensors 10 are used to determine data for orienting the system to assist in cutting plants 4.
- the image data of plant 4 is semantically segmented at the image evaluation device 5 using conventional image processing methods or artificial intelligence.
- the sensor data is used to calculate a three-dimensional reconstruction.
- the cutting positions and the data for projecting the light beam are calculated from the processed image data and sensor data, and the light beam is controlled accordingly.
- the image data and sensor data are used to capture, for example, the position and movement of the system.
- the position data is used in particular to calculate the cutting position
- the tracking data from the system's movement is used to calculate the target position for the light beam to represent the cutting position or the cutting itself.
- the image data and sensor data are used for motion control.
- the towed or self-propelled chassis 16 carries a frame 20 on which, viewed in the direction of travel, several image capture devices 3 are arranged one above the other in order to capture image data of the entire plant 4, for which purpose the image capture device 3 is provided with cameras 2 and/or LIDAR- Sensors 19 are assigned.
- the image data are evaluated and processed at the image evaluation device 5 of the computer device 6.
- the display device 7 connected to the computer device 6 is arranged at a distance from the quasi-leading image capture devices 3 and is also connected to the computer device 6. Furthermore, various sensors 10 are assigned to the display device 7 in terms of location and data technology.
- the display device 7 in the present case comprises a first light source 8, which is designed as a marking laser and emits a light beam for marking a cutting position 14 via an associated optical device, and a second light source 8 of higher energy density, which is designed as a cutting laser and sends a cutting laser beam 21 to the marked cutting position 14, wherein, of course, optical devices and/or actuators for aligning the cutting laser beam 22 can also be provided here.
- a display device 7 with several light sources 8 is coupled to the computer device 6, wherein individual light sources 8 emit light beams 13 designed as cutting laser beams 22 for cutting the plants and other light sources 8 emit light beams 13 designed as marking laser beams 22 for marking cutting points 14.
- FIG. 14 a flow chart is shown in Fig. 14 to illustrate the interaction of the various components of the system.
- cameras and sensors are arranged, such as, among others, an optical camera 101, a lidar sensor 102 or a TOF camera, which operates according to the "time-of-flight" principle, i.e., a time-of-flight measurement of an electromagnetic signal reflected by the plant, an IMU or position sensor 103, which can, for example, detect an inertial movement of the entire system or parts thereof, or a known GPS or position sensor 104.
- sensors serve to detect the position of the system relative to a plant to be treated, such as a grapevine.
- image data 105 is recorded, an orientation of the system 106 relative to the plant to be treated is recorded, an absolute position in space 107 is determined, and/or a relative movement 108 in space is taken into account, for example, on a self-propelled over-the-line frame.
- a calculation is performed based on the acquired data and measured values.
- image data 105 can be segmented, as indicated by the connecting arrow.
- a 3D reconstruction of the plant can be created from this.
- a desired cutting position can be calculated 111, and then, in step 112, a desired projection location for a marking laser beam is determined. This is based on 3D models 113 of plants or the respective cutting specifications or rules stored in a database.
- the position of the system is calculated, particularly relative to a plant to be processed.
- a movement of the system, particularly in space can be tracked or traced 114, and a desired target position can be determined 115 from this, for example, in order to optimally position a marking and/or cutting laser.
- step 116 the light beams
- the marking and/or cutting laser is controlled in step 117, and the entire system is moved in step 118.
- a 3D robot arm for the cutting laser can also be controlled accordingly.
- one or more light sources or lasers can be controlled in step 118, a control system's optics in step 119, the system's steering in step 120, and its drive in step 121.
- the connecting arrows indicate direct influences or controls.
- the system comprises two mirrors 26, 27 and a marking laser 24 and a cutting laser 23.
- the cutting laser for example a high-energy UV laser, emits a cutting laser beam 21, shown here in dashed lines, and the lower-energy, for example a red marking laser 24, emits a marking laser beam 22, shown here as a solid line.
- the marking laser beam 22 is reflected by a semi-transparent mirror 26, while the cutting laser beam 21 passes through the semi-transparent mirror 26. Behind it runs the common beam path 25 of both laser beams.
- the two laser beams are reflected together and projected onto a common desired interface.
- At least the second mirror 27 is designed to be rotatable and/or tiltable in order to be projected onto a desired and calculated interface.
- the rotating/tilting can be carried out in the millisecond range.
- the marking laser 24 can first be activated to mark the desired cutting point. This can be verified automatically, for example, by image processing and/or by a user. Subsequently, the cutting laser 23 is activated by the user and/or automatically, and the plant or growth is cut at the cutting point.
- the system can be arranged entirely or at least partially on a movable 3D robot arm or distributed across several robot arms in order to be able to reach all desired locations on the plants.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
- Laser Beam Processing (AREA)
Abstract
Description
System zur Unterstützung beim Schnitt von Pflanzen System to assist in pruning plants
Beschreibung Description
Die Erfindung bezieht sich auf ein System zur Unterstützung beim Schnitt von Pflanzen, umfassend eine Computereinrichtung, die mit mindestens einer Bilderfassungseinrichtung, einer Bildauswerteeinrichtung und einer Darstellungseinrichtung verbunden ist. The invention relates to a system for assisting in the cutting of plants, comprising a computer device connected to at least one image capture device, an image evaluation device and a display device.
Unter Pflanzen sind im Rahmen der Erfindung insbesondere Gehölzpflanzen wie Weinreben, Obstbäume und Obstbüsche, Rosengewächse und allgemein Bäume, Büsche, Sträucher und Ziersträucher in der Land- und Forstwirtschaft sowie in Parks und Gärten zu verstehen. Hierbei handelt es sich oftmals um ausdauernde Pflanzen, deren Achsen verholzen und dauerhaft erhalten bleiben, so dass ihr oberirdisches Sprosssystem im Lauf der Jahre an Größe zunimmt. Pflanzen müssen geschnitten werden, um deren Entwicklung positiv zu unterstützen, wobei der fachgerechte Schnitt von Pflanzen Expertenwissen erfordert. For the purposes of the invention, plants are understood to mean, in particular, woody plants such as grapevines, fruit trees and fruit bushes, Rosaceae, and generally trees, bushes, shrubs, and ornamental shrubs in agriculture and forestry, as well as in parks and gardens. These are often perennial plants whose axils become woody and remain permanently intact, so that their above-ground shoot system increases in size over the years. Plants must be pruned to positively support their development, and proper pruning of plants requires expert knowledge.
Um das fach- und sachgerechte Schneiden von Pflanzen durch Nichtexperten zu ermöglichen oder zu automatisieren, sind verschiedene Systeme bekannt geworden. Various systems have been developed to enable or automate the professional and proper pruning of plants by non-experts.
Die EP 3 617 816 A2 offenbart beispielsweise ein computerimplementiertes Verfahren, bei dem mittels Bildung verschiedener Ist- und Soll-Modelle einer Pflanze Anweisungen zum Schneiden der Pflanze erzeugt werden, die für den Benutzer auf einer tragbaren Computereinrichtung dargestellt werden. EP 3 617 816 A2, for example, discloses a computer-implemented method in which, by forming various actual and target models of a plant, instructions for cutting the plant are generated, which are displayed to the user on a portable computer device.
Im Weiteren offenbart die CN 102696411 B ein Verfahren zur Analyse und Verarbeitung von Bildern von Weinreben. Die von einer binokularen Kamera erfassten Bildinformationen werden an einen Computer übertragen, der eine Bildvorverarbeitung, Bildverbesserung, Bildsegmentierung, Bilderkennung und andere Verarbeitungsschritte an den Bildinformationen durchführt. Anhand morphologischer Unterschiede zwischen den Zweigen und Stämmen der Weinreben erfolgt eine Identifizierung der Zweige, eine Analyse und Bestimmung des Beschneidungspunkts und eine Extraktion der dreidimensionalen Koordinateninformationen des Beschneidungspunkts, und die Weinrebe mittels einer entsprechenden Schnittvorrichtung zu beschneiden, die auf einem selbsttätig manövrierenden und navigierenden Fahrzeug installiert ist. Furthermore, CN 102696411 B discloses a method for analyzing and processing images of grapevines. The image information captured by a binocular camera is transmitted to a computer, which performs image preprocessing, image enhancement, image segmentation, image recognition, and performs other processing steps on the image information. Based on morphological differences between the branches and trunks of the vines, the branches are identified, the pruning point is analyzed and determined, and the three-dimensional coordinate information of the pruning point is extracted. The vines are then pruned using a corresponding pruning device installed on a self-maneuvering and navigating vehicle.
Die CN 104871841 A beschreibt eine Obstbaum-Schnitthilfe mit einem Rahmen. Auf dem Rahmen sind ein multidirektionales Videogerät, ein Fernübertragungsmodul, ein Eingabefeld und dergleichen angeordnet. An der Mehrrichtungs-Videoeinrichtung sind mehrere Videokameras ringförmig angeordnet. Bei Verwendung der Eingabeaufforderungsvorrichtung zum Beschneiden von Obstbäumen erfasst das multidirektionale Videogerät die multidirektionalen, mehrdimensionalen Videoinformationen der Obstbäume, die über das Fernübertragungsmodul an ein Fernverwaltungszentrum übertragen werden, und der Computer des Fernverwaltungszentrums berechnet einen optischen Beschneidungsmodus und überträgt den optischen Beschneidungsmodus zurück, damit der Beschneidungsmodus auf der Eingabeaufforderungstafel angezeigt werden kann. Das Fernverwaltungszentrum sammelt die Daten zum Beschneiden verschiedener Obstbäume in Bezug auf mehrere Formen und Zwecke zur späteren Bezugnahme. Beleuchtungskomponenten sind an den Kameras des multidirektionalen Videogeräts angebracht, um bei Bedarf eine Beleuchtung bereitzustellen; die Eingabeaufforderungstafel kann ein integrierter Tablet-Computer sein, der Daten über ein Netzwerk überträgt. Mit dem Obstbaum-Schnitthilfegerät können Obstbäume anhand der hinterlegten Schnitttipps effektiv beschnitten werden. CN 104871841 A describes a fruit tree pruning aid with a frame. A multidirectional video device, a remote transmission module, an input panel, and the like are arranged on the frame. A plurality of video cameras are arranged in a ring on the multidirectional video device. When using the prompt device for pruning fruit trees, the multidirectional video device captures the multidirectional, multidimensional video information of the fruit trees, which is transmitted to a remote management center via the remote transmission module. The remote management center's computer calculates an optical pruning mode and transmits the optical pruning mode back so that the pruning mode can be displayed on the prompt panel. The remote management center collects the data for pruning various fruit trees with respect to multiple shapes and purposes for future reference. Lighting components are attached to the cameras of the multidirectional video device to provide illumination as needed; the prompt panel may be an integrated tablet computer that transmits data over a network. With the fruit tree pruning aid, fruit trees can be pruned effectively using the provided pruning tips.
Schließlich offenbart die US 2016/0050852 A1 ein System zur Unterstützung beim Schnitt von Pflanzen, umfassend mindestens eine Computereinrichtung, die mit mindestens einer Bilderfassungseinrichtung, einer Bildauswerteeinrichtung und mindestens einer mindestens eine Lichtquelle umfassenden Darstellungseinrichtung verbunden ist, wobei mit der Bilderfassungseinrichtung mindestens ein Bild der zu schneidenden Pflanze erzeugt wird, das an der Bildauswerteeinrichtung analysiert und segmentiert wird, um mittels eines Lichtstrahls der Lichtquelle der Darstellungseinrichtung die Pflanze an den Schnittpositionen unmittelbar zu schneiden. Finally, US 2016/0050852 A1 discloses a system for assisting in the cutting of plants, comprising at least one computer device which is connected to at least one image capturing device, an image evaluation device and at least one light source comprising at least one light source. Display device is connected, wherein the image capture device generates at least one image of the plant to be cut, which image is analyzed and segmented at the image evaluation device in order to cut the plant directly at the cutting positions by means of a light beam from the light source of the display device.
Der Erfindung liegt die Aufgabe zugrunde, ein System zur Unterstützung beim Schnitt von Pflanzen der eingangs genannten Art zu schaffen, das einem Benutzer mit einem geringen Aufwand eine Hilfestellung beim Schneiden von Pflanzen liefert. The invention is based on the object of creating a system for assisting in the cutting of plants of the type mentioned at the outset, which provides a user with assistance in cutting plants with little effort.
Erfindungsgemäß wird die Aufgabe durch die Merkmale des unabhängigen Anspruchs gelöst. According to the invention, the object is achieved by the features of the independent claim.
Die Unteransprüche stellen vorteilhafte Ausgestaltungen der Erfindung dar. The subclaims represent advantageous embodiments of the invention.
Ein System zur Unterstützung beim Schnitt von Pflanzen umfasst mindestens eine Computereinrichtung, die mit mindestens einer Bilderfassungseinrichtung, einer Bildauswerteeinrichtung und mindestens einer mindestens eine Lichtquelle umfassenden Darstellungseinrichtung verbunden ist, wobei mit der Bilderfassungseinrichtung mindestens ein Bild der zu schneidenden Pflanze erzeugt wird, das an der Bildauswerteeinrichtung analysiert und segmentiert oder mittels Künstlicher Intelligenz untersucht wird, um mittels eines Lichtstrahls der Lichtquelle der Darstellungseinrichtung entweder Schnittpositionen auf die Pflanze zu projizieren und/oder die Pflanze an den Schnittpositionen unmittelbar zu schneiden. Insbesondere kann beispielsweise ein 3D-Modell der zu bearbeitenden Pflanze gebildet werden. A system for assisting in the pruning of plants comprises at least one computer device connected to at least one image capture device, an image evaluation device, and at least one display device comprising at least one light source. The image capture device generates at least one image of the plant to be pruned, which image is analyzed and segmented by the image evaluation device or examined using artificial intelligence in order to project cutting positions onto the plant using a light beam from the light source of the display device and/or to directly cut the plant at the cutting positions. In particular, for example, a 3D model of the plant to be processed can be created.
Diese Erfindung betrifft den Garten-, Obst- und Weinbau und beschreibt ein System, das den fach- und sachgerechten Schnitt von Pflanzen mit der Unterstützung von Kameras, Sensoren, Computern und Licht vereinfacht, so dass auch Laien nahezu fehlerfrei solche Arbeiten durchführen können. Das System ist in der Lage Informationen zu den zu schneidenden Pflanzen aufzunehmen, zu verarbeiten und mittels Lichtstrahl die zu schneidenden Stellen auf den Pflanzen markieren oder diese bei Einsatz einer geeigneten Lichtquelle direkt zu schneiden. Bei dem Lichtstrahl handelt es sich in der Regel um einen Laserlichtstrahl. This invention relates to horticulture, fruit-growing, and viticulture and describes a system that simplifies the professional and proper pruning of plants with the support of cameras, sensors, computers, and light, so that even laypeople can perform such work almost error-free. The system is in Capable of collecting and processing information about the plants to be cut, and using a light beam to mark the areas to be cut on the plants or, if a suitable light source is used, to cut them directly. The light beam is usually a laser beam.
Hierbei kann beispielsweise mindestens ein mittels mit der Computereinrichtung verbundener Aktor respektive Stellglied die mindestens eine Lichtquelle derart ausrichten, dass der jeweilige Lichtstrahl eine Schnittposition markiert. Hierbei kommt mindestens ein Markierlaser, der auch als Pointer zu bezeichnen ist, zum Markieren der zu schneidenden Stellen auf der zu schneidenden Gehölzpflanze zum Einsatz. An der berechneten und durch den Lichtstrahl angezeigten Schnittposition wird die Pflanze manuell beispielsweise mittels einer Schere oder eine Säge geschnitten. For example, at least one actuator or control element connected to the computer device can align the at least one light source such that the respective light beam marks a cutting position. At least one marking laser, also known as a pointer, is used to mark the points to be cut on the woody plant. At the calculated cutting position indicated by the light beam, the plant is cut manually, for example, using scissors or a saw.
Die Recheneinheit steuert über Schnittstellen die Darstellungseinrichtung zur Ausrichtung des emittierten Lichtstrahls, um die Schnittpositionen als entsprechende Lichtprojektionen auf die Pflanze zu applizieren. The computing unit controls the display device via interfaces to align the emitted light beam in order to apply the cutting positions as corresponding light projections onto the plant.
Hierbei verfügt die Darstellungseinrichtung bedarfsweise über mindestens eine Ausrichteeinrichtung mit entsprechenden Stellelementen und oder mindestens eine optische Einrichtung, um den Lichtstrahl genau auf die berechneten Schnittpositionen auszurichten. Als Lichtquellen umfasst die Darstellungseinrichtung insbesondere mindestens einen Markierlaser mit einer relativ niedrigen Energiedichte und/oder einen Schnittlaser, der geeignet ist die Pflanze zu schneiden, und die optische Einrichtung kann beispielsweise Spiegel oder Lichtleiter umfassen. If necessary, the display device has at least one alignment device with corresponding adjustment elements and/or at least one optical device to precisely align the light beam to the calculated cutting positions. As light sources, the display device comprises, in particular, at least one marking laser with a relatively low energy density and/or a cutting laser suitable for cutting the plant. The optical device can comprise, for example, mirrors or light guides.
Alternativ oder zusätzlich zu dem mindestens einen Markierlaser kann mindestens ein Schnittlaser in der Darstellungseinrichtung verbaut sein, der an der jeweils berechneten Schnittstelle, die gegebenenfalls auch zusätzlich durch den zugeordneten Markierlaser angezeigt werden kann, die Pflanze unmittelbar schneidet. Als Schnittlaser kann vorzugsweise ein insbesondere in seiner Lage steuerbarer Laser, insbesondere ein CO2-Laser oder ein sonstiger aus dem Stand der Technik bekannter Laser, zum Einsatz kommen. Beispielsweise kann auch ein UV-Diodenlaser als Schnittlaser zum Einsatz kommen, der robust und preisgünstig ist und kleine Abmessungen aufweist. Alternatively or in addition to the at least one marking laser, at least one cutting laser can be installed in the display device, which cuts the plant directly at the respectively calculated cutting point, which can optionally also be additionally displayed by the associated marking laser. The cutting laser can preferably be a A controllable laser, particularly a CO2 laser or another state-of-the-art laser, can be used. For example, a UV diode laser can also be used as a cutting laser, which is robust, inexpensive, and compact.
Das Expertenwissen im Rahmen dieser Erfindung wird in Form von Computerprogrammen implementiert, die auf den Geräten, also mindestens einer Computereinrichtung, laufen. Die Computerprogramme umfassen sowohl algorithmische Methoden als auch künstliche Intelligenz z.B. in Form neuronaler Netze. The expert knowledge within the scope of this invention is implemented in the form of computer programs that run on the devices, i.e., at least one computer device. The computer programs include both algorithmic methods and artificial intelligence, e.g., in the form of neural networks.
Eine Computereinrichtung im Sinne dieser Erfindung umfasst sowohl mobile Geräte wie z.B. Smartphones, portable Kleinrechner, Embedded Systems, Einplatinencomputer, und Microcontroller, als auch stationäre Rechner, Server und PCs, auf denen die Computerprogramme laufen. Die mindestens eine an dem System beteiligte Computereinrichtung wird im Folgenden auch Recheneinheit genannt. A computer device within the meaning of this invention includes both mobile devices such as smartphones, portable microcomputers, embedded systems, single-board computers, and microcontrollers, as well as stationary computers, servers, and PCs on which the computer programs run. The at least one computer device involved in the system is also referred to below as the computing unit.
Diese Erfindung unterscheidet sich von dem relevanten Stand der Technik betreffend den Schnitt von Pflanzen oder der Unterstützung beim Schneiden von Pfalzen insbesondere durch die Art der Anzeige bzw. Applikation der Ergebnisse. Bisher werden Schnittvorschläge mittels AR- oder VR-Brillen oder auf Bildschirmen angezeigt und erfindungsgemäß werden die Schnittpositionen dagegen mittels mindestens eines Lichtstrahls direkt auf die zu schneidende Pflanze appliziert. In einer besonderen Ausgestaltung der Erfindung schneidet das vorliegende System berührungslos mit Laserlicht. This invention differs from the relevant prior art regarding plant pruning or support for pruning vines, particularly in the way the results are displayed or applied. Previously, pruning suggestions were displayed using AR or VR headsets or on screens. In contrast, the present invention applies the cutting positions directly to the plant to be pruned using at least one light beam. In a particular embodiment of the invention, the present system cuts contactlessly using laser light.
Die Bilderfassungseinrichtung umfasst mindestens eine Kamera oder mindestens einen Lidar-Sensor zur Aufnahme von Bildern der zu schneidenden Pflanze. Die Kamera kann im sichtbaren und/oder unsichtbaren Wellenspektrum des Lichts arbeiten, um die möglichst optimale Aufnahme der Pflanze im Ist-Zustand zu realisieren. Werden mehrere Kameras an der Bilderfassungseinrichtung eingesetzt, kann aus der Kombination der Kamerabilder deren Qualität verbessert werden und/oder dreidimensionale Bilder werden generiert. Die Kamerabilder können als Einzelbilder oder Video oder Datenstrom aufgenommen werden. The image capture device comprises at least one camera or at least one lidar sensor for capturing images of the plant to be cut. The camera can operate in the visible and/or invisible wavelength spectrum of light to achieve the best possible image of the plant in its current state. If multiple cameras are used on the image capture device, the quality of the camera images can be improved by combining them. and/or three-dimensional images are generated. The camera images can be recorded as single images, video, or a data stream.
Für den LIDAR-Sensor, der beispielsweise als Time-of-Flight-Kamera ausgebildet ist, also auf einer Laufzeitmessung beruht, gelten die obigen Ausführungen zur Kamera. Mit der Lidar-Technik lässt sich unter Verwendung von Laserlicht die zu schneidende Pflanze abtasten bzw. abscannen und es lassen sich recht genaue dreidimensionale Messwerte ermitteln. Hierbei wird der Lidar-Sensor insbesondere mit den im Folgenden beschriebenen Sensoren verwendet, also vorzugsweise im Zusammenhang mit einem Satellitennavigationssystem und/oder einem Abstandsmesssystem, wobei auch ein so genanntes INS (Trägheitsnavigationssystem) zum Einsatz kommen kann, das den Roll- und Neigungswinkel sowie die Ausrichtung des LIDAR-Systems misst. In Kombination mit den Positionsinformationen des Satellitennavigationssystems und des Trägheitsnavigationssystem wird mit den Entfernungsmesswerten ein tatsächlich dreidimensionales Abbild des reflektierenden Ziels, also der Pflanze im Objektraum, ermittelt. Die Punktdaten werden nach der LIDAR-Datenerfassung nachbearbeitet und durch eine Analyse von Laserzeitraum, Laserabtastwinkel, GPS-Position und INS-Informationen in ein hochgenaues georeferenziertes XYZ-Koordinatensys- tem integriert. The above statements regarding the camera apply to the LIDAR sensor, which is designed, for example, as a time-of-flight camera, i.e., one based on a time-of-flight measurement. With LIDAR technology, the plant to be cut can be scanned using laser light, and very precise three-dimensional measurements can be determined. The LIDAR sensor is used in particular with the sensors described below, i.e., preferably in conjunction with a satellite navigation system and/or a distance measurement system. An INS (inertial navigation system) can also be used to measure the roll and pitch angles as well as the orientation of the LIDAR system. In combination with the position information from the satellite navigation system and the inertial navigation system, the distance measurements are used to determine a true three-dimensional image of the reflecting target, i.e., the plant in object space. The point data is post-processed after LIDAR data acquisition and integrated into a highly accurate georeferenced XYZ coordinate system by analyzing laser period, laser scanning angle, GPS position, and INS information.
Vorzugsweise werden Sensoren zur Abstandsbestimmung eingesetzt, um die Qualität der Berechnungsergebnisse zu verbessern. Solche Sensoren zur Abstandsbestimmung können insbesondere auch alternativ oder zusätzlich zu Ll- DAR-Sensoren angeordnet sein, deren Sensordaten an der Computereinrichtung verarbeitet werden wie weiter oben erläutert. Preferably, distance determination sensors are used to improve the quality of the calculation results. Such distance determination sensors can also be arranged, in particular, alternatively or in addition to LIDAR sensors, whose sensor data are processed on the computer device as explained above.
Weiterhin sind vorzugsweise Sensoren eines Satellitennavigationssystems zur Bestimmung der Position im Raum vorgesehen, die beispielsweise als GPS-Sensoren ausgebildet sind. Ferner ist bevorzugt mindestens ein Gyro-Sensor vorgesehen, um die Orientie- rung und ggf. Bewegung im Raum zu bestimmen. Furthermore, sensors of a satellite navigation system are preferably provided for determining the position in space, which are designed, for example, as GPS sensors. Furthermore, at least one gyro sensor is preferably provided to determine the orientation and, if necessary, movement in space.
Die vorgenannten Komponenten, also insbesondere die Bilderfassungseinrichtung und die Sensoren, dienen der Datenerfassung und kommen beweglich also mobil in der Nähe der zu bearbeitenden Pflanze zum Einsatz. Sie werden im Folgenden unter dem Begriff Datenerfassungskomponenten zusammengefasst. The aforementioned components, in particular the image capture device and the sensors, are used for data acquisition and are deployed in a mobile manner near the plant being treated. They are referred to below as data acquisition components.
Die Sensoren lassen sich auch der Darstellungseinrichtung zur Positions-Datenerfassung zuordnen, um diese zu kalibrieren bzw. die Ausrichtung der Lichtstrahlen des Markierlasers und/oder des Schnittlasers zu präzisieren. The sensors can also be assigned to the display device for position data acquisition in order to calibrate it or to more precisely align the light beams of the marking laser and/or the cutting laser.
Die Daten der Datenerfassungskomponenten werden über Schnittstellen an die Computereinrichtung zur weiteren Verarbeitung übertragen. Diese Schnittstellen können intern (z.B. Smartphone) oder extern (z.B. WLAN, Bluetooth), kabelgebunden oder kabellos sein, ohne den Rahmen der Erfindung zu verlassen. The data from the data acquisition components is transmitted via interfaces to the computer device for further processing. These interfaces can be internal (e.g., smartphone) or external (e.g., Wi-Fi, Bluetooth), wired or wireless, without departing from the scope of the invention.
Die Recheneinheit respektive Computereinrichtung verarbeitet die empfangenen Daten der Datenerfassungskomponenten zu Positionen für Schnitte an der Pflanze. Hierzu werden die Bilder der Pflanze an der Bildauswerteeinrichtung segmentiert, um die für die Berechnung der Schnittpositionen relevanten Bestandteile zu erkennen. Die Segmentierung kann mit klassischen Methoden der Bildverarbeitung oder künstlicher Intelligenz erfolgen. The processing unit or computer system processes the data received from the data acquisition components into positions for cutting on the plant. For this purpose, the plant images are segmented by the image analysis system to identify the components relevant for calculating the cutting positions. Segmentation can be performed using conventional image processing methods or artificial intelligence.
Zusätzlich zur Segmentierung erfolgt die 3D-Modellierung und aus der Verrechnung von Segmentierung und 3D-Modell die Berechnung der Schnittpositionen. Gleichermaßen lassen sich insbesondere alternativ zur Segmentierung die Schnittpositionen mittels Künstlicher Intelligenz beispielsweise mittels Deep Learning oder einer anderen geeigneten Methode direkt ohne Segmentierung und 3D-Modellierung aus den Kamera- und Sensordaten berechnen. Aus den Bildern der Pflanze und/oder der Segmentierung wird gegebenenfalls durch die Daten der mit der Computereinrichtung gekoppelten Sensoren ergänzt ein dreidimensionales Modell (3D-Modell) der Pflanze berechnet. Aus diesem 3D-Modell wird ein dreidimensionaler Graph (3D-Graph) für weitere Berechnungen abgeleitet. In addition to segmentation, 3D modeling is performed, and the intersection positions are calculated from the combination of segmentation and 3D modeling. Likewise, as an alternative to segmentation, the intersection positions can be calculated directly from the camera and sensor data using artificial intelligence, for example, deep learning or another suitable method, without segmentation and 3D modeling. A three-dimensional model (3D model) of the plant is calculated from the plant images and/or segmentation, possibly supplemented by data from the sensors coupled to the computer system. A three-dimensional graph (3D graph) is derived from this 3D model for further calculations.
Die Schnittregeln werden in mindestens einer Speichereinrichtung der Recheneinheit elektronisch hinterlegt und können algorithmisch z.B. als Entscheidungsbaum oder als Neuronales Netz oder als Analogrechner implementiert werden. Im Weiteren werden die Schnittpositionen aus den Schnittregeln und dem 3D- Graph berechnet. Alternativ werden die Schnittpositionen mittels Künstlicher Intelligenz (z.B. durch ein Neuronales Netz) berechnet, welches mittels Deep Learning erstellt wurde und unter Umständen ohne eine 3D-Modellierung auskommt. The cutting rules are stored electronically in at least one memory device of the processing unit and can be implemented algorithmically, e.g., as a decision tree, a neural network, or an analog computer. The cutting positions are then calculated from the cutting rules and the 3D graph. Alternatively, the cutting positions are calculated using artificial intelligence (e.g., a neural network), which was created using deep learning and may require no 3D modeling.
Die Recheneinheit steuert über Schnittstellen die Darstellungseinrichtung zur Ausrichtung des emittierten Lichtstrahls, um die Schnittpositionen als entsprechende Lichtprojektionen auf die Pflanze zu applizieren. The computing unit controls the display device via interfaces to align the emitted light beam in order to apply the cutting positions as corresponding light projections onto the plant.
Hierbei verfügt die Darstellungseinrichtung bedarfsweise über mindestens eine Ausrichteeinrichtung mit entsprechenden Stellelementen und oder mindestens eine optische Einrichtung, um den Lichtstrahl genau auf die berechneten Schnittpositionen auszurichten. Als Lichtquellen umfasst die Darstellungseinrichtung insbesondere mindestens einen Markierlaser mit einer relativ niedrigen Energiedichte und/oder einen Schnittlaser, der geeignet ist die Pflanze zu schneiden, und die optische Einrichtung kann beispielsweise Spiegel oder Lichtleiter umfassen. If necessary, the display device has at least one alignment device with corresponding adjustment elements and/or at least one optical device to precisely align the light beam to the calculated cutting positions. As light sources, the display device comprises, in particular, at least one marking laser with a relatively low energy density and/or a cutting laser suitable for cutting the plant. The optical device can comprise, for example, mirrors or light guides.
Die Daten der vorgenannten Teilschritte werden auf einer mobilen Computereinrichtung verarbeitet, die mit den Datenerfassungskomponenten also insbesondere der Bilderfassungseinrichtung und vorzugsweise den Sensoren eine bauliche Einheit bilden kann. Diese Einheit kann insbesondere ein Smartphone oder Embedded System oder ein mobiler PC sein, die den Pointer über Schnittstellen steuert und im Folgenden als Mobilkomponente bezeichnet wird. The data from the aforementioned sub-steps are processed on a mobile computer device, which can form a structural unit with the data acquisition components, in particular the image acquisition device and preferably the sensors. This unit can in particular be a smartphone or It can be an embedded system or a mobile PC that controls the pointer via interfaces and is referred to below as a mobile component.
Es ist auch die Realisierung als verteiltes System möglich, in dem die Mobilkomponente um weitere Recheneinheiten bzw. Computereinrichtungen erweitert wird, um Funktionen ausführen, zu denen die Mobilkomponente in Alleinstellung aufgrund ihrer inhärenten Leistungsfähigkeit bzw. Rechenleistung und Speicherkapazität nicht geeignet ist. Das können insbesondere besonders rechenintensive Prozesse sein, die auf einer oder mehreren stationären Recheneinheiten ausgeführt werden, z.B. Servern mit vielen Hardwareressourcen (CPU, GPU, Arbeitsspeicher, Festspeicher). Als Schnittstellen für das verteilte System können alle möglichen Netzwerkschnittstellen und -Protokolle zum Einsatz kommen, die geeignet sind den Datenaustausch zwischen Recheneinheiten respektive Computereinrichtungen zu ermöglichen. Die Mobilkomponente kann in Abhängigkeit von Größe, Gewicht und Energiebedarf als tragbares Gerät ausgestaltet sein oder an eine bodengestützte Mobilplattform beispielsweise mit einem Fahrgestell insbesondere mit oder ohne eigenen Antrieb oder eine Drohne, im Folgenden einzeln oder gemeinsam als Mobil bezeichnet, montiert werden. It is also possible to implement it as a distributed system, in which the mobile component is expanded with additional computing units or computer devices in order to perform functions for which the mobile component is not suitable on its own due to its inherent performance or computing power and storage capacity. These can be particularly computationally intensive processes that are executed on one or more stationary computing units, e.g., servers with many hardware resources (CPU, GPU, RAM, read-only storage). All possible network interfaces and protocols suitable for enabling data exchange between computing units or computer devices can be used as interfaces for the distributed system. Depending on its size, weight, and energy requirements, the mobile component can be designed as a portable device or mounted on a ground-based mobile platform, for example with a chassis, in particular with or without its own propulsion, or a drone, hereinafter referred to individually or collectively as a mobile device.
Die Mobilkomponente kann bei Bedarf über Schnittstellen die Bewegungssteuerung des Mobils beeinflussen und so ein autonom agierendes Mobil realisieren. Auf diese Weise lassen sich Pflanzen ohne menschliche Eingriffe auch automatisch schneiden. Mehrere Mobile können bei Bedarf über Schnittstellen zu einem Schwarm von Mobilen gekoppelt werden. Auf diese Weise lassen sich viele Pflanzen in kurzer Zeit auch zu gleicher Zeit schneiden. The mobile component can, if necessary, influence the motion control of the mobile via interfaces, thus creating an autonomously operating mobile. This allows plants to be trimmed automatically without human intervention. Multiple mobiles can be linked via interfaces to form a swarm of mobiles if necessary. This allows many plants to be trimmed simultaneously in a short period of time.
Wird die Mobilkomponente von einem Benutzer getragen, vorzugsweise an seinem Körper oder der Arbeitskleidung befestigt, überwacht der Benutzer den Schnitt oder führt ihn mit einem geeigneten Werkzeug, z.B. einer Pflanzenschere, aus. Handelt es sich bei der Pflanzenschere um eine elektrisch oder pneumatisch angetriebene Schere mit einer Antriebssteuerung, kann diese Pflanzenschere über Schnittstellen mit der Mobileinheit verbunden werden. Die Mobileinheit kann die Steuerung insbesondere das Öffnen und Schließen der Pflanzenschere bei einer entsprechenden Ansteuerbarkeit des Antriebs übernehmen. If the mobile component is worn by a user, preferably attached to their body or work clothing, the user monitors the cut or performs it with a suitable tool, e.g., plant shears. If the plant shears are electrically or pneumatically powered with a drive control, these plant shears can be connected to the mobile unit via interfaces. The mobile unit can The control particularly takes over the opening and closing of the plant shears if the drive can be controlled accordingly.
Die Lichtquelle wird mit den Kameras, Sensoren und der Recheneinheit kalibriert. Selbstverständlich kann die Darstellungseinrichtung insbesondere zur Kalibrierung des Lichtstrahls respektive der Lichtquelle über eigene Sensoren bzw. Kameras verfügen und arbeitet beispielsweise unabhängig von der Bildverarbeitungseinrichtung. Mit den Schnittpositionen wird die Lichtquelle derart angesteuert, dass der Lichtstrahl auf genau die Stellen der Pflanze gerichtet wird, die geschnitten werden sollen. Zusätzlich können mit der Lichtquelle Informationen auf die Pflanze oder in die Umgebung projiziert werden, z.B. wenn bestimmte Informationen für die Schnittberechnung noch fehlen, oder wenn der Benutzer des Systems bzw. Träger der Mobilkomponente eine andere Position für den Schnitt einnehmen soll. Das ist insbesondere der Fall, wenn aus einer bestimmten Position heraus Äste der Pflanze hintereinander liegen oder sich die Schnittpositionen nicht optimal auf die Pflanze projizieren lassen. Die Lichtquelle zeigt je nach Leistung und Energiegehalt des Lichts die Schnittpositionen als Markierungen auf der Pflanze an oder schneidet diese unmittelbar. The light source is calibrated using the cameras, sensors, and the processing unit. The display device can, of course, have its own sensors or cameras, particularly for calibrating the light beam or light source, and can operate independently of the image processing device, for example. The cutting positions are used to control the light source so that the light beam is directed at precisely the parts of the plant that are to be cut. Additionally, the light source can be used to project information onto the plant or into the surrounding area, e.g., if certain information is still missing for the cut calculation, or if the system user or wearer of the mobile component should assume a different position for the cut. This is particularly the case if, from a certain position, branches of the plant lie one behind the other or if the cutting positions cannot be optimally projected onto the plant. Depending on the power and energy content of the light, the light source displays the cutting positions as markings on the plant or cuts them directly.
Die Energieversorgung der Mobileinheit kann durch einen eingebauten Akku, externen verbundenen Akku (z.B. eine so genannte Powerbank oder dergleichen), die Energieversorgung eines elektrischen Antriebs der Pflanzenschere, tragbare Solarzellen, tragbare Generatoren oder die Energieversorgung des Mobils erfolgen. The mobile unit can be powered by a built-in battery, an external connected battery (e.g. a so-called power bank or similar), the power supply of an electric drive of the plant shears, portable solar cells, portable generators or the power supply of the mobile.
Schließlich wird vorgeschlagen, dass ein Schnittlaser, der beispielsweise zum Abschneiden insbesondere verholzter Teile eines Gewächses wie bei Weinreben über eine ausreichende Leistung verfügt, auf einem eigenen beweglichen Arm in drei Dimensionen beweglich und/oder ausrichtbar ist. Das bedeutet, dass der Schnittlaser entsprechend ausgerichtet und im Raum positioniert werden kann, um an einer insbesondere gesteuert durch ein entsprechendes Auswerteprogramm an einer gewünschten Stelle einen Schnitt vorzunehmen. Somit können beispielsweise verholzte, abgestorbene oder sonstige unerwünschte Teile eines Gewächses abgeschnitten werden. Insbesondere kann dabei eine optische Überwachung durch einen Markierlaser erfolgen, der an einer entsprechenden Stelle eine optische Markierung projiziert, um den Vorgang auch durch einen Nutzer unmittelbar überwachen zu können. Das heißt es wird eine Markierung projiziert und nachfolgend selbsttätig mit dem Schnittlaser an der gewünschten Stelle geschnitten. Dies kann von einem Nutzer überwacht werden. Finally, it is proposed that a cutting laser, which, for example, has sufficient power to cut off particularly woody parts of a plant, such as grapevines, be movable and/or alignable in three dimensions on its own movable arm. This means that the cutting laser can be aligned and positioned in space accordingly in order to make a cut at a desired location, in particular controlled by a corresponding evaluation program. Thus, For example, woody, dead, or other unwanted parts of a plant are to be cut away. In particular, optical monitoring can be achieved using a marking laser, which projects an optical mark at a specific location so that the process can also be directly monitored by a user. This means that a mark is projected and then automatically cut at the desired location with the cutting laser. This can be monitored by a user.
Hierzu kann das System insgesamt einen Markierlaser und einen Schnittlaser sowie zwei Spiegel umfassen. Dabei durchleuchtet der Schnittlaser, beispielsweise ein energiereicher UV-Laser mit kurzer Wellenlänge, einen für die entsprechende Wellenlänge halbdurchlässigen Spiegel. An diesem halbdurchlässigen Spiegel wird das Licht des Markierlasers, beispielsweise ein energieärmerer Laser mit rotem, sichtbarem Licht reflektiert und gemeinsam werden die beiden Laserstrahlen von einem zweiten Spiegel auf die gewünschte Schnittstelle projiziert. Dieser zweite Spiegel ist insgesamt beweglich dreh- und/oder kippbar ausgelegt, um die beiden Lichtstrahlen in die gewünschte Richtung zu lenken. Es können auch mehrere zweite Spiegel vorgesehen sein, falls dies aufgrund der Form der zu bearbeitenden Pflanze erforderlich sein sollte. Zunächst kann die gewünschte Schnittstelle mit dem Markierlaser markiert werden und nachfolgend, gegebenenfalls nach einer Freigabe durch einen Nutzer, wird der Schnittlaser aktiviert, um an der gewünschten Stelle zu schneiden. Dies kann auch über eine optische Erfassung durch Bildverarbeitung vom System selbsttätig überprüft werden. Die beiden Laser und Spiegel können beispielsweise an einem gemeinsamen beweglichen Roboterarm angeordnet sein, um beliebige Stellen einer Pflanze oder eines Gewächses zu markieren und/oder zu schneiden. Ebenso können die Laser auch getrennt an verschiedenen beweglichen Armen angeordnet sein. For this purpose, the system can comprise a marking laser, a cutting laser, and two mirrors. The cutting laser, for example, a high-energy UV laser with a short wavelength, shines through a mirror that is semi-transparent for the corresponding wavelength. The light from the marking laser, for example, a lower-energy laser with red, visible light, is reflected off this semi-transparent mirror, and the two laser beams are projected together by a second mirror onto the desired cutting point. This second mirror is designed to be movable and can be rotated and/or tilted in order to direct the two light beams in the desired direction. Several second mirrors can also be provided if this should be necessary due to the shape of the plant to be treated. First, the desired cutting point can be marked with the marking laser, and then, if necessary after user approval, the cutting laser is activated to cut at the desired location. This can also be automatically checked by the system via optical detection using image processing. For example, the two lasers and mirrors can be mounted on a common, movable robot arm to mark and/or cut any part of a plant or growth. The lasers can also be mounted separately on different, movable arms.
Hierzu können beispielsweise LIDAR-Sensoren zur Positionserfassung einer gewünschten Schnittstelle verwendet werden. Auch kann ein insbesondere 3D-Mo- dell der Pflanze berechnet werden, um eine Schnittposition zu ermitteln beziehungsweise es werden hinterlegte Schnittregeln wie Dicke, Verholzungsgrad, mögliche Abschattungen anderer Pflanzenteile oder dergleichen berücksichtigt. For example, LIDAR sensors can be used to detect the position of a desired interface. A 3D model, in particular, can also be used. dell of the plant can be calculated in order to determine a cutting position or stored cutting rules such as thickness, degree of lignification, possible shading of other parts of the plant or the like can be taken into account.
Es versteht sich, dass die vorstehend genannten und nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar sind. Der Rahmen der Erfindung ist nur durch die Ansprüche definiert. It is understood that the features mentioned above and those to be explained below can be used not only in the respective combinations specified, but also in other combinations. The scope of the invention is defined solely by the claims.
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die zugehörige Zeichnung näher erläutert. The invention is explained in more detail below using exemplary embodiments with reference to the accompanying drawings.
Es zeigt: It shows:
Fig. 1 eine schematische Darstellung eines dem Körper eines Benutzers zuzuordnenden Gehäuse mit Komponenten des Systems nach der Erfindung, Fig. 1 is a schematic representation of a housing to be assigned to the body of a user with components of the system according to the invention,
Fig. 2 eine erste Darstellung des Benutzers mit dem Gehäuse nach Fig. 1 , Fig. 2 a first representation of the user with the housing according to Fig. 1 ,
Fig. 3 eine zweite Darstellung des Benutzers mit dem Gehäuse nach Fig. 1 , Fig. 3 a second representation of the user with the housing according to Fig. 1 ,
Fig. 4 eine Darstellung des Benutzers nach Fig. 3 in Bezug zu einer zu schneidenden Pflanze, Fig. 4 is a representation of the user according to Fig. 3 in relation to a plant to be cut,
Fig. 5 eine Darstellung eines als Überzeilenrahmen ausgebildeten Fahrgestells mit zugeordneten Komponenten des Systems nach der Erfindung, Fig. 5 is a representation of a chassis designed as an over-row frame with associated components of the system according to the invention,
Fig. 6 eine erste Darstellung von Komponenten des Systems nach der Erfindung, Fig. 7 eine erste alternative Darstellung von Komponenten des Systems nach der Erfindung, Fig. 6 is a first representation of components of the system according to the invention, Fig. 7 shows a first alternative representation of components of the system according to the invention,
Fig. 8 eine zweite alternative Darstellung von Komponenten des Systems nach der Erfindung, Fig. 8 shows a second alternative representation of components of the system according to the invention,
Fig. 9 eine dritte alternative Darstellung von Komponenten des Systems nach der Erfindung, Fig. 9 shows a third alternative representation of components of the system according to the invention,
Fig. 10 eine weitere Darstellung des als Überzeilenrahmen ausgebildeten Fahrgestells mit zugeordneten Komponenten des Systems und einem Zugfahrzeug, Fig. 10 is a further illustration of the chassis designed as an over-row frame with associated components of the system and a towing vehicle,
Fig. 11 eine alternative Darstellung des Fahrgestells mit zugeordneten Komponenten des Systems, Fig. 11 an alternative representation of the chassis with associated components of the system,
Fig. 12 eine weitere alternative Darstellung des Fahrgestells mit einem Rahmen mit zugeordneten Komponenten des Systems, Fig. 12 shows another alternative representation of the chassis with a frame with associated components of the system,
Fig. 13 eine vierte alternative Darstellung von Komponenten des Systems nach der Erfindung, Fig. 13 shows a fourth alternative representation of components of the system according to the invention,
Fig. 14 ein Ablaufdiagramm zur Vorgehensweise und Fig. 14 a flow chart of the procedure and
Fig. 15 ein System mit Markierlaser, Schnittlaser und zwei Spiegeln. Fig. 15 a system with marking laser, cutting laser and two mirrors.
Die Fig. 1 und Fig. 6 zeigen eine relativ einfache Ausgestaltung des Systems mit dem Gehäuse 1 , in dem im Wesentlichen eine mindestens eine Kamera 2 umfassende Bilderfassungseinrichtung 3 zur Aufnahme von Bildern einer Pflanze 4 angeordnet ist, die an einer Bildauswerteeinrichtung 5 einer verbundenen Computereinrichtung 6 analysiert werden. Die Bildauswerteeinrichtung 5 der Computereinrichtung 6 berechnet aus den Bilddaten Schnittpositionen 14, also Stellen, an denen die Pflanze beschnitten werden sollte. Hierzu -wird das Bild segmentiert und es erfolgt eine 3D-Modellierung sowie anschließend durch eine Verrechnung von Segmentierung und 3D-Modell die Berechnung der Schnittpositionen. Alternativ können die Schnittpositionen mittels Künstlicher Intelligenz, insbesondere Deep Learning oder einer anderen geeigneten Methode, direkt und ohne Segmentierung und 3D-Modellierung berechnet werden. Fig. 1 and Fig. 6 show a relatively simple embodiment of the system with the housing 1, in which an image capture device 3 comprising at least one camera 2 is arranged for capturing images of a plant 4, which are analyzed by an image evaluation device 5 of a connected computer device 6. The image evaluation device 5 of the computer device 6 calculates cutting positions 14 from the image data, i.e., locations at which the plant should be trimmed. For this purpose, the image is segmented and 3D modeled, followed by the calculation of the cutting positions by combining the segmentation and the 3D model. Alternatively, the cutting positions can be calculated directly and without segmentation and 3D modeling using artificial intelligence, in particular deep learning or another suitable method.
Das Gehäuse 1 insbesondere aus Metall beziehungsweise eine Einhausung kann insbesondere innen- und/oder außenseitig beschichtet und/oder mattiert ausgeführt sein, beispielsweise mit Sand oder dergleichen, um einerseits störende Reflexionen des Sonnenlichts zu verringern und andererseits das Austreten von unerwünschter Laserstrahlung zu minimieren oder verhindern. The housing 1, in particular made of metal, or a housing, can be coated and/or matted, in particular on the inside and/or outside, for example with sand or the like, in order to reduce disturbing reflections of sunlight on the one hand and to minimize or prevent the escape of unwanted laser radiation on the other hand.
Insgesamt kann das Gehäuse 1 beispielsweise an einem insbesondere selbstfahrenden und selbstlenkenden Überzeilenrahmen angeordnet sein, um beispielsweise eine Reihe von Rebstöcken zu bearbeiten. Overall, the housing 1 can be arranged, for example, on a particularly self-propelled and self-steering over-row frame in order, for example, to work a row of vines.
Alternativ zu der Kamera 2 kann auch mindestens ein Lidar-Sensor 19 verwendet werden, um ein Abbild der Pflanze 4 zu erstellen. Selbstverständlich ist auch die Anordnung mindestens einer Kamera 2 und eines Lidar-Sensors 19 an der Bilderfassungseinrichtung 3 und deren Kopplung mit der Bildauswerteeinrichtung 5 der Computereinrichtung 6 möglich. As an alternative to the camera 2, at least one lidar sensor 19 can also be used to create an image of the plant 4. Of course, the arrangement of at least one camera 2 and one lidar sensor 19 on the image capture device 3 and their coupling to the image evaluation device 5 of the computer device 6 is also possible.
Im Weiteren ist mit der Computereinrichtung 6 eine Darstellungseinrichtung 7 verbunden, die zumindest einen eine Schnittposition 14 an der Pflanze 4 markierenden Lichtstrahl 13 erzeugt, wobei die Darstellungseinrichtung 7, die auch als Pointer bezeichnet wird, zumindest eine ansteuerbare Lichtquelle 8 umfasst und von der Computereinrichtung 6 entsprechend der errechneten bzw. ermittelten Schnittstellen angesteuert wird. Selbstverständlich können zur Positionierung des Pointers und der damit verbundenen Ausrichtung des Lichtstrahls 13 nicht näher dargestellte Aktoren und/oder optische Einrichtungen vorgesehen sein, die ebenfalls über geeigneten Schnittstellen mit der Computereinrichtung 6 verbunden sind. Selbstverständlich ist ein Elektronikmodul 18 vorgesehen, das beispielsweise die Energieversorgung der einzelnen Komponenten managt, wobei zur Bereitstellung elektrischer Energie insbesondere nicht näher dargestellte Akkus, Solarpaneele oder dergleichen vorgesehen sein können. Furthermore, a display device 7 is connected to the computer device 6, which generates at least one light beam 13 marking a cutting position 14 on the plant 4. The display device 7, which is also referred to as a pointer, comprises at least one controllable light source 8 and is controlled by the computer device 6 according to the calculated or determined interfaces. Of course, actuators and/or optical devices (not shown in detail) can be provided for positioning the pointer and the associated alignment of the light beam 13, which are also connected to the computer device 6 via suitable interfaces. Of course, an electronic module 18 is provided, which, for example, manages the power supply of the individual components, wherein In particular, batteries, solar panels or the like, not shown in detail, may be provided to provide electrical energy.
Darüber hinaus sind in dem Gehäuse 1 mehrere mit der Computereinrichtung 6, die selbstverständlich neben einem Prozessor auch eine Speichereinrichtung 9 umfasst, verbundene Sensoren 10 angeordnet, deren Sensordaten an der Computereinrichtung ausgewertet werden. Die Sensordaten fließen in die Bestimmung der Schnittpositionen 14 bzw. deren Anzeige an der Pflanze 4 mittels des ausrichtbaren Lichtstrahls 13 der Darstellungseinrichtung 7 ein. Bei den Sensoren 10 kann es sich um einen Abstandssensor, einen Sensor eines Satellitennavigationssystems und/oder einen Gyro-Sensor handeln. Die Sensordaten beschreiben nach einer Kalibrierung der Sensoren 10 neben den Bilddaten die Ausrichtung des Gehäuses 1 in der Umgebung und zu der Pflanze 4 und stellen die exakte Ausrichtung des Lichtstahls zur Markierung der Schnittposition 14 an der Pflanze 4 sicher. Furthermore, several sensors 10 connected to the computer device 6, which of course also includes a memory device 9 in addition to a processor, are arranged in the housing 1, the sensor data of which are evaluated by the computer device. The sensor data is used to determine the cutting positions 14 and to display them on the plant 4 using the alignable light beam 13 of the display device 7. The sensors 10 can be a distance sensor, a sensor of a satellite navigation system, and/or a gyro sensor. After calibration of the sensors 10, the sensor data, in addition to the image data, describe the orientation of the housing 1 in the environment and in relation to the plant 4 and ensure the precise alignment of the light beam for marking the cutting position 14 on the plant 4.
In Ausgestaltung ist das System nach Fig. 2 und Fig. 3 mit der zwei Kameras 2 oder zwei Lidar-Sensoren 19 oder einer Kamera 2 und einem Lidar-Sensor 19 umfassenden Bilderfassungseinrichtung 3 ausgestattet, die Stereoaufnahmen der Pflanze 4 ermöglichen. Das Gehäuse 4 ist mittels eines Befestigungsgurtes 11 in einem Brustbereich oder Stirnbereich eines Benutzers 12 des Systems derart angeordnet, dass die Kameras 2 respektive die Lidar-Sensoren 19 und die Darstellungseinrichtung 7 in Blickrichtung ausgerichtet sind. Sonach werden Bilder der vor dem Benutzer 12 angeordneten Pflanze 4 aufgenommen und ausgewertet und die Lichtstrahlung unmittelbar für den Benutzer 12 wahrnehmbar auf die Schnittstellen der Pflanze projiziert. Der Benutzer 12 hat beide Hände frei und kann mittels einer Pflanzenschere die Pflanze 4 an den markierten Schnittpositionen 14 schneiden. In one embodiment, the system according to Fig. 2 and Fig. 3 is equipped with the image capture device 3 comprising two cameras 2 or two lidar sensors 19 or one camera 2 and one lidar sensor 19, which enable stereo images of the plant 4. The housing 4 is arranged by means of a fastening strap 11 in a chest area or forehead area of a user 12 of the system such that the cameras 2 or the lidar sensors 19 and the display device 7 are aligned in the line of sight. Images of the plant 4 arranged in front of the user 12 are thus recorded and evaluated, and the light radiation is projected onto the cutting points of the plant so that the user 12 can immediately perceive it. The user 12 has both hands free and can cut the plant 4 at the marked cutting positions 14 using plant scissors.
Fig. 4 verdeutlicht die Anzeige einer Schnittposition 14 an der Pflanze 4, die sich in Blickrichtung des Benutzers 12 befindet mittels des durch die als Markierlaser ausgebildeten Lichtquelle 8 emittierten Lichtstrahls 13 der Darstellungseinrichtung. Fig. 4 illustrates the display of a cutting position 14 on the plant 4, which is located in the viewing direction of the user 12 by means of the laser beam acting as a marking laser. formed light source 8 emitted light beam 13 of the display device.
Umfasst die Darstellungseinrichtung 7 eine als Schnittlaser ausgebildete Lichtquelle 8, die zusätzlich oder alternativ zu dem Markierlaser angeordnet sein kann und beispielsweise eine höhere Energiedichte aufweist, wird ein Schnittlaserstrahl 21 emittiert, der die Pflanze 4 an der ermittelten Schnittposition 14 schneiden kann, so dass eine manuelle Bearbeitung entfällt. Selbstverständlich ist die als Schnittlaser ausgebildete Lichtquelle 8 mittels gesteuerter Aktoren ausrichtbar und/oder der Schnittlaserstrahl 21 ist ebenso wie der Markierlaserstrahl 22 mittels geeigneter optischer Einrichtungen, die ebenfalls in ihrer Lage gesteuert ausrichtbar sind, ablenkbar, um die Schnittposition zuverlässig zu erreichen. Hierbei kann die Durchlässigkeit der optischen Einrichtung an den Schnittlaser oder den Markierlaser angepasst sein. If the display device 7 comprises a light source 8 designed as a cutting laser, which can be arranged in addition to or alternatively to the marking laser and, for example, has a higher energy density, a cutting laser beam 21 is emitted, which can cut the plant 4 at the determined cutting position 14, thus eliminating the need for manual processing. Naturally, the light source 8 designed as a cutting laser can be aligned by means of controlled actuators and/or the cutting laser beam 21, like the marking laser beam 22, can be deflected by means of suitable optical devices, which can also be aligned in a controlled manner, in order to reliably reach the cutting position. The transmittance of the optical device can be adapted to the cutting laser or the marking laser.
Das Gehäuse 1 kann gemäß den Fig. 5 und Fig. 10 auch an einem als Überzeilenrahmen 15 ausgebildeten Fahrgestell 16 angeordnet sein, das entweder von einem Zugfahrzeug 17 gezogen oder selbstfahrend ausgebildet ist. Das Fahrgestell 16 bietet die Möglichkeit der Anordnung beispielsweise optischer Einrichtungen der Darstellungseinrichtung 7 oder der Darstellungseinrichtung 7 mit entsprechenden Aktoren zur Ausrichtung des Lichtstrahls 13 außerhalb des Gehäuses 1. Selbstverständlich können an einem Fahrgestell 16 auch mehrere Überzeilenrahmen 15 angeordnet sein. Alternativ trägt nach Fig. 12 das Fahrgestell 16 einen einfachen Rahmen 20, an dem beispielsweise eine optische Einrichtung der Darstellungseinrichtung 7 angeordnet ist, um den Lichtstrahl 13 auszurichten. According to Fig. 5 and Fig. 10, the housing 1 can also be arranged on a chassis 16 designed as an over-the-line frame 15, which is either towed by a towing vehicle 17 or is self-propelled. The chassis 16 offers the possibility of arranging, for example, optical devices of the display device 7 or the display device 7 with corresponding actuators for aligning the light beam 13 outside the housing 1. Of course, several over-the-line frames 15 can also be arranged on a chassis 16. Alternatively, according to Fig. 12, the chassis 16 carries a simple frame 20, on which, for example, an optical device of the display device 7 is arranged to align the light beam 13.
Gemäß Fig. 7 umfasst die Bilderfassungseinrichtung 3 des Systems eine Vielzahl von Kameras 2, die mit der Computereinrichtung 6 und der daran vorgesehenen Bildauswerteeinrichtung 5 verbunden sind. Im Weiteren ist neben dem Elektronikmodul 18 die Darstellungseinrichtung 7 gezeigt. Nach Fig. 8 und 9 sind mehrere Kameras 2 sowie mehrere Sensoren 10 mit einer zentralen Computereinrichtung 6 verbunden, die über geeignete Schnittstellen selbstverständlich auch drahtlos mit weiteren Computereinrichtungen 6.n kommuniziert. Die weiteren Computereinrichtungen 6n können die Rechenleistung erhöhen oder sind anderen autarken Systemen zugeordnet, so dass auch mehrere Pflanzen 4 gleichzeitig geschnitten werden können, insbesondere wenn die Fahrgestelle 16 autonom fahren und die Lichtstrahlen 13 zum Schneiden der Pflanzen als Laserlicht ausgeführt sind. According to Fig. 7, the image capture device 3 of the system comprises a plurality of cameras 2, which are connected to the computer device 6 and the image evaluation device 5 provided thereon. Furthermore, the display device 7 is shown in addition to the electronic module 18. According to Figs. 8 and 9, several cameras 2 and several sensors 10 are connected to a central computer device 6, which, of course, also communicates wirelessly with additional computer devices 6.n via suitable interfaces. The additional computer devices 6n can increase the computing power or are assigned to other autonomous systems, so that several plants 4 can be cut simultaneously, especially if the chassis 16 move autonomously and the light beams 13 for cutting the plants are designed as laser light.
Im Einzelnen werden die Kameras 2 zum Aufnehmen von Bilddaten der Pflanze 4 und die Sensoren 10 zur Ermittlung von Daten zur Orientierung des Systems zur Unterstützung beim Schnitt von Pflanzen 4 verwendet. Die Bilddaten der Pflanze 4 werden an der Bildauswerteeinrichtung 5 mit klassischen Methoden der Bildverarbeitung oder künstlicher Intelligenz semantisch segmentiert. Die Sensordaten dienen zur Berechnung einer dreidimensionalen Rekonstruktion. Aus den verarbeiteten Bilddaten und Sensordaten werden die Schnittpositionen und die Daten für die Projektion des Lichtstrahls berechnet und der Lichtstrahl entsprechend angesteuert. Specifically, cameras 2 are used to capture image data of plant 4, and sensors 10 are used to determine data for orienting the system to assist in cutting plants 4. The image data of plant 4 is semantically segmented at the image evaluation device 5 using conventional image processing methods or artificial intelligence. The sensor data is used to calculate a three-dimensional reconstruction. The cutting positions and the data for projecting the light beam are calculated from the processed image data and sensor data, and the light beam is controlled accordingly.
Im Weiteren werden mittels der Bilddaten und der Sensordaten beispielsweise die Position und die Bewegung des Systems erfasst, wobei die Positionsdaten insbesondere in die Berechnung der Schnittposition eingehen und die Trackingdaten aus der Bewegung des Systems in die Berechnung der Zielposition für den Lichtstrahl zur Darstellung der Schnittposition oder zum Schnitt selbst eingehen. Darüber hinaus dienen die Bilddaten und die Sensordaten der Bewegungssteuerung. Furthermore, the image data and sensor data are used to capture, for example, the position and movement of the system. The position data is used in particular to calculate the cutting position, and the tracking data from the system's movement is used to calculate the target position for the light beam to represent the cutting position or the cutting itself. Furthermore, the image data and sensor data are used for motion control.
Nach Fig. 11 trägt das gezogene oder selbst fahrende Fahrgestell 16 einen Rahmen 20, an dem in Fahrtrichtung gesehen mehrere Bilderfassungseinrichtungen 3 übereinander angeordnet sind, um Bilddaten der gesamten Pflanze 4 zu erfassen, wozu der Bilderfassungseinrichtung 3 Kameras 2 und/oder LIDAR- Sensoren 19 zugeordnet sind. Die Bilddaten werden an der Bildauswerteeinrichtung 5 der Computereinrichtung 6 ausgewertet und verarbeitet. Die mit der Computereinrichtung 6 verbundene Darstellungseinrichtung 7 ist beabstandet zu den quasi voraneilenden Bilderfassungseinrichtungen 3 angeordnet und ebenfalls mit der Computereinrichtung 6 verbunden. Im Weiteren sind der Darstellungseinrichtung 7 örtlich und datentechnisch verschiedene Sensoren 10, die neben einer Kamera oder einem LIDAR-Sensor auch beispielsweise einen Satellitennavigationssensor einen Gyro-Sensor und dergleichen umfassen, zugeordnet, um die Position der Darstellungseinrichtung 7 datentechnisch mit den Daten der Bilderfassungseinrichtungen 3 abzugleichen bzw. die Darstellungseinrichtung 7 anhand der Sensordaten zu kalibrieren. Die Darstellungseinrichtung 7 umfasst vorliegend eine erste Lichtquelle 8, die als Markierlaser ausgebildet ist und zur Markierung einer Schnittposition 14 über eine zugeordnete optische Einrichtung einen Lichtstrahl emittiert, und eine zweite Lichtquelle 8 höherer Energiedichte, die als Schnittlaser ausgebildet ist und einen Schnittlaserstrahl 21 an die markierte Schnittposition 14 sendet, wobei selbstverständlich auch hier optische Einrichtungen und/oder Aktoren zum Ausrichten des Schnittlaserstrahls 22 vorgesehen sein können. According to Fig. 11, the towed or self-propelled chassis 16 carries a frame 20 on which, viewed in the direction of travel, several image capture devices 3 are arranged one above the other in order to capture image data of the entire plant 4, for which purpose the image capture device 3 is provided with cameras 2 and/or LIDAR- Sensors 19 are assigned. The image data are evaluated and processed at the image evaluation device 5 of the computer device 6. The display device 7 connected to the computer device 6 is arranged at a distance from the quasi-leading image capture devices 3 and is also connected to the computer device 6. Furthermore, various sensors 10 are assigned to the display device 7 in terms of location and data technology. These sensors 10, in addition to a camera or a LIDAR sensor, also include, for example, a satellite navigation sensor, a gyro sensor, and the like, in order to compare the position of the display device 7 with the data from the image capture devices 3 and to calibrate the display device 7 based on the sensor data. The display device 7 in the present case comprises a first light source 8, which is designed as a marking laser and emits a light beam for marking a cutting position 14 via an associated optical device, and a second light source 8 of higher energy density, which is designed as a cutting laser and sends a cutting laser beam 21 to the marked cutting position 14, wherein, of course, optical devices and/or actuators for aligning the cutting laser beam 22 can also be provided here.
Gemäß Fig. 13 sind mehrere Kameras 2 sowie mehrere Sensoren 10 mit einer zentralen Computereinrichtung 6 verbunden, Im Weiteren ist eine Darstellungseinrichtung 7 mit mehreren Lichtquellen 8 mit der Computereinrichtung 6 gekoppelt, wobei einzelne der Lichtquellen 8 als Schnittlaserstrahlen 22 ausgeführte Lichtstrahlen 13 zum Schneiden der Pflanzen und andere Lichtquellen 8 als Markierlaserstrahlen 22 ausgeführte Lichtstrahlen 13 zum Markieren von Schnittstellen 14 emittieren. According to Fig. 13, several cameras 2 and several sensors 10 are connected to a central computer device 6. Furthermore, a display device 7 with several light sources 8 is coupled to the computer device 6, wherein individual light sources 8 emit light beams 13 designed as cutting laser beams 22 for cutting the plants and other light sources 8 emit light beams 13 designed as marking laser beams 22 for marking cutting points 14.
Schließlich ist in Fig. 14 ein Ablaufdiagramm dargestellt, um das Zusammenwirken der verschiedenen Komponenten des Systems zu verdeutlichen. Finally, a flow chart is shown in Fig. 14 to illustrate the interaction of the various components of the system.
Dabei sind im Teil 100 des Systems Kameras und Sensoren angeordnet wie unter anderem eine insbesondere optische Kamera 101 , ein Lidar-Sensor 102 beziehungsweise eine Tof-Kamera, die nach dem „Time-of-Flight“-Prinzip arbeitet, also einer Laufzeitmessung eines elektromagnetischen Signals, das vom Gewächs reflektiert wird, einem IMU- beziehungsweise Lagesensor 103, der beispielsweise eine Inertialbewegung des gesamten Systems beziehungsweise von Teilen davon erfassen kann, oder einem an sich bekannten GPS- beziehungsweise Positionssensor 104. Diese Sensoren dienen zur Erfassung der Position des Systems relativ zu einem zu bearbeitenden Gewächs wie unter anderem einer Weinrebe. Dabei werden beispielsweise Bilddaten 105 aufgenommen, eine Orientierung des Systems 106 relativ zu dem zu bearbeitenden Gewächs erfasst, eine absolute Position im Raum 107 festgestellt und/oder eine relative Bewegung 108 im Raum berücksichtigt, beispielsweise auf einem selbstfahrenden Überzeilenrahmen. In the part 100 of the system, cameras and sensors are arranged, such as, among others, an optical camera 101, a lidar sensor 102 or a TOF camera, which operates according to the "time-of-flight" principle, i.e., a time-of-flight measurement of an electromagnetic signal reflected by the plant, an IMU or position sensor 103, which can, for example, detect an inertial movement of the entire system or parts thereof, or a known GPS or position sensor 104. These sensors serve to detect the position of the system relative to a plant to be treated, such as a grapevine. For example, image data 105 is recorded, an orientation of the system 106 relative to the plant to be treated is recorded, an absolute position in space 107 is determined, and/or a relative movement 108 in space is taken into account, for example, on a self-propelled over-the-line frame.
Im Teil 140 des Systems erfolgt eine Berechnung aus den erfassten Daten und Messwerten. Im Schritt 109 beispielsweise können Bilddaten 105 segmentiert werden, wie durch den Verbindungspfeil angedeutet. Weiterhin kann daraus im Schritt 110 eine 3D-Rekonstruktion des Gewächses erstellt werden. Daraus kann eine gewünschte Schnittposition berechnet werden 111 und daraufhin wird im Schritt 112 eine gewünschter Projektionsort für einen Markierungslaserstrahl ermittelt. Dem liegen jeweils 3D-Modelle 113 von Gewächsen zuzugrunde beziehungsweise die jeweiligen Schnittvorgaben oder Schnittregeln, die in einer Datenbank hinterlegt sind. In part 140 of the system, a calculation is performed based on the acquired data and measured values. In step 109, for example, image data 105 can be segmented, as indicated by the connecting arrow. Furthermore, in step 110, a 3D reconstruction of the plant can be created from this. From this, a desired cutting position can be calculated 111, and then, in step 112, a desired projection location for a marking laser beam is determined. This is based on 3D models 113 of plants or the respective cutting specifications or rules stored in a database.
Im Teil 150 des Systems erfolgt eine Berechnung der Lage des Systems insbesondere relativ zu einem zu bearbeitenden Gewächs. Dort kann zum einen im Schritt 114 eine Bewegung des Systems, insbesondere im Raum getrackt oder nachverfolgt werden 114 und daraus eine gewünschte Zielposition ermittelt werden 115, um beispielsweise einen Markierungs- und/oder Schneidlaser optimal positionieren zu können. In part 150 of the system, the position of the system is calculated, particularly relative to a plant to be processed. In step 114, a movement of the system, particularly in space, can be tracked or traced 114, and a desired target position can be determined 115 from this, for example, in order to optimally position a marking and/or cutting laser.
Im Teil 160 des Systems erfolgt dann das Ansteuern von unter anderem verschiedenen Aktoren. Beispielsweise werden im Schritt 116 die Lichtstrahlen von Markierungs- und/oder Schneidelaser angesteuert und in Schritt 117 eine Bewegung des gesamten Systems. Dabei kann auch ein 3D-Roboterarm für den Schneidlaser entsprechend angesteuert werden. Im Schritt 118 kann beispielsweise eine oder mehrere Lichtquellen beziehungsweise Laser angesteuert werden, im Schritt 119 eine Optik der Steuerung, im Schritt 120 die Lenkung des Systems und im Schritt 121 dessen Antrieb. In part 160 of the system, various actuators are then controlled. For example, in step 116, the light beams The marking and/or cutting laser is controlled in step 117, and the entire system is moved in step 118. A 3D robot arm for the cutting laser can also be controlled accordingly. For example, one or more light sources or lasers can be controlled in step 118, a control system's optics in step 119, the system's steering in step 120, and its drive in step 121.
Mit den Verbindungspfeilen sind jeweils unmittelbare Beeinflussungen beziehungsweise Ansteuerungen angedeutet. The connecting arrows indicate direct influences or controls.
In Fig. 15 ist das System umfassend zwei Spiegel 26, 27 und ein Markierlaser 24 und ein Schnittlaser 23 zugeordnet ist. Der Schnittlaser, beispielsweise ein energiereicher UV-Laser, sendet einen Schnittlaserstrahl 21 , hier gestrichelt abgebildet, aus und der energiearmere beispielsweise rote Markierlaser 24 einen Markierlaserstrahl 22, hier durchgehend abgebildet. An einem halbdurchlässigen Spiegel 26 wird der Markierlaserstrahl 22 reflektiert während der Schnittlaserstrahl 21 durch den halbdurchlässigen Spiegel 26 hindurchtritt. Dahinter verläuft der gemeinsame Strahlengang 25 beider Laserstrahlen. Am zweiten Spiegel 27 werden die beiden Laserstrahlen gemeinsam reflektiert und auf eine gemeinsame gewünschte Schnittstelle projiziert. Mindestens der zweite Spiegel 27 ist dreh- und/oder kippbeweglich ausgebildet, um auf eine gewünschte und berechnete Schnittstelle projiziert zu werden. Das Drehen/Kippen kann im Millisekundenbereich ausgeführt werden. Beispielsweise kann zuerst der Markierlaser 24 aktiviert werden, um die gewünschte Schnittstelle zu markieren. Dies kann selbsttätig überprüft werden beispielsweise durch eine Bildverarbeitung und/oder durch einen Nutzer. Nachfolgend wir der Schnittlaser 23 durch den Nutzer und/oder selbsttätig aktiviert und die Pflanze oder das Gewächs an der Schnittstelle geschnitten. In Fig. 15, the system comprises two mirrors 26, 27 and a marking laser 24 and a cutting laser 23. The cutting laser, for example a high-energy UV laser, emits a cutting laser beam 21, shown here in dashed lines, and the lower-energy, for example a red marking laser 24, emits a marking laser beam 22, shown here as a solid line. The marking laser beam 22 is reflected by a semi-transparent mirror 26, while the cutting laser beam 21 passes through the semi-transparent mirror 26. Behind it runs the common beam path 25 of both laser beams. At the second mirror 27, the two laser beams are reflected together and projected onto a common desired interface. At least the second mirror 27 is designed to be rotatable and/or tiltable in order to be projected onto a desired and calculated interface. The rotating/tilting can be carried out in the millisecond range. For example, the marking laser 24 can first be activated to mark the desired cutting point. This can be verified automatically, for example, by image processing and/or by a user. Subsequently, the cutting laser 23 is activated by the user and/or automatically, and the plant or growth is cut at the cutting point.
Das System kann insgesamt oder zumindest teilweise auf einem beweglichen 3D-Roboterarm oder verteilt auf mehreren Roboterarmen angeordnet sein, um alle gewünschten Orte auf den Pflanzen erreichen zu können. Bezugszeichen The system can be arranged entirely or at least partially on a movable 3D robot arm or distributed across several robot arms in order to be able to reach all desired locations on the plants. Reference symbol
15 Überzeilenrahmen 15 overline frames
16 Fahrgestell 16 chassis
17 Zugfahrzeug 17 towing vehicle
18 Elektronikmodul 18 Electronic module
19 LIDAR-Sensor 19 LIDAR sensor
20 Rahmen 20 frames
21 Schnittlaserstrahl 21 Cutting laser beam
22 Markierlaserstrahl 22 Marking laser beam
23 Schnittlaser 23 cutting lasers
24 Markierlaser 24 marking lasers
25 gemeinsamer Strahlengang25 common beam path
26 halbdurchlässiger Spiegel26 semi-transparent mirror
27 Spiegel 27 mirrors
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102024110674.3 | 2024-04-16 | ||
| DE102024110674.3A DE102024110674B3 (en) | 2024-04-16 | 2024-04-16 | System to assist in pruning plants |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025219011A1 true WO2025219011A1 (en) | 2025-10-23 |
Family
ID=95201182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2025/057909 Pending WO2025219011A1 (en) | 2024-04-16 | 2025-03-24 | System for assisting with the cutting of plants |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102024110674B3 (en) |
| WO (1) | WO2025219011A1 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102696411A (en) * | 2012-04-13 | 2012-10-03 | 浙江工业大学 | Grape winter-pruning operation device based on machine vision |
| CN104871841A (en) | 2014-02-27 | 2015-09-02 | 新昌县大市聚镇海房机械厂 | Fruit tree pruning prompt device |
| US20160050852A1 (en) | 2013-03-29 | 2016-02-25 | Chul Hee Lee | Agricultural robot system |
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| EP3617816A2 (en) | 2018-08-30 | 2020-03-04 | Accenture Global Solutions Limited | Modeling and decision support for horticulture |
| DE102019209373A1 (en) * | 2019-06-27 | 2020-12-31 | Robert Bosch Gmbh | Method for automatically performing a plant pruning, in particular a tree pruning, and / or for supporting an operator with a plant pruning, in particular a tree pruning |
| CA3146235A1 (en) * | 2019-07-12 | 2021-01-21 | RoBoTec PTC GmbH | Device and method for propagating plants |
| CN113574538A (en) * | 2019-03-07 | 2021-10-29 | 立体修剪股份公司 | System and method for assisting plant pruning |
| WO2022248192A1 (en) * | 2021-05-26 | 2022-12-01 | RoBoTec PTC GmbH | Method for semi-autonomously processing plants |
| WO2023144082A1 (en) * | 2022-01-25 | 2023-08-03 | Signify Holding B.V. | Method and system for instructing a user for post-harvest trimming a bud |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2994057B1 (en) * | 2012-07-31 | 2015-04-03 | Tiam | VINE-SIZED ROBOT COMPRISING IMAGE CAPTURING MEANS USING LASER BEAM PROJECTION MEANS |
| EP3695355A1 (en) * | 2017-10-13 | 2020-08-19 | Bayer CropScience LP | Individualized and customized plant management using autonomous swarming drones and artificial intelligence |
| DE102019207869A1 (en) * | 2019-05-29 | 2020-12-03 | Robert Bosch Gmbh | Tool head device |
-
2024
- 2024-04-16 DE DE102024110674.3A patent/DE102024110674B3/en active Active
-
2025
- 2025-03-24 WO PCT/EP2025/057909 patent/WO2025219011A1/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102696411A (en) * | 2012-04-13 | 2012-10-03 | 浙江工业大学 | Grape winter-pruning operation device based on machine vision |
| CN102696411B (en) | 2012-04-13 | 2013-11-13 | 浙江工业大学 | Grape winter-pruning operation device based on machine vision |
| US20160050852A1 (en) | 2013-03-29 | 2016-02-25 | Chul Hee Lee | Agricultural robot system |
| CN104871841A (en) | 2014-02-27 | 2015-09-02 | 新昌县大市聚镇海房机械厂 | Fruit tree pruning prompt device |
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| EP3617816A2 (en) | 2018-08-30 | 2020-03-04 | Accenture Global Solutions Limited | Modeling and decision support for horticulture |
| CN113574538A (en) * | 2019-03-07 | 2021-10-29 | 立体修剪股份公司 | System and method for assisting plant pruning |
| DE102019209373A1 (en) * | 2019-06-27 | 2020-12-31 | Robert Bosch Gmbh | Method for automatically performing a plant pruning, in particular a tree pruning, and / or for supporting an operator with a plant pruning, in particular a tree pruning |
| CA3146235A1 (en) * | 2019-07-12 | 2021-01-21 | RoBoTec PTC GmbH | Device and method for propagating plants |
| WO2022248192A1 (en) * | 2021-05-26 | 2022-12-01 | RoBoTec PTC GmbH | Method for semi-autonomously processing plants |
| WO2023144082A1 (en) * | 2022-01-25 | 2023-08-03 | Signify Holding B.V. | Method and system for instructing a user for post-harvest trimming a bud |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102024110674B3 (en) | 2025-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2422297B1 (en) | Device and method for recording a plant | |
| EP3824247A1 (en) | Method and system for determining a position of a vehicle | |
| EP3369037A1 (en) | Method and information system for detecting at least one plant planted on a field | |
| WO2020014719A1 (en) | Apparatus and method for selectively harvesting timber | |
| EP4064818B1 (en) | Method for treating plants in a field | |
| DE102020210618B4 (en) | METHOD AND SYSTEM FOR OBJECT DETECTION | |
| EP3150037B1 (en) | Method and system for sensor-supported management of an agricultural field | |
| EP4086568B1 (en) | Method and system for characterising vegetation | |
| EP2997543B1 (en) | Device and method for the parameterisation of a plant | |
| WO2021105015A1 (en) | Method for treating plants in a field, for generating training data and for training a neural network | |
| EP3663881B1 (en) | Method for controlling an autonomous vehicle on the basis of estimated movement vectors | |
| DE102017007737A1 (en) | Method and device for detecting an image of a plant with a sensor device | |
| WO2019091725A1 (en) | Method and display device for guiding a working machine | |
| DE102024110674B3 (en) | System to assist in pruning plants | |
| EP3575912A1 (en) | Robotic mower | |
| EP3726425B1 (en) | Method for physical, in particular optical, detection of at least one application object | |
| EP2749982A2 (en) | Generation and updating of reference models | |
| DE102022207830A1 (en) | Weed detection with polar masks | |
| DE102024110930B4 (en) | Method for controlling the flight path of an aircraft when flying over a mirror surface | |
| DE102012209664B4 (en) | DEVICE AND METHOD FOR CALIBRATING TRACKING SYSTEMS | |
| DE102024113553A1 (en) | CONTROL OF LIGHT INTENSITY WITHIN A REGION OF INTEREST | |
| Bruggisser | Improving forest mensurations with high resolution point clouds | |
| DE102022212389A1 (en) | Electro-optical observation system for hunting purposes | |
| Geipel | Implementation and improvement of an unmanned aircraft system for precision farming purposes | |
| DE102021210961A1 (en) | Method for determining a vegetation index in a garden, computing unit for executing the method and vegetation monitoring system with the computing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25715197 Country of ref document: EP Kind code of ref document: A1 |