WO2022172051A1

WO2022172051A1 - Method for estimating morphophysiological variables of interest in aquaculture organisms

Info

Publication number: WO2022172051A1
Application number: PCT/IB2021/051018
Authority: WO
Inventors: Ivan Eduardo RAMIREZ MORALES; Jaime Alfredo RODRIGUEZ ANDRADE
Original assignee: Larvia SA
Current assignee: Larvia SA
Priority date: 2021-02-09
Filing date: 2021-02-09
Publication date: 2022-08-18
Anticipated expiration: 2023-08-09
Also published as: ECSP22048353A

Abstract

The invention relates to a method based on combining software and hardware in order to provide an artificial intelligence service which, without the need for fixed equipment or a container with the sample fixed, allows the precise analysis of images captured by a mobile phone, for the purpose of counting, individual weight estimation, weight classification, uniformity estimation, and geolocation in respect of aquaculture samples.

Description

Procedimiento Para Estimar Variables Morfofisiológicas De Interés En Organismos Acuícolas Procedure to Estimate Morphophysiological Variables of Interest in Aquaculture Organisms

La presente invención se refiere al sector de servicios tecnológicos para la acuicultura. The present invention refers to the sector of technological services for aquaculture.

DESCRIPCIÓN DESCRIPTION

Se describe un procedimiento basado en la combinación de software y hardware para la provisión de un servicio de inteligencia artificial que permita el análisis preciso de imágenes capturadas por un dispositivo móvil, para realizar el conteo, estimación de peso individual, clasificación por peso, estimación de uniformidad, calculo del coeficiente de variación, colorimetría, análisis del estado de salud y geolocalización de muestras en acuicultura. A procedure based on the combination of software and hardware is described for the provision of an artificial intelligence service that allows the precise analysis of images captured by a mobile device, to perform counting, estimation of individual weight, classification by weight, estimation of uniformity, calculation of the coefficient of variation, colorimetry, analysis of the state of health and geolocation of samples in aquaculture.

El procedimiento inicia con la selección de una muestra aleatoria obtenida del estanque en el que se encuentra el organismo, posteriormente se realiza un pesaje en seco de la muestra y se obtiene una fotografía con un dispositivo móvil, sin que sea necesario ubicar la muestra en un contenedor cerrado. En el caso de organismos cuyo tamaño sea inferior a 4mm en su eje más largo, se realiza una fotografía retroiluminada con una lámpara LED de 12 a 16W. The procedure begins with the selection of a random sample obtained from the pond in which the organism is found, then a dry weighing of the sample is carried out and a photograph is obtained with a mobile device, without it being necessary to locate the sample in a closed container. In the case of organisms whose size is less than 4mm in its longest axis, a backlit photograph is taken with a 12 to 16W LED lamp.

La fotografía obtenida con el dispositivo móvil junto con los metadatos se envía a un servidor de cómputo, que puede estar en la nube, en fog, o en edge. Para el envío de la fotografía, se puede utilizar tanto un chatbot, una aplicación de celular, tablet, u otros dispositivos personales con capacidad de conexión a internet. The photograph obtained with the mobile device along with the metadata is sent to a computing server, which can be in the cloud, in the fog, or on the edge. To send the photograph, you can use a chatbot, a cell phone application, a tablet, or other personal devices with Internet connection capacity.

La imagen es almacenada en un servidor, y la metadata junto con la ruta de la imagen son almacenados en una base de datos no relacional. La base de datos contiene además información relevante sobre el usuario y la empresa que envía la imagen para verificar si éste cuenta con un saldo positivo para proceder al procesamiento de la imagen. i La imagen se preprocesa y posteriormente se envía a un microservicio de inferencia basado en GPU, TPU o cualquier otro procesador de alto desempeño, el cual devuelve una matriz de detección para cada organismo en la imagen. De cada organismo se obtienen medidas en píxeles, que sirven para estimar el peso y talla individuales, con lo que se puede calcular la uniformidad y distribución de pesos y tallas. Además se analiza características de organismos sanos y enfermos para presentar al usuario indicadores de la muestra que facultan a la toma de decisiones. . The image is stored on a server, and the metadata along with the image path are stored in a non-relational database. The database also contains relevant information about the user and the company that sends the image to verify if it has a positive balance to proceed with the processing of the image. Yo The image is preprocessed and then sent to a GPU, TPU, or other high-performance processor-based inference microservice, which returns a detection matrix for each organism in the image. Measurements are obtained from each organism in pixels, which are used to estimate individual weight and size, with which the uniformity and distribution of weights and sizes can be calculated. In addition, characteristics of healthy and sick organisms are analyzed to present the user with indicators of the sample that empower decision-making. .

Las variables obtenidas y calculadas, se almacenan en la base de datos y se devuelven al usuario utilizando el mismo mecanismo por el cual solicitó el servicio, sin embargo está disponible en todos los medios que acceden a la base de datos. The variables obtained and calculated are stored in the database and returned to the user using the same mechanism by which the service was requested, however it is available in all the media that access the database.

Los datos almacenados, se mantienen y son accesibles de manera exclusiva para el usuario que los generó y la empresa a la cual pertenecen. Para esto, se utiliza un dashboard web o una hoja de cálculo en la nube la cual se genera de manera automática. The stored data is maintained and accessible exclusively to the user who generated it and the company to which it belongs. For this, a web dashboard or a spreadsheet in the cloud is used, which is generated automatically.

El procedimiento propuesto aventaja a los métodos conocidos en el estado de la técnica anterior, en los siguientes aspectos: The proposed procedure is superior to the methods known in the state of the prior art, in the following aspects:

1 . Debido a que no se limita a un equipamiento fijo, puede ser utilizado por cualquier usuario que tenga un teléfono celular, tablet, o dispositivo personal conectado a internet, sin necesidad de utilizar un contenedor cerrado para la muestra. 1 . Because it is not limited to fixed equipment, it can be used by any user who has a cell phone, tablet, or personal device connected to the Internet, without the need to use a closed container for the sample.

2. Al realizar los cálculos en GPU, TPU o cualquier otro procesador de alto desempeño, el procesamiento es considerablemente más rápido y preciso. 2. When performing calculations on GPU, TPU or any other high-performance processor, the processing is considerably faster and more accurate.

3. El algoritmo de detección se basa en una técnica de deep learning llamada segmentación semántica a nivel de pixeles, que mejora considerablemente la detección con respecto a la publicada en el estado de la técnica. Explicación de las ventajas que ofrece la Invención 3. The detection algorithm is based on a deep learning technique called pixel-level semantic segmentation, which considerably improves detection compared to that published in the state of the art. Explanation of the advantages offered by the Invention

En la actualidad, la monitorización de variables morfofisiológicas es fundamental para el seguimiento y toma de decisiones en la producción acuícola. Existen procedimientos que requieren de un contenedor cerrado para mantener la muestra en un medio líquido y posteriormente, se realiza el procesamiento de la imagen mediante un software. En nuestra invención se prescinde de contenedores y se realiza todo el análisis en el dispositivo móvil del usuario, bajo el enfoque de inteligencia artificial como servicio. Currently, the monitoring of morphophysiological variables is essential for monitoring and decision-making in aquaculture production. There are procedures that require a closed container to keep the sample in a liquid medium and then image processing is performed using software. In our invention, containers are dispensed with and all the analysis is carried out on the user's mobile device, under the artificial intelligence as a service approach.

Nuestro procedimiento tiene como ventaja para el usuario que en lugar de adquirir hardware directamente, los usuarios pagan el uso de un servicio bajo demanda. Por ejemplo por cada imagen analizada, pagan un valor; además se puede generar paquetes de análisis prepagado o de pago posterior, de acuerdo al modelo de negocio que se desee implementar. Our procedure has the advantage for the user that instead of purchasing hardware directly, users pay for the use of a service on demand. For example, for each image analyzed, they pay a value; In addition, prepaid or post-paid analysis packages can be generated, according to the business model that you want to implement.

Además al implementar nuestro procedimiento se puede escalar la infraestructura de hardware en función de las necesidades de almacenamiento y procesamiento. Sin que el usuario deba pagar por ello. Por ejemplo, si una empresa tiene 20 unidades de producción acuícola, bajo los procedimientos actuales tendría que adquirir 20 contenedores cerrados. En cambio, bajo el procedimiento aquí propuesto, únicamente debe adquirir una licencia de uso y pagar por cada análisis, sin necesidad de adquirir equipamiento extra, utilizando cualquier teléfono móvil. In addition, by implementing our procedure, the hardware infrastructure can be scaled according to the storage and processing needs. Without the user having to pay for it. For example, if a company has 20 aquaculture production units, under current procedures it would have to purchase 20 closed containers. On the other hand, under the procedure proposed here, you only have to acquire a user license and pay for each analysis, without the need to purchase extra equipment, using any mobile phone.

De acuerdo a nuestra invención el usuario sólo requiere tener un dsipositivo móvil conectado a internet para obtener la estimación de las variables morfofisiológicas en organismos acuáticos. El procesamiento de las imágenes que se propone, es realizado por completo en un servidor que tiene tarjetas GPU , TPU o cualquier otro procesador de alto desempeño para acelerar la inferencia, este servidor debe estar alojado en cloud, fog o edge. According to our invention, the user only needs to have a mobile device connected to the Internet to obtain the estimation of the morphophysiological variables in aquatic organisms. The proposed image processing is done entirely on a server that has GPU cards, TPU or any other high-performance processor to speed up inference, this server must be hosted in the cloud, fog or edge.

Las variables morfofisiológicas que se pueden estimar utilizando el procedimiento son: conteo de individuos, estimación de peso individual, clasificación por peso, estimación de uniformidad, y otras relacionadas con el estado de salud. A partir de la estimación de estas variables, se puede calcular y estimar otras variables de interés para la acuicultura. Además con estas variables y las resultantes del cálculo, se puede realizar análisis estadísticos, series temporales, gráficos, histogramas, curvas, además de otras aplicaciones de la inteligencia de negocios y visualización interactiva. The morphophysiological variables that can be estimated using the procedure are: count of individuals, estimation of individual weight, classification by weight, estimation of uniformity, and others related to the state of health. From the estimation of these variables, it is possible to calculate and estimate other variables of interest for aquaculture. In addition, with these variables and the results of the calculation, you can perform statistical analysis, time series, graphs, histograms, curves, as well as other business intelligence applications and interactive visualization.

Los organismos pueden incluir organismos acuáticos de interés productivo, tanto de agua dulce como salada, tales como peces, crustáceos, moluscos, algas, plancton. Cada organismo puede ser analizado utilizando el mismo procedimiento aquí propuesto. The organisms may include aquatic organisms of productive interest, both freshwater and saltwater, such as fish, crustaceans, molluscs, algae, plankton. Each organism can be analyzed using the same procedure proposed here.

Nuestro procedimiento no requiere mantener ninguna muestra en un medio líquido, por lo que se puede utilizar sobre cualquier superficie plana de color claro opaco, o transparente cuando la muestra sea retroiluminada. Our procedure does not require any sample to be kept in a liquid medium, so it can be used on any flat, light-colored, opaque surface, or transparent when the sample is backlit.

En nuestro procedimiento la fotografía se toma directamente desde el teléfono celular, tablet, o dispositivo con conexión a internet. Se puede usar luz ambiental o retroiluminación , pero en ningún momento con la muestra cubierta, sino al aire libre. Para la captura de la imagen se puede utilizar la herramienta de captura de un chatbot o de una aplicación. No existe restricción respecto a la distancia de captura de la fotografía, siempre y cuando la muestra ocupe al menos las tres cuartas partes de la imagen. El backend puede estar en un proveedor de infraestructura como servicio o en hardware propio. In our procedure, the photograph is taken directly from the cell phone, tablet, or device with an internet connection. Ambient light or backlighting can be used, but at no time with the sample covered, but outdoors. To capture the image, you can use the capture tool of a chatbot or an application. There is no restriction regarding the capture distance of the photograph, as long as the sample occupies at least three quarters of the image. The backend can be on an infrastructure-as-a-service provider or on proprietary hardware.

En principio, cualquier técnica de segmentación semántica a nivel de píxeles con un proceso de entrenamiento adecuado, logra resultados por encima del 95% de eficiencia, por lo que el servidor de inferencia referido en nuestro procedimiento, puede utilizar cualquier modelo de deep learning cuyo enfoque sea la segmentación de instancias o la segmentación semántica a nivel de píxeles, por ejemplo Mask Región based Convolutional Neural NetWork (Mask-RCNN), Fully Convolutional NetWork (FCN), U-Net, DeepLab, ICNet. In principle, any pixel-level semantic segmentation technique with an adequate training process achieves results above 95% efficiency, so the inference server referred to in our procedure can use any deep learning model whose approach either instance segmentation or pixel-level semantic segmentation, for example Mask Region based Convolutional Neural NetWork (Mask-RCNN), Fully Convolutional NetWork (FCN), U-Net, DeepLab, ICNet.

Para la estimación del peso individual de los animales se utiliza la siguiente ecuación: 1000 x w x pi To estimate the individual weight of the animals, the following equation is used: 1000xwxpi

Wi = V Wi = V

Donde w¿ es el peso individual del organismo segmentado individualmente, wes el peso total de la muestra en seco, p¿ es el número de píxeles atribuidos al organismo segmentado individualmente, y pes el número total de píxeles atribuidos a esa clase semántica. Where w¿ is the individual weight of the individually segmented organism, wes the total weight of the dry sample, p¿ is the number of pixels attributed to the individually segmented organism, and pes the total number of pixels attributed to that semantic class.

Una vez que se ha estimado el peso individual, se puede calcular medidas estadísticas de tendencia y de dispersión, como media, mediana, moda, varianza, desviación estándar, coeficiente de variación, uniformidad, histograma de frecuencia tanto para peso como para longitud, tablas que indiquen el porcentaje de individuos según el peso, etc. Once the individual weight has been estimated, statistical measures of trend and dispersion can be calculated, such as mean, median, mode, variance, standard deviation, coefficient of variation, uniformity, frequency histogram for both weight and length, tables that indicate the percentage of individuals according to weight, etc.

De la fotografía se puede extraer los metadatos EXIF, con la finalidad de registrar la hora y la ubicación en la cual fue capturada la fotografía. Esta información permite a las empresas llevar un control geolocalizado y referenciado en el tiempo respecto de las muestras que han capturado sus usuarios. EXIF metadata can be extracted from the photograph, in order to record the time and location in which the photograph was captured. This information allows companies to keep a geolocated control and referenced in time with respect to the samples that their users have captured.

Éstos cálculos se envían de regreso al frontend para que el usuario pueda revisar y realizar la toma de decisiones, la información puede ser accedida directamente desde el celular, o desde el dashboard web. Además para cada muestra se puede generar un documento pdf que contenga toda la información de la muestra analizada. These calculations are sent back to the frontend so that the user can review and make decisions, the information can be accessed directly from the cell phone, or from the web dashboard. In addition, for each sample, a pdf document can be generated that contains all the information of the analyzed sample.

Descripción detallada de los dibujos Detailed description of the drawings

Figura 1. Configuración de equipos para la toma de la fotografía de la muestra, usando una superficie lisa de color claro. Figure 1. Configuration of equipment for taking the sample photograph, using a smooth, light-colored surface.

Figura 2. Configuración de equipos para la toma de la fotografía de la muestra, usando una caja petri de vidrio o acríMco y retroiluminación con lámpara de 12 a 16W. Figure 2. Configuration of equipment for taking the sample photograph, using a glass or acrylic petri dish and backlighting with a 12 to 16W lamp.

Figura 3. Flujograma del procedimiento usando un chatbot o una aplicación móvil. Figure 3. Flowchart of the procedure using a chatbot or a mobile application.

Figura 4. Estimación individual de tamaño y peso en organismos acuáticos. Figura 5. Ejemplo de histograma de frecuencia de pesos presente en el dashboard web. Figure 4. Individual estimation of size and weight in aquatic organisms. Figure 5. Example of weight frequency histogram present in the web dashboard.

Figura 6. Analítica de datos en Dashboard web. Figure 6. Data analytics in web Dashboard.

Claims

1.- A procedure to estimate morphophysiological variables of interest in aquaculture organisms, where the procedure INCLUDES the prior preparation of the sample to be estimated and the combination of software and hardware so that the user can connect from any cell phone, tablet or personal device with internet access and avoid the need to place the sample in a closed container or rely on fixed equipment. (Figure 1)

2. A method according to claim 1, characterized in that in the case of organisms whose size is minimum in its longest axis, a backlit photograph is made with a lamp. (Figure 2)

3. A procedure according to claim 1, characterized in that it begins with the selection of a random sample obtained from the pond in which the organism is found, subsequently carrying out a dry weighing of the sample and obtaining an image with a mobile device, without need to place the sample in a closed container. The image obtained with the mobile phone along with the metadata is sent to a computing server, which can be in the cloud, in the fog, or on the edge. To send the image, you can use either a chatbot or a cell phone, tablet or personal device with internet access. (Figure 3)

4. A method according to claim 3, characterized in that the image is stored on the server and the metadata together with the path of the image is stored in a non-relational database. The database also contains the information of the user who sends the image to verify if he has a positive balance to proceed with the processing of the image. (Figure 3)

5. A procedure according to claim 4, characterized in that the image is preprocessed and subsequently sent to an inference microservice based on GPU, TPU or any other high-performance processor, which returns an individual matrix for each organism in the image. Measurements in pixels are obtained from each detection matrix, which are used to obtain variables such as individual weight and height, with which the uniformity and distribution of weights and sizes can also be calculated, and the characteristics of healthy and sick organisms can be analyzed to present to the user displays indicators that empower decision making. (Figure 4)

6. A method according to claim 5, characterized in that the variables obtained and calculated including uniformity and distribution of weights and sizes, as well as the characteristics of diseased organisms and the rate of disease per sample, are stored in the database and returned to the user using the same method by which he requested the service, however it is available in all the means that access the database. (Figure 5)

7. A method according to claim 6, characterized in that all stored data is maintained and accessible exclusively to the user who generated it or the company to which it belongs. For this, you can use a web dashboard or a spreadsheet in the cloud which is generated automatically. (Figure 6)