EP3762872A1 - Convolutional neural network for estimating a solar energy production indicator - Google Patents
Convolutional neural network for estimating a solar energy production indicatorInfo
- Publication number
- EP3762872A1 EP3762872A1 EP19703758.3A EP19703758A EP3762872A1 EP 3762872 A1 EP3762872 A1 EP 3762872A1 EP 19703758 A EP19703758 A EP 19703758A EP 3762872 A1 EP3762872 A1 EP 3762872A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- neural network
- images
- convolutional neural
- image
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
Definitions
- the present invention relates to the field of short-term estimation or forecasting of the production of electrical energy by photovoltaic cells.
- the invention relates to the estimation of current and / or future solar radiation exploitable for the production of energy and more particularly to the estimation of radiation parameters and / or the prediction of their evolution by analysis of images of cloud cover (cloudiness, which affects the exploitable radiation).
- An improved estimate of PV production represents an advantage for the generator and the grid operator to ensure a balance between consumption and production, which guarantees the safety and stability of the electrical system.
- these estimates or forecasts make it possible to optimize the operation of mixed systems combining photovoltaic production and storage systems (batteries) or other means of production (for example, the anticipation or the detection of a fall in production makes it possible to implement en route adapted batteries).
- the estimation of the solar radiation flux is generally carried out by a device comprising a pyranometer type sensor. Such a sensor is relatively expensive and is not adapted to the forecast.
- the estimation at a time t0 can be performed from a single acquired image.
- Estimation at a future time (forecast) of irradiation parameters may require the acquisition of a plurality of images.
- this plurality of images is pretreated to calculate characteristic parameters of the evolution of cloudiness.
- the data thus obtained are then processed to obtain the targeted parameters.
- the treatment may in particular be carried out by a neural network.
- the captured image (or images), which is distorted must be corrected beforehand (transformation to move to an orthonormal two-dimensional coordinate system).
- Such a correction requires a prior calibration of the image acquisition device using a test pattern, which calibration is preferably performed on the operating site of the sensor.
- a first aspect of the invention relates to a method for estimating at least one energy production indicator of a solar energy production system, comprising:
- processing of the image obtained by at least one convolutional neural network comprising at least two layers for respectively the application of a convolution filter to the image received and the estimation of an energy production indicator.
- the treatment by a convolutional network advantageously makes it possible to dispense with a prior calibration step of the image acquisition device or of the image transformation obtained by the device.
- the image obtained can be acquired by the wide-field image acquisition device at a time t and the energy production indicator can be estimated at the instant t corresponding to the instant of acquisition of the image obtained.
- the method according to this embodiment thus allows the real-time estimation of the energy production indicator.
- a series of images can be obtained from the wide-field image acquisition device, the images of the series can be processed sequentially by a recurrent convolutional neural network and the production indicator. of energy can be predicted for a time t subsequent to the acquisition of the series of images.
- the method according to this embodiment thus allows the estimation (or prediction) of future energy production indicators, which can advantageously make it possible to optimize the distribution of electrical energy in a network for example.
- the convolutional neural network may be a recurrent convolutional neural network
- the images of the series may be processed by a first treatment by the recurrent convolutional neural network in order to obtain a context vector
- the context vector being subjected to a second treatment by a network of non-neurons convolutional recursive to obtain the indicator of energy production.
- the application of the convolutional filter can be implemented in the recurrent convolutional neural network and the estimation of the energy production indicator can be implemented in the recurrent non-convolutional neuron network.
- Such an embodiment allows a precise estimate of the evolution of the indicator of solar energy production.
- the recurrent convolutional neural network may be Long Short Term Memory, LSTM.
- the recurrent convolutional neural network is also called an encoder network in an encoder / decoder type architecture.
- the recurrent non-convolutional neuron network may be of the Long Short Term Memory, LSTM type.
- the recurrent non-convolutional neural network is also called a decoder network in an encoder / decoder type architecture.
- the image obtained from the wide-field image acquisition device can be obtained by:
- the prediction of the future image can be performed upstream of the estimation device, which can thus be used both on directly acquired images or on predicted images.
- the image obtained from the wide-field image acquisition device can be obtained by:
- the prediction of the future image can be carried out upstream of the estimation device, which can thus be used both on directly acquired images or on predicted images.
- the treatment with the convolutional neural network comprises at least:
- the first layer makes it possible to duplicate the image as many times as there are characteristic plans, or "feature maps", and the second layer makes it possible to reduce the size of these plans.
- the treatment with the convolutional neural network can comprise several pairs of first and second successive layers.
- the layer for estimating the energy production indicator may include neuron processing followed by the application of a linear activation function.
- At least one energy production indicator may include one of, or a combination of:
- a second aspect of the invention relates to a computer program comprising a series of instructions which, when executed by a processor, implement the steps of a method according to the first aspect of the invention.
- a third aspect of the invention relates to a device for estimating at least one indicator of energy production of a solar energy production system, comprising:
- a processor configured for processing said image acquired by at least one convolutional neural network comprising at least two layers for respectively applying a convolution filter to said received image and estimating a production indicator; 'energy
- a fourth aspect of the invention relates to a system comprising a wide-field image acquisition device capable of communicating with an estimation device according to the third aspect of the invention.
- FIG. 1 shows a system according to one embodiment of the invention
- FIG. 2 shows a convolution layer applied to an image according to one embodiment of the invention
- FIG. 3 illustrates the different layers of a convolutional neural network according to one embodiment of the invention
- FIG. 4 illustrates the operation of a neuron of a neural network according to one embodiment of the invention
- FIG. 5 is a diagram illustrating the steps of an estimation method according to one embodiment of the invention.
- FIG. 6 schematically illustrates the principle of a recurrent network
- FIG. 7 illustrates a set of neural networks for the prediction of a solar energy production indicator according to one embodiment of the invention
- FIG. 8 illustrates the structure of an estimation device according to one embodiment of the invention.
- FIG. 1 illustrates a system for estimating at least one indicator of energy production of a solar energy production system according to one embodiment of the invention.
- the estimation system may preferentially be located near the solar energy production system.
- the solar power generation system is not shown in Figure 1.
- the system includes a wide field image acquisition device 100, such as a fisheye camera for example.
- Each image captured by the acquisition device 100 can be transmitted to an estimation device 102 according to the invention, or, according to other embodiments, to an optional prediction device 101, itself connected to the device of the invention. estimate 102.
- the estimation device 102 receives an image or images directly from the acquisition device 100 or from the prediction device, the received image or images are considered as obtained from the acquisition device 100.
- the estimation device 102 is configured to implement a method according to the invention, as described in more detail in the following.
- the invention is based on the use of a wide-field image acquisition device in combination with an estimation device integrating a convolutional type deep neural network, also called CNN for "convolutional neural network”. .
- the acquisition device 100 can be fixed or mobile and can acquire images at a given frequency, or on a one-off trigger. For example, the acquisition device 100 can acquire images every ten seconds. No restrictions are attached to the frame rate.
- a CNN type network may comprise a first processing layer, or convolution layer, which makes it possible to process the image obtained from the acquisition device 100 or the prediction device 101.
- the convolution layer can process the resulting image in groups of pixels.
- the CNN type network may comprise a plurality of (convolution) processing layers, and further includes a layer for extracting an estimate of at least one solar energy output indicator, such as an estimate of solar radiation.
- the indicator can be: a parameter representative of the electrical output from the power generation device such as a solar panel placed on the ground near the estimation system;
- the solar radiation by means of a radiation sensor, such as a SunTracker (of the Solys2 TM type, for example), or a pyranometer (of the SPN1 type for example).
- a radiation sensor such as a SunTracker (of the Solys2 TM type, for example), or a pyranometer (of the SPN1 type for example).
- the use of a CNN type network eliminates the need for a calibration of the acquisition device and the need to transform the digital image obtained from the acquisition device.
- FIG. 2 illustrates the principle of convolution and presents the result of the application of a convolutional filter 201 to an image 200 comprising pixels 203.
- the convolutional filter 201 is of size 3 * 3 and is therefore applied to each 3 * 3 pixel matrix of the image 200 to calculate a resulting pixel 204 of the resulting image 202.
- Multiple convolution filters can be applied to an image to duplicate the image into several feature maps or feature maps.
- FIG. 3 illustrates the different substeps corresponding to a step of applying a convolutional neuron network to an image.
- a convolutional network LeNet-5 generally used in the recognition of digit images (from 0 to 9, from which the ten neurons in the last layer), is illustrated in order to present the general principle of a convolutional neural network.
- Such digit images here have an input size of 32 * 32 pixels (black and white images).
- 5 * 5 pixel convolution filters are applied in order to obtain a series of characteristic planes, for example 6 feature plans, of size 28 * 28 pixels after the first convolution layer 301.
- the convolutional neural network can be constructed by learning from the processing of a set of images and by comparison with the data obtained by the radiation sensor or by the pyranometer, during an undescribed prior step. further below.
- a subsampling substep, or subsampling layer, referred to as “sub-sampling” or “max pooling”, may be applied to feature plans 301 to reduce the size of the image.
- the size of feature planes 301 is divided by 2 in order to obtain subsampled plans 302 of 14 * 14 pixels.
- Nonlinear activation functions can be introduced between the layers, for example after each convolution layer.
- An example of a non-linear function can be a function of the type "REctified Linear Unit" RELU.
- the sequence of several pairs of convolution and subsampling layers makes it possible to capture shapes with different levels of granularity, invariant by translation.
- a fully connected layer is a layer where each neuron is connected to all the neurons of the previous layer.
- a convolution layer does not belong to this type of layer
- Figure 3 shows a fully connected first layer to obtain 120 values, then a fully connected second layer to obtain 84 values and finally a fully connected third layer to obtain 10 values which are the ten outputs of the neural network.
- convolutional and which indicate, in the example considered, the recognition or not of a given figure).
- the fully connected layers make it possible to connect the captured forms to the information that is to be predicted with the convolutional neural network.
- a convolutional neural network In a convolutional neural network, a succession of several convolutional layers, followed by nonlinear activation functions, gradually builds an increasingly abstract representation of the input data. For example, if the convolutional neural network takes as input a car image, the first layer of convolution can detect lines or outlines. Then these elements are combined with each other by the following layers and a layer will detect the more abstract wheel concept, and the last layer will identify the concept of car.
- the principle of a convolutional neural network illustrated in FIG. 3 can advantageously be used in the context of estimating an energy production indicator.
- the last "fully connected" layer returns a single value and is an estimation layer of a power generation indicator.
- the use of a convolutional neural network makes it possible to overcome prerequisites such as camera calibration and pretreatments such as the definition of the indicators, the segmentation of the images, compared to the existing processes that do not use no convolutional neural network.
- Figure 4 illustrates a neuron of a processing layer of a neural network.
- a neural network is generally composed of a succession of layers each of which inputs the outputs of the previous layer.
- Each layer i is composed of N, neurons, taking their inputs on the N M neurons of the previous layer i-1.
- a neuron calculates a weighted sum of its inputs and then applies a nonlinear activation function, such as a sigmoid function or a hyperbolic tangent, to obtain an output value.
- the weights of the weights are parameters that are optimized during the learning phase.
- the illustrated neuron applies weights 402.1 - 402. n to the respective input values 401.1 - 401.n.
- the weighted values are then subjected to a combination function 403.
- a nonlinear activation function 405 is then applied based on a threshold value 404 to obtain the output value 406 of the neuron.
- the principle of a convolutional-type neural network is to apply transformations to an image by taking into account its two-dimensional structure by means of convolution filters.
- a convolutional filter of size 3 * 3 pixels applied to an image smooths the image by transforming each pixel by a linear combination of the values of its neighbors.
- the same filter is applied to the entire image, moving on the image from left to right and from top to bottom, for example, to calculate the output values.
- the choice of the architecture of the convolutional neural network can be made:
- High-performance neural network architectures can include millions of parameters to be trained, can include up to 150 layers (for the ResNet network for example) and can be trained for several weeks on graphic processing units, or " Graphics Processing Unit »GPU. Such pre-trained networks can thus be used to estimate an indicator of solar energy production.
- the present invention can provide for the use of a ResNet-type network whose parameters are driven on a learning basis (images obtained by a wide-field image device in association with measurements). an indicator of energy production, especially irradiation.
- This network can include up to 152 layers and more than 60 million parameters to be optimized.
- the invention has been implemented on a network of ResNet type. of 51 layers and comprising more than 23 million parameters.
- FIG. 5 is a diagram illustrating the steps of a method of estimating at least one indicator of solar energy production according to several embodiments of the invention.
- Steps 500 to 502 for learning the recurrent neural network are prior to steps 503 through 505.
- a series of images is acquired. Such a series of images can be acquired by a single image acquisition device or by several.
- measurements of the solar energy production indicator to be evaluated (or indicators) are carried out at a step 501. Each measurement corresponds temporally to the acquisition of one of the images of step 500.
- the parameters of the convolutional neural network are determined by learning from the data acquired in steps 500 and 501, and to determine one or more indicators of solar energy production.
- the convolutional neural network can be manually defined or can take advantage of an already existing architecture.
- the convolutional neural network whose parameters have been determined can be used to determine the solar energy output indicator.
- the estimation device 102 receives an image obtained from the wide-field image acquisition device.
- the image obtained is processed by the convolutional neural network resulting from steps 500 to 502, in order to obtain at step 505 the indicator of energy production.
- Steps 503 to 505 cover several embodiments of the invention, depending on whether the power generation indicator is an instantaneous (present) value or a predicted value for a future instant.
- the image obtained is acquired by the wide-field image acquisition device 100 at a time t and the image is processed by the convolutional neural network to estimate the production indicator.
- energy at time t corresponding to the moment of acquisition of the image obtained.
- the method estimates the indicator corresponding to a single image. The indicator is therefore representative of the solar radiation at the moment of acquisition of this image.
- a series of images is obtained from the wide-field image acquisition device 100, the images of the series being processed sequentially by a recurrent convolutional neural network.
- the energy production indicator can be predicted for a time t (strictly) subsequent to the acquisition of the series of images.
- the invention proposes the use of a convolutional neural network of recurrent type for processing a series of images.
- recurrent networks are a specialization for sequential data processing.
- a recurrent network does not take as input examples independent of each other, but series or sequences of examples, a sequence of examples being for example numbered from 1 to T (x1 , x2, ... xT).
- Figure 6 schematically illustrates the principle of a recurrent network.
- the network comprises an input layer with a vector x describing each example and cycles are introduced into the connections between the neurons s.
- the output of the network is noted o.
- the looping W making the recurrent network is detailed on the right part of FIG.
- Examples of a sequence x ti , x t , x t + i are presented one by one in the order of their numbering, the values s of the neurons then constituting a current state of the neural network.
- the output o t of the network for the neuron s t does not depend only on the input vector x t , but also on the state of the network at time t-1, and therefore of the one at all the previous instants.
- a variant of the so-called “simple” recurrent networks as described with reference to FIG. 6 is the LSTM network for "Long Short Term Memory”.
- An LSTM block or cell is composed of a state, an entry gate, an exit gate, and an oblivion gate.
- the state vector at time t represents the current state of the sequence of examples by knowing the past states, hence the name "memory”.
- the evolution of this memory is governed by the three doors, represented by weights to learn.
- LSTM networks were initially developed to address the "vanishing gradients" of "simple” recursive networks when applied to long sequences.
- the processing of a series of images according to the invention may involve the architecture represented with reference to FIG. 7.
- Such an architecture may be called encoder / decoder (or, in the literature, "sequence to sequence” used in particular in translation of text applications from one language to another).
- the architecture presents a first convolutional convolutional neural network 700 of the LSTM type which takes as input a series of images 704 acquired at different times, and processes each of them by a convolutional network (CNN in FIG. 7).
- Information from CNN convolutional neural networks is entered into a LSTM-type recurrent network.
- the state vector of the LSTM network, or context vector, referenced 701 is the representation of what the first recurrent convolutional network 700 has learned from the series of images (for example a vector describing how which clouds move).
- the first recurrent (convolutional) network 700 can thus be called a recurrent encoder network.
- the context vector 701 is used at the input of a second recurrent non-convolutional network 702 called the decoder recursive network.
- the recurrent decoder network 702 uses the context vector 701 to estimate the solar energy production indicators at future time steps to + H, t 0 + 2H and t 0 + 3H for example, t 0 being the instant of acquisition of the 704 series of images.
- Such a method thus consists in calculating the optical flow between successive images (for example, estimation of the displacement of the clouds) and propagation of this motion to predict a future image at t 0 + H, t 0 corresponding to the acquisition of the series of images. images.
- the estimation device 102 then applies the method presented above to the future image to obtain the estimate of the solar energy production indicator.
- a fourth embodiment aiming, as for the second mode and for the third mode, to estimate a future value of the indicator, the following steps are implemented:
- this fourth embodiment instead of calculating the optical flow to predict one or more future images, it is possible to use neural networks that directly predict the future image (s). This is the same neural network architecture as the one presented above, except that outputs are future images (not the indicator or indicators). The device 102 then processes the future images as described above.
- FIG. 8 illustrates the structure of the estimation device 102 according to one embodiment of the invention.
- the estimation device 102 comprises a random access memory 803 and a processor 802 for storing instructions enabling the implementation of the steps 503 to 505 of the method described above.
- the device also optionally includes a database 804 for storing data to be retained after the application of the method.
- the database 804 may further store the neural network (s), recurrent and non-recurrent, as well as their respective parameters.
- the estimation device 102 furthermore comprises an input interface 801 intended to receive the images coming from the prediction device 101 or from the wide-field image acquisition device 100, and an output interface 805 capable of providing data output the indicator of solar energy production.
- the method according to the invention has been implemented in a Resnet-type network with parameters pre-trained on the ImageNet database, the last layers of which have been modified to perform the estimation of the solar radiation.
- the network used takes as input a 224 * 224 * 3 color image (the images from the camera are centered and resized to that size). Indeed, three channels are used to represent the color image: red, green and blue.
- a first block called ResnetConv includes a Resnet network and the set of convolution layers. The last layers of the Resnet network used to perform a classification between 1000 classes of objects, they have been removed according to the invention in order to add layers instead of making the regression of the radiation, namely:
- a so-called "drop out” layer which is a regularization which consists in putting the input neurons at 0 with a probability of 0.5;
- the validation database consists of the images of the year 2016 on the same site.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Photovoltaic Devices (AREA)
Abstract
Description
Réseau de neurones convolutionnel pour l’estimation d’un indicateur de production d’énergie solaire Convolutional neural network for the estimation of an indicator of solar energy production
La présente invention concerne le domaine de l’estimation ou de la prévision à court-terme de la production d’énergie électrique par des cellules photovoltaïques. The present invention relates to the field of short-term estimation or forecasting of the production of electrical energy by photovoltaic cells.
En particulier, l’invention concerne l’estimation du rayonnement solaire actuel et/ou futur exploitable pour la production d’énergie et plus particulièrement de l’estimation de paramètres de rayonnement et/ou la prévision de leur évolution par analyse d’images de la couverture nuageuse (nébulosité, qui influe sur le rayonnement exploitable). In particular, the invention relates to the estimation of current and / or future solar radiation exploitable for the production of energy and more particularly to the estimation of radiation parameters and / or the prediction of their evolution by analysis of images of cloud cover (cloudiness, which affects the exploitable radiation).
En raison de la part grandissante de la production photovoltaïque, se pose la question de l’intégration à grande échelle de cette source d’énergie intermittente dans les réseaux électriques existants. Due to the growing share of PV production, there is the question of large-scale integration of this intermittent power source into existing power grids.
Une estimation améliorée de la production photovoltaïque représente un avantage pour le producteur et pour le gestionnaire du réseau afin d’assurer l’équilibre entre consommation et production, ce qui garantit la sécurité et la stabilité du système électrique. An improved estimate of PV production represents an advantage for the generator and the grid operator to ensure a balance between consumption and production, which guarantees the safety and stability of the electrical system.
En particulier, ces estimations ou prévisions permettent d’optimiser le fonctionnement de systèmes mixtes combinant production photovoltaïque et systèmes de stockage (batteries) ou autre moyens de production (par exemple, l’anticipation ou la détection d’une chute de production permet une mise en route adaptée de batteries). In particular, these estimates or forecasts make it possible to optimize the operation of mixed systems combining photovoltaic production and storage systems (batteries) or other means of production (for example, the anticipation or the detection of a fall in production makes it possible to implement en route adapted batteries).
L’estimation du flux de rayonnement solaire est généralement réalisée par un dispositif comportant un capteur de type pyranomètre. Un tel capteur est relativement coûteux et n’est de plus pas adapté à la prévision. The estimation of the solar radiation flux is generally carried out by a device comprising a pyranometer type sensor. Such a sensor is relatively expensive and is not adapted to the forecast.
Il peut alors être remplacé par une caméra avec une optique à champ large, aussi appelée « fisheye » qui permet un panoramique hémisphérique (à 360°). It can then be replaced by a camera with a wide-field optics, also called "fisheye" which allows a hemispherical (360 °) panoramic.
L’estimation à un instant tO peut être réalisée à partir d’une seule image acquise. The estimation at a time t0 can be performed from a single acquired image.
L’estimation à un instant futur (prévision) de paramètres d’irradiation peut requérir l’acquisition d’une pluralité d’images. Dans les méthodes connues de l’art antérieur, cette pluralité d’images est prétraitée pour calculer des paramètres caractéristiques de l’évolution de la nébulosité. Les données ainsi obtenues sont ensuite traitées pour obtenir les paramètres ciblés. Le traitement peut notamment être effectué par un réseau de neurones. Estimation at a future time (forecast) of irradiation parameters may require the acquisition of a plurality of images. In the known methods of the prior art, this plurality of images is pretreated to calculate characteristic parameters of the evolution of cloudiness. The data thus obtained are then processed to obtain the targeted parameters. The treatment may in particular be carried out by a neural network.
Pour être exploitable par ces méthodes, l’image capturée (ou les images), qui est déformée (image hémisphérique projetée sur un plan bidimensionnel correspondant au plan du capteur) doit être préalablement corrigée (transformation pour passer à un repère bidimensionnel orthonormé). Une telle correction nécessite une calibration préalable du dispositif d’acquisition d’images à l’aide d’une mire, calibration qui est préférentiellement réalisée sur le site d’exploitation du capteur. To be exploitable by these methods, the captured image (or images), which is distorted (hemispherical image projected on a two-dimensional plane corresponding to the plane of the sensor) must be corrected beforehand (transformation to move to an orthonormal two-dimensional coordinate system). Such a correction requires a prior calibration of the image acquisition device using a test pattern, which calibration is preferably performed on the operating site of the sensor.
C’est par exemple le cas de la solution proposée par le document « Surface solar irradiance estimation with low-cost fish-eye caméra », Charlotte Gauchet et Al, workshop « Remote Sensing Measurements for Renewable Energy », May 2012, Risoe, Denmark. Cette publication présente différentes étapes nécessaires pour établir la relation entre les images capturées et les paramètres d’irradiation : This is for example the case of the solution proposed by the document "Surface solar irradiance estimation with low-cost fish-eye camera", Charlotte Gauchet and Al, workshop "Remote Sensing Measurements for Renewable Energy", May 2012, Risoe, Denmark . This publication presents various steps necessary to establish the relationship between captured images and irradiation parameters:
- Calibration géométrique et radiométrique d’une caméra fisheye ; - Geometric and radiometric calibration of a fisheye camera;
- Segmentation des pixels des images en cinq classes : ciel clair, nuages sombres, nuages lumineux, centre du soleil, région périsolaire dite circumsolaire ; - Segmentation of the pixels of the images into five classes: clear sky, dark clouds, luminous clouds, center of the sun, circumsolar perisolar region;
- Détermination de modèles de régression pour l’estimation du rayonnement solaire global, direct et diffus à partir de la segmentation des images hémisphériques du ciel. - Determination of regression models for the estimation of global solar radiation, direct and diffuse from the segmentation of hemispheric images of the sky.
Dans le document“Sun-Tracking imaging System for intra-hour DNI forecasts", Chu Li, Coimbra, Renewable Energy, 2016, il est proposé d’utiliser des images Fisheye et un MLP“Multi-Layer Perception”. Toutefois, les données d’entrée sont des indicateurs extraits des images, et il y a donc un prétraitement des images et une phase de définition d’indicateurs par un expert. La présente invention vient améliorer la situation. In the document "Sun-Tracking Imaging System for intra-hour DNI forecasts", Chu Li, Coimbra, Renewable Energy, 2016, it is proposed to use Fisheye images and a MLP "Multi-Layer Perception". are indicators extracted from the images, and there is therefore a pretreatment of images and a phase of definition of indicators by an expert. The present invention improves the situation.
Un premier aspect de l’invention concerne un procédé d’estimation d’au moins un indicateur de production d’énergie d’un système de production d’énergie solaire, comprenant : A first aspect of the invention relates to a method for estimating at least one energy production indicator of a solar energy production system, comprising:
- réception d’au moins une image obtenue à partir d’un dispositif d’acquisition d’images à champ large, receiving at least one image obtained from a wide-field image acquisition device,
- traitement de l’image obtenue par au moins un réseau de neurones convolutionnel comprenant au moins deux couches pour respectivement l’application d’un filtre de convolution à l’image reçue et l’estimation d’un indicateur de production d’énergie. processing of the image obtained by at least one convolutional neural network comprising at least two layers for respectively the application of a convolution filter to the image received and the estimation of an energy production indicator.
Le traitement par un réseau convolutionnel permet avantageusement de s’affranchir d’une étape préalable de calibration du dispositif d’acquisition d’images ou de transformation de l’image obtenue par le dispositif. The treatment by a convolutional network advantageously makes it possible to dispense with a prior calibration step of the image acquisition device or of the image transformation obtained by the device.
Selon un mode de réalisation, l’image obtenue peut être acquise par le dispositif d’acquisition d’images à champ large à un instant t et l’indicateur de production d’énergie peut être estimé à l’instant t correspondant à l’instant d’acquisition de l’image obtenue. According to one embodiment, the image obtained can be acquired by the wide-field image acquisition device at a time t and the energy production indicator can be estimated at the instant t corresponding to the instant of acquisition of the image obtained.
Le procédé selon ce mode de réalisation permet ainsi l’estimation en temps réel de l’indicateur de production d’énergie. The method according to this embodiment thus allows the real-time estimation of the energy production indicator.
Selon un mode de réalisation, une série d’images peut être obtenue à partir du dispositif d’acquisition d’images à champ large, les images de la série peuvent être traitées séquentiellement par un réseau de neurones convolutionnel récurrent et l’indicateur de production d’énergie peut être prédit pour un instant t ultérieur à l’acquisition de la série d’images. According to one embodiment, a series of images can be obtained from the wide-field image acquisition device, the images of the series can be processed sequentially by a recurrent convolutional neural network and the production indicator. of energy can be predicted for a time t subsequent to the acquisition of the series of images.
Le procédé selon ce mode de réalisation permet ainsi l’estimation (ou prédiction) d’indicateurs futurs de production d’énergie, ce qui peut permettre avantageusement d’optimiser la répartition de l’énergie électrique dans un réseau par exemple. The method according to this embodiment thus allows the estimation (or prediction) of future energy production indicators, which can advantageously make it possible to optimize the distribution of electrical energy in a network for example.
En complément, le réseau de neurones convolutionnel peut être un réseau de neurones convolutionnel récurrent, les images de la série peuvent être traitées par un premier traitement par le réseau de neurones convolutionnel récurrent afin d’obtenir un vecteur de contexte, le vecteur de contexte étant soumis à un deuxième traitement par un réseau de neurones non- convolutionnel récurent pour obtenir l’indicateur de production d’énergie. L’application du filtre de convolution peut être mise en œuvre dans le réseau de neurones convolutionnel récurent et l’estimation de l’indicateur de production d’énergie peut être mise en œuvre dans le réseau de neurones non- convolutionnel récurent. In addition, the convolutional neural network may be a recurrent convolutional neural network, the images of the series may be processed by a first treatment by the recurrent convolutional neural network in order to obtain a context vector, the context vector being subjected to a second treatment by a network of non-neurons convolutional recursive to obtain the indicator of energy production. The application of the convolutional filter can be implemented in the recurrent convolutional neural network and the estimation of the energy production indicator can be implemented in the recurrent non-convolutional neuron network.
Un tel mode de réalisation permet une estimation précise de l’évolution de l’indicateur de production d’énergie solaire. Such an embodiment allows a precise estimate of the evolution of the indicator of solar energy production.
En complément ou en variante, le réseau de neurones convolutionnel récurrent peut être de type Long Short Term Memory, LSTM. In addition or alternatively, the recurrent convolutional neural network may be Long Short Term Memory, LSTM.
Le réseau de neurones convolutionnel récurrent est aussi appelé réseau encodeur dans une architecture de type encodeur/décodeur. The recurrent convolutional neural network is also called an encoder network in an encoder / decoder type architecture.
En complément ou en variante, le réseau de neurones non- convolutionnel récurent peut être de type Long Short Term Memory, LSTM. In addition or alternatively, the recurrent non-convolutional neuron network may be of the Long Short Term Memory, LSTM type.
Le réseau de neurones non-convolutionnel récurrent est aussi appelé réseau décodeur dans une architecture de type encodeur/décodeur. The recurrent non-convolutional neural network is also called a decoder network in an encoder / decoder type architecture.
Selon un mode de réalisation, l’image obtenue à partir du dispositif d’acquisition d’images à champ large peut être obtenue par : According to one embodiment, the image obtained from the wide-field image acquisition device can be obtained by:
- acquisition d’une série d’images par le capteur d’image à champ large ; et - acquisition of a series of images by the wide field image sensor; and
- application d’un algorithme de flot optique à la série d’images acquise afin de prédire ladite image obtenue, l’image obtenue correspondant à un instant t ultérieur à la série d’images acquise. applying an optical flow algorithm to the series of images acquired in order to predict said image obtained, the image obtained corresponding to an instant t subsequent to the series of images acquired.
Ainsi, la prédiction de l’image future peut être réalisée en amont du dispositif d’estimation, qui peut ainsi être à la fois utilisé sur des images directement acquises ou sur des images prédites. Thus, the prediction of the future image can be performed upstream of the estimation device, which can thus be used both on directly acquired images or on predicted images.
Selon un mode de réalisation, l’image obtenue à partir du dispositif d’acquisition d’images à champ large peut être obtenue par : According to one embodiment, the image obtained from the wide-field image acquisition device can be obtained by:
- acquisition d’une série d’images par le dispositif d’acquisition d’images à champ large ; et acquisition of a series of images by the wide-field image acquisition device; and
- traitement de la série d’images par un autre réseau de neurones convolutionnel pour prédire ladite image obtenue, l’image obtenue correspondant à un instant t ultérieur à la série d’images acquise. - Processing the series of images by another convolutional neural network to predict said image obtained, the resulting image corresponding to an instant t subsequent to the acquired series of images.
Ainsi, la prédiction de l’image future peut être réalisée en amont du dispositif d’estimation, qui peut ainsi être à la fois utilisé sur des images directement acquises ou sur des images prédites. Thus, the prediction of the future image can be carried out upstream of the estimation device, which can thus be used both on directly acquired images or on predicted images.
Selon un mode de réalisation, le traitement par le réseau de neurones convolutionnel comprend au moins : According to one embodiment, the treatment with the convolutional neural network comprises at least:
- une première couche pour l’application de filtres de convolution ; et a first layer for the application of convolution filters; and
- une deuxième couche de sous-échantillonnage en sortie de la première couche. a second subsampling layer at the output of the first layer.
La première couche permet de dupliquer l’image autant de fois qu’il y a de plans caractéristiques, ou « feature maps », et la deuxième couche permet de réduire la taille de ces plans. The first layer makes it possible to duplicate the image as many times as there are characteristic plans, or "feature maps", and the second layer makes it possible to reduce the size of these plans.
En complément, le traitement par le réseau de neurones convolutionnel peut comprendre plusieurs paires de première et deuxième couches successives. In addition, the treatment with the convolutional neural network can comprise several pairs of first and second successive layers.
Le fait d’avoir plusieurs paires permet de capturer des formes à différents niveaux de granularité. Having multiple pairs allows you to capture shapes at different levels of granularity.
En complément ou en variante, la couche pour l’estimation de l’indicateur de production d’énergie peut comprendre le traitement par un neurone suivi de l’application d’une fonction d’activation linéaire. In addition or alternatively, the layer for estimating the energy production indicator may include neuron processing followed by the application of a linear activation function.
Selon un mode de réalisation, au moins un indicateur de production d’énergie peut comprendre l’un parmi, ou une combinaison parmi : According to one embodiment, at least one energy production indicator may include one of, or a combination of:
- un paramètre d’irradiation horizontale globale ; a global horizontal irradiation parameter;
- un paramètre d’irradiation horizontale diffuse ; ou a diffuse horizontal irradiation parameter; or
- un paramètre d’irradiation normale directe. a direct normal irradiation parameter.
Ces paramètres sont représentatifs de la production d’énergie solaire et sont à ce titre pertinents à prendre en compte. These parameters are representative of the production of solar energy and are therefore relevant to take into account.
Un deuxième aspect de l’invention concerne un programme d'ordinateur comprenant une série d'instructions qui, lorsqu'elles sont exécutées par un processeur, mettent en œuvre les étapes d’un procédé selon le premier aspect de l’invention. A second aspect of the invention relates to a computer program comprising a series of instructions which, when executed by a processor, implement the steps of a method according to the first aspect of the invention.
Un troisième aspect de l’invention concerne un dispositif d’estimation d’au moins un indicateur de production d’énergie d’un système de production d’énergie solaire, comprenant : A third aspect of the invention relates to a device for estimating at least one indicator of energy production of a solar energy production system, comprising:
- une interface de réception d’au moins une image obtenue à partir d’un dispositif d’acquisition d’images à champ large, an interface for receiving at least one image obtained from a wide-field image acquisition device,
- un processeur configuré pour le traitement de ladite image acquise par au moins un réseau de neurones convolutionnel comprenant au moins deux couches pour respectivement l’application d’un filtre de convolution à ladite image reçue et l’estimation d’un indicateur de production d’énergie a processor configured for processing said image acquired by at least one convolutional neural network comprising at least two layers for respectively applying a convolution filter to said received image and estimating a production indicator; 'energy
Un quatrième aspect de l’invention concerne un système comprenant un dispositif d’acquisition d’images à champ large apte à communiquer avec un dispositif d’estimation selon le troisième aspect de l’invention. A fourth aspect of the invention relates to a system comprising a wide-field image acquisition device capable of communicating with an estimation device according to the third aspect of the invention.
D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés sur lesquels: Other features and advantages of the invention will appear on examining the detailed description below, and the attached drawings in which:
- la figure 1 présente un système selon un mode de réalisation de l’invention; - Figure 1 shows a system according to one embodiment of the invention;
- la figure 2 présente une couche de convolution appliquée à une image selon un mode de réalisation de l’invention ; FIG. 2 shows a convolution layer applied to an image according to one embodiment of the invention;
- la figure 3 illustre les différentes couches d’un réseau de neurones convolutionnel selon un mode de réalisation de l’invention ; FIG. 3 illustrates the different layers of a convolutional neural network according to one embodiment of the invention;
- la figure 4 illustre le fonctionnement d’un neurone d’un réseau de neurones selon un mode de réalisation de l’invention ; FIG. 4 illustrates the operation of a neuron of a neural network according to one embodiment of the invention;
- la figure 5 est un diagramme illustrant les étapes d’un procédé d’estimation selon un mode de réalisation de l’invention ; FIG. 5 is a diagram illustrating the steps of an estimation method according to one embodiment of the invention;
- la figure 6 illustre schématiquement le principe d’un réseau récurrent ; FIG. 6 schematically illustrates the principle of a recurrent network;
- la figure 7 illustre un ensemble de réseaux de neurones pour la prédiction d’un indicateur de production d’énergie solaire selon un mode de réalisation de l’invention ; FIG. 7 illustrates a set of neural networks for the prediction of a solar energy production indicator according to one embodiment of the invention;
- la figure 8 illustre la structure d’un dispositif d’estimation selon un mode de réalisation de l’invention. FIG. 8 illustrates the structure of an estimation device according to one embodiment of the invention.
La figure 1 illustre un système d’estimation d’au moins un indicateur de production d’énergie d’un système de production d’énergie solaire selon un mode de réalisation de l’invention. Le système d’estimation peut être préférentiellement situé à proximité du système de production d’énergie solaire. Le système de production d’énergie solaire n’est pas représenté sur la figure 1 . FIG. 1 illustrates a system for estimating at least one indicator of energy production of a solar energy production system according to one embodiment of the invention. The estimation system may preferentially be located near the solar energy production system. The solar power generation system is not shown in Figure 1.
Le système comprend un dispositif d’acquisition d’images à champ large 100, tel qu’une caméra fisheye par exemple. The system includes a wide field image acquisition device 100, such as a fisheye camera for example.
Chaque image capturée par le dispositif d’acquisition 100 peut être transmise à un dispositif d’estimation 102 selon l’invention, ou, selon d’autres modes de réalisation, à un dispositif de prédiction optionnel 101 , lui-même relié au dispositif d’estimation 102. Each image captured by the acquisition device 100 can be transmitted to an estimation device 102 according to the invention, or, according to other embodiments, to an optional prediction device 101, itself connected to the device of the invention. estimate 102.
Que le dispositif d’estimation 102 reçoive une ou des images directement depuis le dispositif d’acquisition 100 ou depuis le dispositif de prédiction, la ou les images reçues sont considérées comme obtenues à partir du dispositif d’acquisition 100. Whether the estimation device 102 receives an image or images directly from the acquisition device 100 or from the prediction device, the received image or images are considered as obtained from the acquisition device 100.
Le dispositif d’estimation 102 est configuré pour mettre en œuvre un procédé selon l’invention, tel que décrit plus en détails dans ce qui suit. The estimation device 102 is configured to implement a method according to the invention, as described in more detail in the following.
L’invention repose sur l’utilisation d’un dispositif d’acquisition d’images à champ large en combinaison avec un dispositif d’estimation intégrant un réseau de neurones profond de type convolutionnel, aussi appelé CNN pour « convolutional neural network » en anglais. The invention is based on the use of a wide-field image acquisition device in combination with an estimation device integrating a convolutional type deep neural network, also called CNN for "convolutional neural network". .
Le dispositif d’acquisition 100 peut être fixe ou mobile et peut acquérir des images à une fréquence donnée, ou sur déclenchement ponctuel. Par exemple, le dispositif d’acquisition 100 peut acquérir des images toutes les dix secondes. Aucune restriction n’est attachée à la fréquence d’acquisition des images. The acquisition device 100 can be fixed or mobile and can acquire images at a given frequency, or on a one-off trigger. For example, the acquisition device 100 can acquire images every ten seconds. No restrictions are attached to the frame rate.
Un réseau de type CNN peut comporter une première couche de traitement, ou couche de convolution, qui permet de traiter l’image obtenue du dispositif d’acquisition 100 ou du dispositif de prédiction 101 . La couche de convolution peut traiter l’image obtenue, par groupe de pixels. A CNN type network may comprise a first processing layer, or convolution layer, which makes it possible to process the image obtained from the acquisition device 100 or the prediction device 101. The convolution layer can process the resulting image in groups of pixels.
Le réseau de type CNN peut comprendre plusieurs couches de traitement (de convolution), et comprend en outre une couche chargée d’extraire une estimation d’au moins un indicateur de production d’énergie solaire, tel qu’une estimation de rayonnement solaire. The CNN type network may comprise a plurality of (convolution) processing layers, and further includes a layer for extracting an estimate of at least one solar energy output indicator, such as an estimate of solar radiation.
L’indicateur peut être : - un paramètre représentatif de la production électrique issue du dispositif de production d’énergie tel qu’un panneau solaire placé au sol à proximité du système d’estimation ; The indicator can be: a parameter representative of the electrical output from the power generation device such as a solar panel placed on the ground near the estimation system;
- un paramètre représentatif de l’irradiation solaire en Watt/m2, qui peut se décomposer en trois composantes : a representative parameter of the solar irradiation in Watt / m 2 , which can be broken down into three components:
o l’irradiation globale horizontale ou GHI pour « Global Horizontal Irradiance » ; o global horizontal irradiation or GHI for Global Horizontal Irradiance;
o l’irradiation diffuse horizontale ou DHI pour « Diffuse Horizontal Irrandiance » ; o horizontal diffuse irradiation or HID for "Diffuse Horizontal Irrandiance";
o l’irradiance directe normale ou DNI pour « Direct Normal Irradiance » ; o normal direct irradiance or DNI for "Direct Normal Irradiance";
- un paramètre relatif au toute autre variable météorologique déductible à partir d’images, telle que la couverture nuageuse, la météo, etc. - a parameter relating to any other weather variable deductible from images, such as cloud cover, weather, etc.
En parallèle, afin d’évaluer la précision du dispositif d’estimation et afin de réaliser la phase d’apprentissage du réseau de neurones convolutionnel, il peut être prévu de mesurer en parallèle, au même pas de temps (à la même fréquence qu’une fréquence d’acquisition des images), le rayonnement solaire au moyen d’un capteur de rayonnement, tel qu’un SunTracker (de type Solys2™ par exemple), ou un pyranomètre (de type SPN1 par exemple). In parallel, in order to evaluate the accuracy of the estimation device and in order to achieve the learning phase of the convolutional neural network, it can be expected to measure in parallel, at the same time step (at the same frequency as an image acquisition frequency), the solar radiation by means of a radiation sensor, such as a SunTracker (of the Solys2 ™ type, for example), or a pyranometer (of the SPN1 type for example).
L’utilisation d’un réseau de type CNN permet de s’affranchir de la nécessité d’avoir une calibration du dispositif d’acquisition ainsi que de la nécessité de transformer l’image numérique obtenue depuis le dispositif d’acquisition. The use of a CNN type network eliminates the need for a calibration of the acquisition device and the need to transform the digital image obtained from the acquisition device.
La figure 2 illustre le principe de la convolution et présente le résultat de l’application d’un filtre de convolution 201 à une image 200 comprenant des pixels 203. FIG. 2 illustrates the principle of convolution and presents the result of the application of a convolutional filter 201 to an image 200 comprising pixels 203.
L’image 200 représentée a une taille de 8*8=64 pixels et peut être l’image obtenue à partir du dispositif d’acquisition 100. The image 200 shown has a size of 8 * 8 = 64 pixels and can be the image obtained from the acquisition device 100.
Le filtre de convolution 201 est de taille 3*3 et est donc appliqué à chaque matrice de 3*3 pixels de l’image 200 pour calculer un pixel résultant 204 de l’image résultante 202. Plusieurs filtres de convolution peuvent être appliqués à une image afin de dupliquer l’image en plusieurs plans de caractéristiques ou « feature maps ». The convolutional filter 201 is of size 3 * 3 and is therefore applied to each 3 * 3 pixel matrix of the image 200 to calculate a resulting pixel 204 of the resulting image 202. Multiple convolution filters can be applied to an image to duplicate the image into several feature maps or feature maps.
La figure 3 illustre les différentes sous-étapes correspondant à une étape d’application d’un réseau de neurone convolutionnel à une image. FIG. 3 illustrates the different substeps corresponding to a step of applying a convolutional neuron network to an image.
En particulier, un réseau de type convolutionnel LeNet-5 généralement utilisé dans la reconnaissance d’images de chiffres (de 0 à 9, d’où les dix neurones dans la dernière couche), est illustré afin de présenter le principe général d’un réseau de neurones convolutionnel. In particular, a convolutional network LeNet-5 generally used in the recognition of digit images (from 0 to 9, from which the ten neurons in the last layer), is illustrated in order to present the general principle of a convolutional neural network.
De telles images de chiffres ont ici une taille d’entrée de 32*32 pixels (images en noir et blanc). Such digit images here have an input size of 32 * 32 pixels (black and white images).
Des filtres de convolutions de taille 5*5 pixels sont appliqués afin d’obtenir une série de plan caractéristiques, par exemple 6 plans de caractéristiques, de taille 28*28 pixels après la première couche de convolution 301 . 5 * 5 pixel convolution filters are applied in order to obtain a series of characteristic planes, for example 6 feature plans, of size 28 * 28 pixels after the first convolution layer 301.
Ainsi, dans un tel exemple, il y a 6*28*28 neurones dans la première couche de convolution et 6*5*5 poids à apprendre. A cet effet, le réseau de neurones convolutionnel peut être construit par apprentissage à partir de traitement d’un ensemble d’images et par comparaison avec les données obtenues par le capteur de rayonnement ou par le pyranomètre, lors d’une étape préalable non décrite davantage ci-après. Thus, in such an example, there are 6 * 28 * 28 neurons in the first convolutional layer and 6 * 5 * 5 weights to learn. For this purpose, the convolutional neural network can be constructed by learning from the processing of a set of images and by comparison with the data obtained by the radiation sensor or by the pyranometer, during an undescribed prior step. further below.
Une sous-étape de sous-échantillonnage, ou couche de sous- échantillonnage, appelée « sub-sampling » ou « max pooling », peut être appliquée aux plans de caractéristiques 301 afin de réduire la dimension de l’image. Dans l’exemple de la figure 3, la taille de plans de caractéristiques 301 est divisée par 2 afin d’obtenir des plans sous-échantillonnés 302 de 14*14 pixels. A subsampling substep, or subsampling layer, referred to as "sub-sampling" or "max pooling", may be applied to feature plans 301 to reduce the size of the image. In the example of FIG. 3, the size of feature planes 301 is divided by 2 in order to obtain subsampled plans 302 of 14 * 14 pixels.
Chaque pixel d’un plan sous-échantillonné 302 peut être calculé comme la somme ou le maximum (ou n’importe quelle fonction) des 2*2=4 pixels correspondants dans le plan de caractéristique 301 dont il est issu, la somme ou le maximum étant multiplié par un poids déterminé lors de la phase d’apprentissage. Des fonctions d’activation non-linéaires peuvent être introduites entre les couches, par exemple après chaque couche de convolution. Un exemple de fonction non-linéaire peut être une fonction de type « REctified Linear Unit » RELU. Each pixel of a subsampled plane 302 can be calculated as the sum or the maximum (or any function) of the corresponding 2 * 2 = 4 pixels in the feature plane 301 from which it is derived, the sum or the maximum being multiplied by a determined weight during the learning phase. Nonlinear activation functions can be introduced between the layers, for example after each convolution layer. An example of a non-linear function can be a function of the type "REctified Linear Unit" RELU.
Plusieurs paires de couches de convolution et de sous- échantillonnage peuvent être utilisées, comme illustré sur la Figure 3, dans lequel une couche additionnelle de convolution est appliquée aux plans sous- échantillonnés 302 afin d’obtenir 16 plans de caractéristiques de taille 10*10 pixels, qui sont eux-mêmes sous-échantillonnés pour obtenir 16 plans sous- échantillonnés de taille 5*5 pixels. Several pairs of convolution and subsampling layers may be used, as illustrated in Figure 3, in which an additional convolution layer is applied to the subsampled planes 302 to obtain 16 feature plans of size 10 * 10. pixels, which are themselves subsampled to obtain 16 subsampled planes of size 5 * 5 pixels.
L’enchaînement de plusieurs paires de couches de convolution et de sous-échantillonnage permet de capturer des formes à différents niveaux de granularité, invariantes par translation. The sequence of several pairs of convolution and subsampling layers makes it possible to capture shapes with different levels of granularity, invariant by translation.
Après la ou les paires de couches de convolution et de sous- échantillonnage, des couches dites « entièrement connectées », utilisées dans les réseaux de neurones, peuvent être ajoutées. Une couche entièrement connectée est une couche dont chaque neurone est connecté à tous les neurones de la couche précédente. Une couche de convolution n’appartient donc pas à ce type de couche After the convolution and subsampling layer pair (s), so-called "fully connected" layers used in the neural networks can be added. A fully connected layer is a layer where each neuron is connected to all the neurons of the previous layer. A convolution layer does not belong to this type of layer
La figure 3 présente une première couche entièrement connectée permettant d’obtenir 120 valeurs, puis une deuxième couche entièrement connectée permettant d’obtenir 84 valeurs et enfin une troisième couche entièrement connectée permettant d’obtenir 10 valeurs qui sont les dix sorties du réseau de neurones convolutionnel (et qui indiquent, dans l’exemple considéré, la reconnaissance ou non d’un chiffre donné). Les couches entièrement connectées permettent de relier les formes capturées aux informations que l’on cherche à prédire avec le réseau de neurones convolutionnel. Figure 3 shows a fully connected first layer to obtain 120 values, then a fully connected second layer to obtain 84 values and finally a fully connected third layer to obtain 10 values which are the ten outputs of the neural network. convolutional (and which indicate, in the example considered, the recognition or not of a given figure). The fully connected layers make it possible to connect the captured forms to the information that is to be predicted with the convolutional neural network.
Dans un réseau de neurones convolutionnel, une succession de plusieurs couches de convolution, suivies de fonctions d’activation non- linéaires, permet de construire progressivement une représentation de plus en plus abstraite des données d’entrée. A titre d’exemple, si le réseau de neurones convolutionnel prend en entrée une image de voiture, la première couche de convolution peut permettre de détecter des lignes ou des contours. Puis ces éléments sont combinés entre eux par les couches suivantes et une couche va détecter le concept plus abstrait de roue, et la dernière couche permet d’identifier le concept de voiture. In a convolutional neural network, a succession of several convolutional layers, followed by nonlinear activation functions, gradually builds an increasingly abstract representation of the input data. For example, if the convolutional neural network takes as input a car image, the first layer of convolution can detect lines or outlines. Then these elements are combined with each other by the following layers and a layer will detect the more abstract wheel concept, and the last layer will identify the concept of car.
Le principe d’un réseau de neurones convolutionnel illustré sur la figure 3 peut être avantageusement utilisé dans le contexte de l’estimation d’un indicateur de production d’énergie. Dans ce cas, la dernière couche « entièrement connectée » retourne une unique valeur et est une couche d’estimation d’un indicateur de production d’énergie. The principle of a convolutional neural network illustrated in FIG. 3 can advantageously be used in the context of estimating an energy production indicator. In this case, the last "fully connected" layer returns a single value and is an estimation layer of a power generation indicator.
Préalablement à la phase d’apprentissage statistique, des images sont acquises et les mesures de rayonnements correspondantes acquises par le capteur de rayonnement ou le pyranomètre, sont stockées en parallèle. Prior to the statistical learning phase, images are acquired and the corresponding radiation measurements acquired by the radiation sensor or the pyranometer are stored in parallel.
Comme décrit précédemment, l’utilisation d’un réseau de neurones convolutionnel permet de s’affranchir de prérequis tel que la calibration de la caméra et de prétraitements tels que la définition des indicateurs, la segmentation des images, comparativement aux procédés existants n’utilisant pas de réseau de neurones de type convolutionnel. As described above, the use of a convolutional neural network makes it possible to overcome prerequisites such as camera calibration and pretreatments such as the definition of the indicators, the segmentation of the images, compared to the existing processes that do not use no convolutional neural network.
La Figure 4 illustre un neurone d’une couche de traitement d’un réseau de neurones. Figure 4 illustrates a neuron of a processing layer of a neural network.
Un réseau de neurones est en général composé d’une succession de couches dont chacune prend en entrées les sorties de la couche précédente. A neural network is generally composed of a succession of layers each of which inputs the outputs of the previous layer.
Chaque couche i est composée de N, neurones, prenant leurs entrées sur les NM neurones de la couche précédentes i-1. Un neurone calcule une somme pondérée de ses entrées puis applique une fonction d’activation non linéaire, telle qu’une fonction sigmoïde ou une tangente hyperbolique, afin d’obtenir une valeur de sortie. Les poids des pondérations constituent des paramètres qui sont optimisés lors de la phase d’apprentissage. Each layer i is composed of N, neurons, taking their inputs on the N M neurons of the previous layer i-1. A neuron calculates a weighted sum of its inputs and then applies a nonlinear activation function, such as a sigmoid function or a hyperbolic tangent, to obtain an output value. The weights of the weights are parameters that are optimized during the learning phase.
Sur la figure 4, le neurone illustré applique des pondérations 402.1 - 402. n aux valeurs d’entrée respectives 401.1 - 401.n. Les valeurs pondérées sont ensuite soumises à une fonction de combinaison 403. In FIG. 4, the illustrated neuron applies weights 402.1 - 402. n to the respective input values 401.1 - 401.n. The weighted values are then subjected to a combination function 403.
Une fonction d’activation non-linéaire 405 est ensuite appliquée en fonction d’une valeur seuil 404 pour obtenir la valeur de sortie 406 du neurone. Le principe d’un réseau de neurones de type convolutionnel est d’appliquer des transformations à une image en prenant en compte sa structure bidimensionnelle au moyen de filtres de convolution. A nonlinear activation function 405 is then applied based on a threshold value 404 to obtain the output value 406 of the neuron. The principle of a convolutional-type neural network is to apply transformations to an image by taking into account its two-dimensional structure by means of convolution filters.
Par exemple, un filtre de convolution de taille 3*3 pixels appliqué à une image réalise un lissage de l’image en transformant chaque pixel par une combinaison linéaire des valeurs de ses voisins. Un même filtre est appliqué à toute l’image, en se déplaçant sur l’image de gauche à droite et de haut en bas par exemple, pour calculer les valeurs de sortie. For example, a convolutional filter of size 3 * 3 pixels applied to an image smooths the image by transforming each pixel by a linear combination of the values of its neighbors. The same filter is applied to the entire image, moving on the image from left to right and from top to bottom, for example, to calculate the output values.
Selon l’invention, le choix de l’architecture du réseau de neurones convolutionnel peut être fait : According to the invention, the choice of the architecture of the convolutional neural network can be made:
- manuellement : il est déterminé un nombre de couches de convolutions, un nombre de filtres par couche, les fonctions d’activation, les méthodes de régularisation et de normalisation. Aucune restriction n’est attachée à l’architecture déterminée qui dépend du cahier des charges fixés et du degré de précision souhaité ; - manually: it is determined a number of convolution layers, a number of filters per layer, the activation functions, the regularization and normalization methods. No restriction is attached to the determined architecture which depends on the set specifications and the desired degree of precision;
- par utilisation d’une architecture déjà existante, en la transposant à l’estimation d’un indicateur de production d’énergie (apprentissage de transfert, ou « transfer learning »). Des architectures de réseaux de neurones performants sont connus, peuvent comprendre des millions de paramètres à entraîner, peuvent comprendre jusqu’à 150 couches (pour le réseau ResNet par exemple) et peuvent être entraînés durant plusieurs semaines sur des unités de traitement graphique, ou « Graphics Processing Unit » GPU. De tels réseaux pré-entraînés peuvent ainsi être mis à profit afin d’estimer un indicateur de production d’énergie solaire. - by using an already existing architecture, by transposing it to the estimation of an indicator of energy production (transfer learning, or "transfer learning"). High-performance neural network architectures are known, can include millions of parameters to be trained, can include up to 150 layers (for the ResNet network for example) and can be trained for several weeks on graphic processing units, or " Graphics Processing Unit »GPU. Such pre-trained networks can thus be used to estimate an indicator of solar energy production.
Selon un mode de réalisation, la présente invention peut prévoir l’utilisation d’un réseau de type ResNet dont les paramètres sont entraînés sur une base d’apprentissage (des images obtenues par un dispositif d’images à champ large en association avec des mesures d’un indicateur de production d’énergie, notamment d’irradiation. Un tel réseau peut comprendre jusqu’à 152 couches et plus de 60 millions de paramètres à optimiser. Par exemple, l’invention a été implémentée sur un réseau de type ResNet de 51 couches et comprenant plus de 23 millions de paramètres. La figure 5 est un diagramme illustrant les étapes d’un procédé d’estimation d’au moins un indicateur de production d’énergie solaire selon plusieurs modes de réalisation de l’invention. According to one embodiment, the present invention can provide for the use of a ResNet-type network whose parameters are driven on a learning basis (images obtained by a wide-field image device in association with measurements). an indicator of energy production, especially irradiation.This network can include up to 152 layers and more than 60 million parameters to be optimized.For example, the invention has been implemented on a network of ResNet type. of 51 layers and comprising more than 23 million parameters. FIG. 5 is a diagram illustrating the steps of a method of estimating at least one indicator of solar energy production according to several embodiments of the invention.
Les étapes 500 à 502 permettant l’apprentissage du réseau de neurones récurrent sont préalables aux étapes 503 à 505. Steps 500 to 502 for learning the recurrent neural network are prior to steps 503 through 505.
A une étape 500, une série d’images est acquise. Une telle série d’images peuvent être acquises par un unique dispositif d’acquisition d’images ou par plusieurs. En parallèle de l’acquisition des images, des mesures de l’indicateur de production d’énergie solaire à évaluer (ou des indicateurs) sont effectuées à une étape 501. Chaque mesure correspond temporellement à l’acquisition de l’une des images de l’étape 500. At a step 500, a series of images is acquired. Such a series of images can be acquired by a single image acquisition device or by several. In parallel with the acquisition of the images, measurements of the solar energy production indicator to be evaluated (or indicators) are carried out at a step 501. Each measurement corresponds temporally to the acquisition of one of the images of step 500.
A une étape 502, les paramètres du réseau de neurones convolutionnel sont déterminés par apprentissage à partir des données acquises aux étapes 500 et 501 , et afin de déterminer un ou plusieurs indicateurs de production d’énergie solaire. Comme décrit précédemment, le réseau de neurones convolutionnel peut être défini manuellement ou peut tirer parti d’une architecture déjà existante. At a step 502, the parameters of the convolutional neural network are determined by learning from the data acquired in steps 500 and 501, and to determine one or more indicators of solar energy production. As previously described, the convolutional neural network can be manually defined or can take advantage of an already existing architecture.
Une fois la phase d’apprentissage achevée, le réseau de neurones convolutionnel dont les paramètres ont été déterminés peut être utilisé pour déterminer l’indicateur de production d’énergie solaire. Once the learning phase is complete, the convolutional neural network whose parameters have been determined can be used to determine the solar energy output indicator.
A cet effet, à une étape 503, le dispositif d’estimation 102 reçoit une image obtenue à partir du dispositif d’acquisition d’images à champ large. For this purpose, in a step 503, the estimation device 102 receives an image obtained from the wide-field image acquisition device.
A une étape 504, l’image obtenue est traitée par le réseau de neurones convolutionnel issu des étapes 500 à 502, afin d’obtenir à une étape 505 l’indicateur de production d’énergie. At a step 504, the image obtained is processed by the convolutional neural network resulting from steps 500 to 502, in order to obtain at step 505 the indicator of energy production.
Les étapes 503 à 505 recouvrent plusieurs modes de réalisation de l’invention, selon que l’indicateur de production d’énergie soit une valeur instantanée (présente) ou une valeur prédite pour un instant futur. Steps 503 to 505 cover several embodiments of the invention, depending on whether the power generation indicator is an instantaneous (present) value or a predicted value for a future instant.
Selon un premier mode de réalisation, l’image obtenue est acquise par le dispositif d’acquisition d’images à champ large 100 à un instant t et l’image est traitée par le réseau de neurones convolutionnel pour estimer l’indicateur de production d’énergie à l’instant t, correspondant à l’instant d’acquisition de l’image obtenu. Ainsi, dans ce premier mode de réalisation, le procédé estime l’indicateur correspondant à une unique image. L’indicateur est donc représentatif du rayonnement solaire à l’instant d’acquisition de cette image. According to a first embodiment, the image obtained is acquired by the wide-field image acquisition device 100 at a time t and the image is processed by the convolutional neural network to estimate the production indicator. energy at time t, corresponding to the moment of acquisition of the image obtained. Thus, in this first embodiment, the method estimates the indicator corresponding to a single image. The indicator is therefore representative of the solar radiation at the moment of acquisition of this image.
Selon un deuxième mode de réalisation, une série d’images est obtenue à partir du dispositif d’acquisition d’images à champ large 100, les images de la série étant traitées séquentiellement par un réseau de neurones convolutionnel récurrent. Dans ce cas, l’indicateur de production d’énergie peut être prédit pour un instant t (strictement) ultérieur à l’acquisition de la série d’images. According to a second embodiment, a series of images is obtained from the wide-field image acquisition device 100, the images of the series being processed sequentially by a recurrent convolutional neural network. In this case, the energy production indicator can be predicted for a time t (strictly) subsequent to the acquisition of the series of images.
L’utilisation d’une série d’images, acquises à différents instants, permet de prendre en compte l’aspect temporel de l’évolution du rayonnement (par exemple du déplacement de la couche nuageuse). The use of a series of images, acquired at different times, makes it possible to take into account the temporal aspect of the evolution of the radiation (for example the displacement of the cloud layer).
L’invention propose l’utilisation d’un réseau de neurones convolutionnel de type récurrent pour traiter une série d’images. The invention proposes the use of a convolutional neural network of recurrent type for processing a series of images.
De même que les réseaux convolutionnels sont conçus comme une spécialisation dans le traitement des images, les réseaux récurrents sont une spécialisation pour le traitement de données séquentielles. Just as convolutional networks are designed as a specialization in image processing, recurrent networks are a specialization for sequential data processing.
Le principe d’un réseau récurrent est de permettre de garder en mémoire l’ordre dans lequel les exemples (les images dans le cadre de la présente invention) sont présentés en entrée du réseau lors de la phase d’apprentissage, notamment lors de l’étape 502 discutée ci-avant. Ainsi, lors de la phase d’apprentissage, un réseau récurrent ne prend pas en entrée des exemples indépendants les uns des autres, mais des séries ou séquences d’exemples, une séquence d’exemples étant par exemple numérotée de 1 à T (x1 , x2, ... xT). The principle of a recurrent network is to make it possible to keep in memory the order in which the examples (the images in the context of the present invention) are presented at the input of the network during the learning phase, in particular during the training. step 502 discussed above. Thus, during the learning phase, a recurrent network does not take as input examples independent of each other, but series or sequences of examples, a sequence of examples being for example numbered from 1 to T (x1 , x2, ... xT).
La figure 6 illustre schématiquement le principe d’un réseau récurrent. Figure 6 schematically illustrates the principle of a recurrent network.
Le réseau comprend une couche d’entrée avec un vecteur x décrivant chaque exemple et des cycles sont introduits dans les connexions entre les neurones s. La sortie du réseau est notée o. The network comprises an input layer with a vector x describing each example and cycles are introduced into the connections between the neurons s. The output of the network is noted o.
Le bouclage W rendant le réseau récurrent est détaillé sur la partie droite de la figure 6. The looping W making the recurrent network is detailed on the right part of FIG.
Les exemples d’une séquence xt-i, xt, xt+i, sont présentés un par un dans l’ordre de leur numérotation, les valeurs s des neurones constituant alors un état courant du réseau de neurones. Ainsi, la sortie ot du réseau pour le neurone st ne dépend pas seulement du vecteur d’entrée xt, mais aussi de l’état du réseau à l’instant t-1 , donc de celui à tous les instants précédents. Examples of a sequence x ti , x t , x t + i , are presented one by one in the order of their numbering, the values s of the neurons then constituting a current state of the neural network. Thus, the output o t of the network for the neuron s t does not depend only on the input vector x t , but also on the state of the network at time t-1, and therefore of the one at all the previous instants.
Une variante des réseaux récurrents dits « simples » comme décrits en référence à la figure 6, est le réseau LSTM pour « Long Short Term Memory ». A variant of the so-called "simple" recurrent networks as described with reference to FIG. 6 is the LSTM network for "Long Short Term Memory".
Un bloc ou cellule LSTM est composé d’un état, d’une porte d’entrée, d’une porte de sortie et d’une porte d’oubli. Le vecteur d’état à l’instant t représente l’état courant de la séquence d’exemples en sachant les états passés, d’où le nom de « mémoire ». L’évolution de cette mémoire est régie par les trois portes, représentées par des poids à apprendre. Les réseaux LSTM ont initialement été développés afin de régler les problèmes d’apprentissage (« vanishing gradients ») des réseaux récurrents « simples » lorsqu’ils sont appliqués à des séquences longues. An LSTM block or cell is composed of a state, an entry gate, an exit gate, and an oblivion gate. The state vector at time t represents the current state of the sequence of examples by knowing the past states, hence the name "memory". The evolution of this memory is governed by the three doors, represented by weights to learn. LSTM networks were initially developed to address the "vanishing gradients" of "simple" recursive networks when applied to long sequences.
Le traitement d’une série d’images selon l’invention peut impliquer l’architecture représentée en référence à la figure 7. The processing of a series of images according to the invention may involve the architecture represented with reference to FIG. 7.
Une telle architecture peut être appelée encodeur/décodeur (ou, dans la littérature, « sequence to sequence » utilisée notamment dans des applications de traduction de texte d’une langue à une autre). Such an architecture may be called encoder / decoder (or, in the literature, "sequence to sequence" used in particular in translation of text applications from one language to another).
L’architecture présente un premier réseau de neurones convolutionnel récurrent 700 de type LSTM qui prend en entrée une série d’images 704 acquises à des instants différents, et traite chacune d’entre elles par un réseau convolutionnel (CNN sur la figure 7). Les informations issues des réseaux de neurones convolutionnels CNN sont entrées dans un réseau récurrent de type LSTM. En fin de séquence LSTM, le vecteur d’état du réseau LSTM, ou vecteur contexte, référencé 701 , est la représentation de ce que le premier réseau convolutionnel récurrent 700 a appris de la série d’images (par exemple un vecteur décrivant la manière dont se déplacent les nuages). The architecture presents a first convolutional convolutional neural network 700 of the LSTM type which takes as input a series of images 704 acquired at different times, and processes each of them by a convolutional network (CNN in FIG. 7). Information from CNN convolutional neural networks is entered into a LSTM-type recurrent network. At the end of the LSTM sequence, the state vector of the LSTM network, or context vector, referenced 701, is the representation of what the first recurrent convolutional network 700 has learned from the series of images (for example a vector describing how which clouds move).
Le principe général du fonctionnement d’un réseau LSTM est connu et ne sera pas décrit davantage dans la présente demande. The general principle of operation of an LSTM network is known and will not be further described in the present application.
Le premier réseau récurrent (convolutionnel) 700 peut ainsi être appelé réseau récurrent encodeur. Le vecteur de contexte 701 est utilisé en entrée d’un deuxième réseau récurrent, non convolutionnel, 702, appelé réseau récurrent décodeur. Le réseau récurrent décodeur 702 utilise le vecteur de contexte 701 pour estimer les indicateurs de production d’énergie solaire aux pas de temps futurs to+H, t0+2H et t0+3H par exemple, t0 étant l’instant d’acquisition de la série d’images 704. The first recurrent (convolutional) network 700 can thus be called a recurrent encoder network. The context vector 701 is used at the input of a second recurrent non-convolutional network 702 called the decoder recursive network. The recurrent decoder network 702 uses the context vector 701 to estimate the solar energy production indicators at future time steps to + H, t 0 + 2H and t 0 + 3H for example, t 0 being the instant of acquisition of the 704 series of images.
Selon un troisième mode de réalisation visant, comme pour le deuxième mode, à estimer une valeur future de l’indicateur, les étapes suivantes sont mises en œuvres : According to a third embodiment aiming, as for the second mode, to estimate a future value of the indicator, the following steps are implemented:
- acquisition d’une série d’images par le capteur d’image à champ large 200 ; et acquisition of a series of images by the wide-field image sensor 200; and
- application d’un algorithme de flot optique à la série d’images acquise, par le dispositif de prédiction 101 illustré en référence à la figure 1 , pour déterminer une image future correspondant à un instant tO ultérieur à l’acquisition de la série d’images. L’image future est ensuite transmise au dispositif d’estimation 102 pour estimation de l’indicateur de production d’énergie solaire à l’instant t0. applying an optical flow algorithm to the series of images acquired, by the prediction device 101 illustrated with reference to FIG. 1, to determine a future image corresponding to a time t 0 subsequent to the acquisition of the series of images. images. The future image is then transmitted to the estimation device 102 for estimating the solar energy production indicator at time t 0 .
Une telle méthode consiste ainsi à calculer le flot optique entre images successives (par exemple, estimation du déplacement des nuages) et propagation de ce mouvement pour prédire une image future à t0+H, t0 correspondant à l’acquisition de la série d’images. Le dispositif d’estimation 102 applique ensuite le procédé présenté ci-avant à l’image future pour obtenir l’estimation de l’indicateur de production d’énergie solaire. Such a method thus consists in calculating the optical flow between successive images (for example, estimation of the displacement of the clouds) and propagation of this motion to predict a future image at t 0 + H, t 0 corresponding to the acquisition of the series of images. images. The estimation device 102 then applies the method presented above to the future image to obtain the estimate of the solar energy production indicator.
Selon un quatrième mode de réalisation visant, comme pour le deuxième mode et pour le troisième mode, à estimer une valeur future de l’indicateur, les étapes suivantes sont mises en œuvres : According to a fourth embodiment aiming, as for the second mode and for the third mode, to estimate a future value of the indicator, the following steps are implemented:
- acquisition d’une série d’images par le dispositif d’acquisition d’images à champ large 200 ; et acquisition of a series of images by the wide-field image acquisition device 200; and
- traitement de la série d’images par un autre réseau de neurones convolutionnel (non représenté sur les figures et pouvant être implémenté dans le dispositif de prédiction 101 de la figure 1 ) pour déterminer une image future correspondant à un instant tO ultérieur à l’acquisition de la série d’images. L’image future est ensuite transmise au dispositif d’estimation 102 pour estimation de l’indicateur de production d’énergie solaire à l’instant t0. processing of the series of images by another convolutional neural network (not shown in the figures and which can be implemented in the prediction device 101 of FIG. 1) to determine a future image corresponding to a time t 0 subsequent to the acquisition of the series of images. The future image is then transmitted to the estimation device 102 for estimation of the solar energy production indicator at time t 0 .
Ainsi, selon ce quatrième mode de réalisation, au lieu de calculer le flot optique pour prédire une ou plusieurs images futures, il est possible d’utiliser des réseaux de neurones qui prédisent directement la ou les images futures. Il s’agit de la même architecture de réseau de neurones que celle présentée précédemment, sauf que les sorties sont les images futures (et non le ou les indicateurs). Le dispositif 102 traite ensuite les images futures comme décrit ci-avant. Thus, according to this fourth embodiment, instead of calculating the optical flow to predict one or more future images, it is possible to use neural networks that directly predict the future image (s). This is the same neural network architecture as the one presented above, except that outputs are future images (not the indicator or indicators). The device 102 then processes the future images as described above.
La figure 8 illustre la structure du dispositif d’estimation 102 selon un mode de réalisation de l’invention. FIG. 8 illustrates the structure of the estimation device 102 according to one embodiment of the invention.
Le dispositif d’estimation 102 comprend une mémoire vive 803 et un processeur 802 pour stocker des instructions permettant la mise en œuvre des étapes 503 à 505 du procédé décrit ci-avant. Le dispositif comporte aussi optionnellement une base de données 804 pour le stockage de données destinées à être conservées après l’application du procédé. La base de données 804 peut en outre stocker le ou les réseaux de neurones, récurrents et non-récurrents, ainsi que leurs paramètres respectifs. The estimation device 102 comprises a random access memory 803 and a processor 802 for storing instructions enabling the implementation of the steps 503 to 505 of the method described above. The device also optionally includes a database 804 for storing data to be retained after the application of the method. The database 804 may further store the neural network (s), recurrent and non-recurrent, as well as their respective parameters.
Le dispositif d’estimation 102 comporte en outre une interface d’entrée 801 destinée à recevoir les images issues du dispositif de prédiction 101 ou du dispositif d’acquisition d’images à champ large 100, et une interface de sortie 805 apte à fournir en sortie l’indicateur de production d’énergie solaire. The estimation device 102 furthermore comprises an input interface 801 intended to receive the images coming from the prediction device 101 or from the wide-field image acquisition device 100, and an output interface 805 capable of providing data output the indicator of solar energy production.
Le procédé selon l’invention a été mis en œuvre dans un réseau de type Resnet avec des paramètres pré-entraînes sur la base ImageNet, dont les dernières couches ont été modifiées pour réaliser l’estimation du rayonnement solaire. The method according to the invention has been implemented in a Resnet-type network with parameters pre-trained on the ImageNet database, the last layers of which have been modified to perform the estimation of the solar radiation.
Le réseau utilisé prend en entrée une image couleur de taille 224*224*3 (les images issues de la caméra sont centrées et redimensionnées à cette taille). En effet, trois canaux sont utilisés pour représenter l’image couleur : rouge, vert et bleu. Un premier bloc appelé ResnetConv comprend un réseau Resnet et l’ensemble des couches de convolution. Les dernières couches du réseau Resnet servant à réaliser une classification entre 1000 classes d’objets, elles ont été retirées selon l’invention afin d’ajouter à la place des couches pour faire la régression du rayonnement à savoir : The network used takes as input a 224 * 224 * 3 color image (the images from the camera are centered and resized to that size). Indeed, three channels are used to represent the color image: red, green and blue. A first block called ResnetConv includes a Resnet network and the set of convolution layers. The last layers of the Resnet network used to perform a classification between 1000 classes of objects, they have been removed according to the invention in order to add layers instead of making the regression of the radiation, namely:
- une couche dite de « drop out » qui est une régularisation qui consiste à mettre les neurones d’entrée à 0 avec une probabilité de 0,5 ; a so-called "drop out" layer which is a regularization which consists in putting the input neurons at 0 with a probability of 0.5;
- une couche entièrement connectée de dix neurones suivie d’une fonction d’activation ReLU ; a fully connected layer of ten neurons followed by a ReLU activation function;
- une couche entièrement connectée à un neurone suivie d’une fonction d’activation linéaire, qui donne l’indicateur de rayonnement en sortie. a layer fully connected to a neuron followed by a linear activation function, which gives the output radiation indicator.
Ce réseau a été entraîné sur un historique de plusieurs millions d’images et de mesures de rayonnement sur site expérimental entre 2012 et 2015. La base de validation est constituée des images de l’année 2016 sur le même site. This network was driven by a history of several million images and radiation measurements on experimental sites between 2012 and 2015. The validation database consists of the images of the year 2016 on the same site.
Les résultats obtenus montrent une forte réduction de l’erreur entre les estimations et les mesures comparativement aux méthodes de l’art antérieur. The results obtained show a strong reduction of the error between the estimates and the measurements compared with the methods of the prior art.
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1851971A FR3078802B1 (en) | 2018-03-07 | 2018-03-07 | CONVOLUTIONAL NEURON NETWORK FOR THE ESTIMATION OF A SOLAR ENERGY PRODUCTION INDICATOR |
| PCT/EP2019/053670 WO2019170384A1 (en) | 2018-03-07 | 2019-02-14 | Convolutional neural network for estimating a solar energy production indicator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP3762872A1 true EP3762872A1 (en) | 2021-01-13 |
Family
ID=62873435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP19703758.3A Pending EP3762872A1 (en) | 2018-03-07 | 2019-02-14 | Convolutional neural network for estimating a solar energy production indicator |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12001938B2 (en) |
| EP (1) | EP3762872A1 (en) |
| FR (1) | FR3078802B1 (en) |
| WO (1) | WO2019170384A1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11693378B2 (en) * | 2019-03-01 | 2023-07-04 | Alliance For Sustainable Energy, Llc | Image-based solar estimates |
| CN114037901B (en) * | 2021-10-25 | 2023-06-20 | 河海大学 | Photovoltaic power generation forecast-oriented real-time satellite near-infrared image calculation method |
| CN114662807B (en) * | 2022-05-26 | 2022-10-14 | 国网浙江省电力有限公司电力科学研究院 | Multi-scale region photovoltaic output prediction method and system based on sequence coding reconstruction |
| WO2025017358A1 (en) * | 2023-07-20 | 2025-01-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Meteorological information prediction using images from webcams |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202017007512U1 (en) * | 2016-04-11 | 2022-04-28 | Magic Pony Technology Limited | Motion estimation through machine learning |
| WO2017193172A1 (en) * | 2016-05-11 | 2017-11-16 | Commonwealth Scientific And Industrial Research Organisation | "solar power forecasting" |
-
2018
- 2018-03-07 FR FR1851971A patent/FR3078802B1/en active Active
-
2019
- 2019-02-14 EP EP19703758.3A patent/EP3762872A1/en active Pending
- 2019-02-14 US US16/975,892 patent/US12001938B2/en active Active
- 2019-02-14 WO PCT/EP2019/053670 patent/WO2019170384A1/en not_active Ceased
Non-Patent Citations (3)
| Title |
|---|
| ANONYMOUS: "Réseau neuronal convolutif - Wikipédia", 20 January 2018 (2018-01-20), XP093145391, Retrieved from the Internet <URL:https://fr.wikipedia.org/w/index.php?title=Réseau_neuronal_convolutif&oldid=144657712> [retrieved on 20240325] * |
| ONISHI RYO ET AL: "Deep Convolutional Neural Network for Cloud Coverage Estimation from Snapshot Camera Images", SOLA, vol. 13, no. 0, 1 January 2017 (2017-01-01), pages 235 - 239, XP093144777, ISSN: 1349-6476, Retrieved from the Internet <URL:https://www.jstage.jst.go.jp/article/sola/13/0/13_2017-043/_pdf> [retrieved on 20240322], DOI: 10.2151/sola.2017-043 * |
| See also references of WO2019170384A1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3078802B1 (en) | 2020-10-30 |
| WO2019170384A1 (en) | 2019-09-12 |
| FR3078802A1 (en) | 2019-09-13 |
| US12001938B2 (en) | 2024-06-04 |
| US20210004661A1 (en) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Deep photovoltaic nowcasting | |
| EP3762872A1 (en) | Convolutional neural network for estimating a solar energy production indicator | |
| US10032256B1 (en) | System and method for image processing using automatically estimated tuning parameters | |
| AU2018426277B2 (en) | Solar irradiation prediction using deep learning with end-to- end training | |
| Anushka et al. | Lens less cameras for face detection and verification | |
| Song et al. | A novel sky image-based solar irradiance nowcasting model with convolutional block attention mechanism | |
| CN112802076A (en) | Reflection image generation model and training method of reflection removal model | |
| Huertas-Tato et al. | Using a multi-view convolutional neural network to monitor solar irradiance | |
| Insaf et al. | Global horizontal irradiance modeling from sky images using ResNet architectures | |
| CN114586330B (en) | Multi-hypothesis classification of color constancy | |
| CN119313717B (en) | Vehicle-mounted camera visibility inversion method, device, medium and electronic equipment | |
| CN112488125B (en) | Reconstruction method and system based on high-speed visual diagnosis and BP neural network | |
| CN111627056A (en) | Depth estimation-based driving visibility determination method and device | |
| CN119762817A (en) | Photovoltaic ultra-short term power prediction method, device, computer equipment and storage medium | |
| Gao et al. | An automatic exposure method of plane array remote sensing image based on two-dimensional entropy | |
| FR3143160A1 (en) | Method for predicting a sequence of images by artificial intelligence and its neural network architecture | |
| TWI590192B (en) | Adaptive high dynamic range image fusion algorithm | |
| FR3094104A1 (en) | Method and device for determining the overall memory size of a global memory area allocated to data from a neural network taking into account its topology | |
| EP3311365B1 (en) | Method for estimating and forecasting an energy production indicator for a solar system | |
| EP2825995B1 (en) | System for identification of a digital camera starting from a picture and method implemented with said system | |
| CN114580573A (en) | An image-based cloud amount, cloud shape, weather phenomenon inversion device and method | |
| WO2025017358A1 (en) | Meteorological information prediction using images from webcams | |
| CN117078947A (en) | Irradiance prediction method, apparatus, device, and computer readable medium | |
| WO2025172472A1 (en) | Federated learning for generating synthetic mobility data | |
| CN116882564A (en) | Ultra-short-term irradiance prediction method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20200821 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| AX | Request for extension of the european patent |
Extension state: BA ME |
|
| DAV | Request for validation of the european patent (deleted) | ||
| DAX | Request for extension of the european patent (deleted) | ||
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20240402 |