PT116908B - FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS - Google Patents
FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS Download PDFInfo
- Publication number
- PT116908B PT116908B PT116908A PT11690820A PT116908B PT 116908 B PT116908 B PT 116908B PT 116908 A PT116908 A PT 116908A PT 11690820 A PT11690820 A PT 11690820A PT 116908 B PT116908 B PT 116908B
- Authority
- PT
- Portugal
- Prior art keywords
- time series
- dimensional
- input map
- series input
- filling
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
A PRESENTE INVENÇÃO ESTÁ INCLUÍDA NO CAMPO DE REDES NEURONAIS CONVOLUCIONAIS CONFIGURADAS PARA DESEMPENHAR ANÁLISE DE SÉRIE TEMPORAL MULTIVARIÁVEL E DIZ RESPEITO A UM MÉTODO DE PREENCHIMENTO ESPECIALMENTE CONCEBIDO PARA CONFIGURAR CAMADAS DE REDE NEURONAL CONVOLUCIONAL ADAPTADAS PARA DESEMPENHAR ANÁLISE DE SÉRIE TEMPORAL MULTIVARIÁVEL NUM MAPA DE ENTRADA BIDIMENSIONAL (1). O MÉTODO DE PREENCHIMENTO ENVOLVE MAPEAR O MAPA DE ENTRADA (1) EM UM CILINDRO (2) AO ADICIONAR UM NÚMERO PRÉDEFINIDO DE LINHAS AGRUPADAS, DEPENDENDO DO TAMANHO VERTICAL DO KERNEL CONVOLUCIONAL (3) A SER UTILIZADO NA OPERAÇÃO CONVOLUCIONAL SUBSEQUENTE.THE PRESENT INVENTION IS INCLUDED IN THE FIELD OF CONVOLUTIONAL NEURONAL NETWORKS CONFIGURED TO PERFORM MULTIVARIABLE TIME SERIES ANALYSIS AND CONCERNS A SPECIALLY DESIGNED FILLING METHOD TO SET UP CONVOLUTIONAL NEURONAL NETWORK LAYERS ADAPTED TO PERFORM MULTIVARIABLE TEMPERABLE SERIES ANALYSIS. 1). THE FILL METHOD INVOLVES MAPPING THE INPUT MAP (1) TO A CYLINDER (2) BY ADDING A PRESET NUMBER OF GROUPED LINES DEPENDING ON THE VERTICAL SIZE OF THE CONVOLUTIONAL KERNEL (3) TO BE USED IN THE SUBSEQUENT CONVOLUTIONAL OPERATION.
Description
DESCRIÇÃODESCRIPTION
MÉTODO DE PREENCHIMENTO PARA CAMADAS DE REDE NEURONAL CONVOLUCIONAL DESEMPENHANDO ANÁLISE DE SÉRIES TEMPORAIS MULTIVARIÁVELFILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS
CAMPO DA INVENÇÃOFIELD OF THE INVENTION
A presente invenção está incluída na área de Redes Neuronais Convolucionais. Em particular, a presente invenção refere-se ao domínio das Redes Neuronais Convolucionais configuradas para desempenhar a análise de Séries Temporais Multivariável.The present invention is included in the field of Convolutional Neural Networks. In particular, the present invention relates to the field of Convolutional Neural Networks configured to perform Multivariable Time Series analysis.
TÉCNICA ANTERIORPRIOR TECHNIQUE
Uma série temporal é uma sequência contínua de observações feitas repetidamente, normalmente em intervalos iguais, ao longo do tempo. A relação entre observações passadas e futuras, pode ser estocástica ou não deterministíca. Em alguns estudos de Séries Temporais Multivariável (MTS), é normal que os conjuntos de dados de treino e de teste sejam compostos por observações/exemplos de segmentos de séries temporais independentes com toda a informação distribuída no tempo disponível de tal forma que o contexto mude de exemplo para exemplo. Embora a Memória Longa de Curto Prazo (em inglês Long Short-Term Memory) , que é um tipo particular de Rede Neuronal Recorrente, seja mais adequada para a análise de MTS do ponto de vista teórico, as Redes Neuronais Convolucionais (CNN) ganharam popularidade para analisar este tipo particular de problemas (ou seja, MTS segmentada). Alguns estudos aplicaram as CNNs neste domínio, e um bom exemplo é a WaveNet a partir do Google DeepMínd [1] aplicada à geração de sinal de áudio.A time series is a continuous sequence of observations taken repeatedly, usually at equal intervals, over time. The relationship between past and future observations can be stochastic or non-deterministic. In some Multivariate Time Series (MTS) studies, it is normal that the training and test datasets are composed of observations/examples of independent time series segments with all the information distributed in the available time in such a way that the context changes from example to example. Although Long Short-Term Memory, which is a particular type of Recurrent Neural Network, is best suited for MTS analysis from a theoretical point of view, Convolutional Neural Networks (CNN) have gained popularity to analyze this particular type of problems (ie segmented MTS). Some studies have applied CNNs in this domain, and a good example is WaveNet from Google DeepMínd [1] applied to audio signal generation.
Quando o kernel de convolução é mais amplo do que (1,1) , então o resultado da convolução é mais pequeno do que a saída original. Normalmente esta não é uma preocupação para entradas com grandes dimensões, ou seja, imagens e pequenos filtros. No entanto pode constituir um grande problema com pequenas dimensões de entrada ou quando se considera um grande número de camadas convolucionais empilhadas. Como tal, o efeito prático de grandes tamanhos de filtro e/ou CNNs muito profundas no tamanho do mapa de características resultante acarreta perda de informação de tal modo que o modelo pode simplesmente ficar sem dados sobre os quais opera.When the convolution kernel is wider than (1,1) , then the convolution result is smaller than the original output. Normally this is not a concern for inputs with large dimensions, ie images and small filters. However, it can be a big problem with small input dimensions or when considering a large number of stacked convolutional layers. As such, the practical effect of large filter sizes and/or very deep CNNs on the size of the resulting feature map entails loss of information such that the model may simply run out of data on which to operate.
Um mecanismo importante utilizado em operações de convolução para resolver esse problema é o preenchimento, que é um processo utilizado para o tratamento de fronteira de dados antes da operação de convolução numa CNN. Por meio desse mecanismo, o tratamento de fronteira pelo kernel de convolução no espaço de entrada é pré-processado para reter o máximo possível de informação original significativa no nível de saída. No modo corrente, o procedimento padrão para evitar o problema do efeito de borda consiste em incluir zeros fora do mapa de entrada, num número de linhas acima da linha de topo e abaixo da linha de fundo, e num número de colunas à esquerda da primeira coluna e à direita da última coluna do mapa de entrada. Desta forma, o tamanho da saída da convolução terá a mesma extensão espacial que a entrada.An important mechanism used in convolution operations to solve this problem is padding, which is a process used for data boundary treatment before the convolution operation in a CNN. Through this mechanism, the boundary treatment by the convolution kernel in the input space is pre-processed to retain as much original meaningful information as possible at the output level. In current mode, the standard procedure to avoid the edge effect problem is to include zeros outside the input map, a number of lines above the top line and below the bottom line, and a number of columns to the left of the first column and to the right of the last column of the input map. In this way, the size of the convolution output will have the same spatial extent as the input.
Observe-se, no entanto, que se o objectivo é analisar um problema de MTS, o mapa de característica de entrada tem um tamanho relativamente pequeno na dimensão das variáveis. Por conseguinte, a inclusão de zeros através da mesma abordagem de preenchimento implica uma capacidade de aprendizagem mais fraca, desde que o kernel aprendido seja afectado pela operação de produto escalar com os valores de zero incluídos, desse modo, promovendo potencialmente uma generalização errónea. A este respeito, outros métodos de preenchimento conhecidos são comumente proporcionados em ambientes de processamento de imagem, que fazem a utilização da informação no mapa de entrada para preencher as fronteiras. Exemplos de mecanismos de preenchimento são o Preenchimento válido - ou não preenchimento -, o Mesmo preenchimento, o Preenchimento causal, o Preenchimento constante 'η', o Preenchimento de reflexão ou o Preenchimento de 2 blocos.Note, however, that if the objective is to analyze an MTS problem, the input feature map has a relatively small size in the variables dimension. Therefore, the inclusion of zeros through the same padding approach implies a weaker learnability, since the learned kernel is affected by the dot product operation with zero values included, thereby potentially promoting erroneous generalization. In this regard, other known filling methods are commonly provided in image processing environments, which make use of the information in the input map to fill in boundaries. Examples of padding mechanisms are Valid padding - or no padding - Same padding, Causal padding, Constant 'η' padding, Reflection padding, or 2-block padding.
Existem soluções na técnica, tal como o documento de patente US2020285963, que descreve um método de preenchimento para uma rede neuronal convolucional. 0 método inclui o recebimento de dados configurados concentricamente de um objecto, os dados configurados concentricamente correlacionando-se com uma imagem, a qual foi gravada concentricamente em relação ao objecto, fazendo a desconvolução dos dados configurados concentricamente para formar uma matriz de dados, incluindo dados coerentes reais em lados opostos dos dados da matriz, levando a cabo uma operação de convolução ao utilizar o preenchimento de anel. No caso de preenchimento de anel, os dados coerentes reais de um lado da matriz de dados são utilizados para preencher os dados coerentes reais de um lado da matriz de dados oposto a eles, e/ou vice-versa. No entanto, o método descrito no referido documento aplica-se apenas a dados configurados concentricamente e não à análise de MTS que por natureza é informação não concêntrica.There are solutions in the art, such as the patent document US2020285963, which describes a filling method for a convolutional neural network. The method includes receiving concentrically configured data from an object, correlating the concentrically configured data with an image which has been recorded concentrically with respect to the object, deconvoluting the concentrically configured data to form a matrix of data, including data real coherents on opposite sides of the matrix data by performing a convolution operation using ring padding. In the case of ring filling, the actual coherent data on one side of the data matrix is used to fill the actual coherent data on the opposite side of the data matrix, and/or vice versa. However, the method described in that document applies only to concentrically configured data and not to the analysis of MTS which by nature is non-concentric information.
documento de patente CN106447030A descreve um método para optimizar um recurso computacional de uma rede neuronal convolucional, em que é utilizado um método de preenchimento para repetir a informação da entrada bi-dimensional.patent document CN106447030A describes a method for optimizing a computational resource of a convolutional neural network, in which a padding method is used to repeat the information of the two-dimensional input.
documento de patente CN104794548A descreve um método de cálculo de paralelização com base na previsão de carga do modelo ARIMA (Autoregressive integrated moving average - Média móvel integrada auto-regressiva), aplicável à correlação de dados de dados de séries temporais. É proposta uma tecnologia de tratamento múltiplo, capaz de analisar as caracteristicas dos dados de carga de energia, e de utilizar o modelo ARIMA para processamento de paralelização.patent document CN104794548A describes a parallelization calculation method based on ARIMA (Autoregressive integrated moving average) model load forecast, applicable to data correlation of time series data. A multiple treatment technology is proposed, able to analyze the characteristics of the energy load data, and to use the ARIMA model for parallel processing.
No entanto, todas as soluções existentes são omissas quanto à aplicabilidade dos respectivos métodos de preenchimento para análises de MTS, e como é que a precisão da arquitectura de CNN pode ser melhorada na operação de convolução subsequente.However, all existing solutions are silent about the applicability of the respective filling methods for MTS analyses, and how the accuracy of the CNN architecture can be improved in the subsequent convolution operation.
A presente solução pretende superar de forma inovadora esses problemas.This solution intends to overcome these problems in an innovative way.
SUMÁRIO DA INVENÇÃO presente pedido descreve um novo mecanismo de preenchimento, que é especialmente concebido para a análise de MTS, em que o mapa de entrada bi-dimensional é definido por uma dimensão de variáveis e por uma dimensão de etapas temporais. Tal mecanismo de preenchimento, quando incluído numa arquitectura CNN padrão, representa um papel importante no desempenho global de um modelo baseado em CNN para classificação de MTS, melhorando a sua precisão.SUMMARY OF THE INVENTION The present application describes a new filling mechanism, which is specially designed for the analysis of MTS, in which the two-dimensional input map is defined by a variables dimension and a time steps dimension. Such a filling mechanism, when included in a standard CNN architecture, plays an important role in the overall performance of a CNN-based model for MTS classification, improving its accuracy.
É, por conseguinte, um objecto da presente invenção um método de preenchimento, para configurar as camadas de rede neuronal convolucional adaptadas para desempenhar análise de MTS num mapa de entrada bi-dimensional definido por uma dimensão de variáveis e uma dimensão de etapas temporais.It is therefore an object of the present invention to provide a padding method for configuring convolutional neural network layers adapted to perform MTS analysis on a two-dimensional input map defined by a variable dimension and a time step dimension.
É também um objecto da presente invenção um sistema de processamento operacionalizável para executar o método de preenchimento desenvolvido.It is also an object of the present invention to provide an operable processing system for executing the developed filling method.
É também proporcionado um método para operar tal sistema de processamento.A method of operating such a processing system is also provided.
DESCRIÇÃO DAS FIGURASDESCRIPTION OF FIGURES
Figura 1 - representação de um mapa de entrada bi-dimensional de MTS (1), definido por uma dimensão de variáveis e uma dimensão de etapas temporais.Figure 1 - representation of a two-dimensional MTS input map (1), defined by a dimension of variables and a dimension of temporal steps.
Figura 2 - representação do esquema de preenchimento em rolo da invenção aplicado à análise de MTS, em que os sinais de referência representam:Figure 2 - representation of the roll filling scheme of the invention applied to the MTS analysis, in which the reference signals represent:
- Mapa de entrada bi-dimensional de MTS;- Two-dimensional MTS input map;
- mapa de entrada bi-dimensional mapeado para cima de um cilindro;- two-dimensional input map mapped onto a cylinder;
- matriz de kernel convolucional com tamanho horizontal um tamanho vertical Kw.- convolutional kernel matrix with horizontal size a vertical size Kw.
Figure 3 - representação do método de preenchimento em rolo da invenção, em que a dimensão das etapas temporais permanece sem preenchimento (isto é, preenchimento válido).Figure 3 - representation of the inventive roll filling method, in which the dimension of the temporal steps remains unfilled (ie, valid filling).
Figure 4 - representação do esquema de preenchimento em rolo do método da invenção, em que o preenchimento do tipo 'causal' é aplicado à dimensão de etapas temporais.Figure 4 - representation of the roll filling scheme of the method of the invention, in which the 'causal' type filling is applied to the temporal steps dimension.
Figure 5 - representação da aplicação do método de preenchimento em rolo da invenção a um mapa de entrada bi-dimensional de MTS.Figure 5 - Representation of the application of the roll filling method of the invention to a two-dimensional MTS input map.
DESCRIÇÃO DETALHADADETAILED DESCRIPTION
As configurações mais gerais e vantajosas da presente invenção são descritas no Sumário da invenção. Tais configurações são abaixo detalhadas de acordo com outros modelos de realização vantajosos e/ou preferidos de implementação da presente invenção.The most general and advantageous embodiments of the present invention are described in the Summary of the Invention. Such configurations are detailed below in accordance with other advantageous and/or preferred embodiments of implementing the present invention.
A presente invenção diz respeito a um método de preenchimento, designado para o propósito da presente descrição como preenchimento em rolo, especialmente concebido para configurar camadas de rede neuronal convolucional adaptadas para desempenhar análise de MTS num mapa de entrada bi-dimensional de MTS (1) definido por uma dimensão variável e uma dimensão etapas temporais, como pode ser visto na figura 1.The present invention relates to a padding method, designated for the purpose of the present description as roll padding, specially designed to configure convolutional neural network layers adapted to perform MTS analysis on a two-dimensional MTS input map (1) defined by a variable dimension and a temporal steps dimension, as can be seen in figure 1.
Em particular, as caracteristicas que definem o método de preenchimento em rolo agora desenvolvido, cria uma significativa diferença entre os métodos de preenchimento conhecidos do estado da técnica, permitindo que o mapa de entrada bi-dimensional de MTS (1) seja mapeado em um cilindro (2) . A configuração das camadas de CNN com este método de preenchimento permite uma maximização dos níveis de inter-correlação entre as variáveis de entrada durante a operação de convolução, proporcionando uma melhoria na precisão das arquitecturas de CNN padrão no desempenho da análise de MTS.In particular, the defining characteristics of the roll filling method just developed create a significant difference between filling methods known from the prior art, allowing the two-dimensional input map of MTS (1) to be mapped onto a cylinder (two) . The configuration of the CNN layers with this filling method allows a maximization of the levels of inter-correlation between the input variables during the convolution operation, providing an improvement in the accuracy of the standard CNN architectures in the performance of the MTS analysis.
As Figuras 2 e 3 ajudam a compreender como é que o método de preenchimento em rolo é aplicável ao mapa de entrada bi-dimensional de MTS (1) . 0 método de preenchimento em rolo copia a informação a partir dos lados opostos do mapa de entrada bi-dimensional (1), mas apenas numa dimensão, que é a da dimensão das variáveis no mapa de entrada bi-dimensional de MTS (1), mapeando efectivamente o mapa de entrada bi-dimensional de MTS (1) num cilindro (2). As linhas agrupadas acima da parte de topo do mapa de entrada bi-dimensional MTS (1) são respectivamente uma cópia das linhas de fundo do mapa de entrada bi-dimensional de MTS (1), e vice-versa. Nas colunas direita e esquerda do mapa de entrada bi-dimensional de MTS (1), nenhum preenchimento, ou seja, preenchimento do tipo válido, é aplicado. A redução da dimensão de etapas temporais após várias convoluções não é problemática devido à presença frequente de um elevado número de etapas temporais neste tipo de problemas de MTS. Mesmo assim, para a dimensão de etapas temporais, o método de preenchimento em rolo pode ser combinado com outros tipos de métodos de preenchimento, tal como preenchimento causal, como pode ser visto na figura 4.Figures 2 and 3 help to understand how the roll fill method is applicable to the MTS(1) two-dimensional input map. The roll filling method copies the information from the opposite sides of the two-dimensional input map (1), but only in one dimension, which is the dimension of the variables in the two-dimensional MTS input map (1), effectively mapping the MTS two-dimensional input map (1) onto a cylinder (2). The lines grouped above the top part of the MTS two-dimensional input map (1) are respectively a copy of the bottom lines of the MTS two-dimensional input map (1), and vice versa. In the right and left columns of the two-dimensional MTS input map (1), no padding, ie padding of valid type, is applied. Reducing the size of time steps after several convolutions is not problematic due to the frequent presence of a high number of time steps in this type of MTS problem. Even so, for the temporal steps dimension, the roll filling method can be combined with other types of filling methods, such as causal filling, as can be seen in figure 4.
A utilização do método de preenchimento em rolo da invenção evita a redução de dimensão variável ao longo de uma Rede neuronal profunda com camadas de convolução, se não for aplicado qualquer preenchimento, e aborda correctamente a questão das correlações de kernel de convolução nas fronteiras do mapa de entrada bi-dimensional de MTS (1).Using the roll padding method of the invention avoids variable dimension reduction along a deep neural network with convolution layers if no padding is applied and correctly addresses the issue of convolution kernel correlations at map boundaries two-dimensional MTS input (1).
Portanto, a aplicação do método de preenchimento em rolo na dimensão variável antes da operação de convolução permitirá ao kernel de convolução (3) pesquisar padrões que correlacionam as primeiras variáveis da série temporal com as últimas variáveis no mapa de entrada bi-dimensional de MTS (1). Este método de preenchimento em rolo não só proporciona uma maneira de aplicar arquitecturas de redes neuronais de camadas baseadas em convolução profunda a problemas de MTS, como também assegura um desempenho com precisão na análise.Therefore, applying the roll filling method on the variable dimension before the convolution operation will allow the convolution kernel (3) to search for patterns that correlate the first variables of the time series with the last variables in the two-dimensional input map of MTS ( 1). This roll-filling method not only provides a way to apply layered neural network architectures based on deep convolution to MTS problems, it also ensures accurate performance in the analysis.
Na figura 5 está esboçado um exemplo da aplicação do método de preenchimento em rolo da invenção. Neste exemplo, o mapa de entrada bi-dimensional de MTS tem um tamanho de 72 etapas temporais x 8 variáveis. Ao aplicar o método de preenchimento em rolo, é possível aumentar a dimensão das variáveis de 8 para 12, ao copiar a informação contida nas duas linhas da parte de fundo do mapa (1) em duas linhas agrupadas para serem acrescentadas por cima da linha de topo do mapa (1), e vice-versa, desde que o tamanho da kernel (3) na camada convolucional seguinte a ser processada seja do tamanho (5,5) . Observe-se que a saída final, depois da convolução, foi reduzida para o tamanho 8 na dimensão das variáveis, o mesmo que da entrada original.In figure 5 an example of the application of the roll filling method of the invention is outlined. In this example, the MTS two-dimensional input map has a size of 72 time steps x 8 variables. When applying the roll filling method, it is possible to increase the size of the variables from 8 to 12, by copying the information contained in the two lines at the bottom of the map (1) in two grouped lines to be added above the line of top of the map (1), and vice versa, as long as the size of the kernel (3) in the next convolutional layer to be processed is the size (5,5) . Note that the final output, after convolution, has been reduced to size 8 in the variables dimension, the same as the original input.
MODOS DE REALIZAÇÃO método de preenchimento em rolo da presente invenção compreende as etapas de mapeamento de um mapa de entrada bidimensional de MTS (1) num cilindro (2), gerando pelo menos uma linha agrupada acima da linha de topo do mapa de entrada bidimensional de MTS (1) e pelo menos uma linha agrupada abaixo da linha de fundo do mapa de entrada bi-dimensional de MTS (1) . Mais particularmente, as linhas agrupadas acrescentadas acima da linha de topo do mapa de entrada bi-dimensional de MTS (1) são preenchidas com cópias de informação contida na dimensão das variáveis das linhas de fundo do mapa de entrada bi-dimensional de MTS (1) . As linhas agrupadas acrescentadas abaixo da linha de fundo do mapa de entrada bi-dimensional de MTS (1) são preenchidas com cópias de informação contida na dimensão das variáveis das linhas de topo do mapa de entrada bi-dimensional de MTS (1).EMBODIMENTS The roll filling method of the present invention comprises the steps of mapping a two-dimensional MTS input map (1) onto a cylinder (2), generating at least one clustered line above the top line of the two-dimensional MTS input map MTS(1) and at least one line grouped below the bottom line of the MTS(1) two-dimensional input map. More particularly, the grouped lines added above the top line of the MTS two-dimensional input map (1) are filled with copies of information contained in the dimension variables of the bottom lines of the MTS two-dimensional input map (1 ) . The grouped lines added below the bottom line of the two-dimensional MTS input map (1) are filled with copies of information contained in the dimension variables of the top lines of the two-dimensional MTS input map (1).
Num modo de realização particular do método de preenchimento desenvolvido, as linhas agrupadas acrescentadas acima da linha de topo do mapa de entrada bi-dimensional de MTS (1) são preenchidas com uma cópia das linhas de fundo do mapa de entrada bi-dimensional de MTS (1) . As linhas agrupadas acrescentadas abaixo da linha de fundo do mapa de entrada bidimensional MTS (1) são preenchidas com uma cópia das linhas de topo do mapa de entrada bi-dimensional de MTS (1) . Alternativamente, num modo de realização particular do método de preenchimento desenvolvido, as linhas agrupadas acrescentadas acima da linha de topo do mapa de entrada bi-dimensional de MTS (1) são uma cópia na ordenação inversa das linhas de fundo do mapa de entrada bi-dimensional de MTS (1) . As linhas agrupadas acrescentadas abaixo da linha de fundo do mapa de entrada bidimensional MTS (1) são preenchidas com uma cópia na ordenação inversa das linhas de topo do mapa de entrada bi-dimensional de MTS (1) .In a particular embodiment of the developed filling method, the grouped lines added above the top line of the MTS two-dimensional input map (1) are filled with a copy of the bottom lines of the MTS two-dimensional input map (1) . The grouped lines added below the bottom line of the MTS two-dimensional input map (1) are filled with a copy of the top lines of the MTS two-dimensional input map (1). Alternatively, in a particular embodiment of the developed filling method, the clustered lines added above the top line of the two-dimensional input map of MTS (1) are a copy in reverse order of the bottom lines of the bi-dimensional input map. dimensional of MTS (1) . The grouped lines added below the bottom line of the MTS two-dimensional input map (1) are filled with a copy in reverse order of the top lines of the MTS two-dimensional input map (1).
Num outro modo particular de realização do método de preenchimento desenvolvido, o número de linhas agrupadas acrescentadas acima da linha de topo e abaixo da linha de fundo do mapa de entrada bi-dimensional de MTS (1) é dependente do tamanho vertical, Kw, de um kernel convolucional (3) a ser aplicado à camada de rede neuronal convolucional. Mais particularmente, e num outro modelo de realização do método de preenchimento, o número de linhas agrupadas é igual aIn another particular embodiment of the developed filling method, the number of clustered lines added above the top line and below the bottom line of the two-dimensional MTS input map (1) is dependent on the vertical size, Kw, of a convolutional kernel (3) to be applied to the convolutional neural network layer. More particularly, and in another embodiment of the filling method, the number of rows grouped is equal to
Num outro modo de realização particular do método de preenchimento desenvolvido, não são acrescentadas quaisquer colunas à esquerda da primeira coluna do mapa de entrada bi dimensional de MTS (1), e não são acrescentadas quaisquer colunas à direita da última coluna do mapa de entrada bi-dimensional de MTS (1) . Alternativamente, e num outro modo de realização do método de preenchimento desenvolvido, é aplicado um mecanismo de preenchimento para preencher um número de colunas acrescentadas à esquerda da primeira coluna do mapa de entrada bi-dimensional de MTS (1) e um número de colunas acrescentadas à direita da última coluna do mapa de entrada bi-dimensional de MTS (1), utilizando informação contida na dimensão de etapas temporais. 0 mecanismo de preenchimento que pode ser utilizado é um dos seguintes: preenchimento do tipo 'Same', preenchimento do tipo 'Causal', preenchimento Constante 'n' , Preenchimento por Reflexão ou Preenchimento de Bloco 2.In another particular embodiment of the developed padding method, no columns are added to the left of the first column of the two-dimensional input map of MTS (1), and no columns are added to the right of the last column of the bi-dimensional input map. -dimensional of MTS (1) . Alternatively, and in another embodiment of the developed padding method, a padding mechanism is applied to fill a number of columns added to the left of the first column of the two-dimensional MTS input map (1) and a number of columns added to the right of the last column of the two-dimensional MTS input map (1), using information contained in the time steps dimension. The padding mechanism that can be used is one of the following: 'Same' padding, 'Causal' padding, Constant 'n' padding, Reflection padding or Block 2 padding.
A presente invenção também diz respeito a um sistema de processamento que compreende meios de processamento programados para executar o desenvolvimento do método de preenchimento, com a finalidade de configurar as camadas de rede neuronal de convolução adaptadas para desempenhar a análise de MTS num mapa de entrada bi-dimensional MTS (1).The present invention also relates to a processing system comprising processing means programmed to perform the development of the filling method, for the purpose of configuring the convolution neural network layers adapted to perform the MTS analysis on a bi-input map. -dimensional MTS(1).
Num modo de realização específico do sistema de processamento, este compreende ainda meios de processamento adaptados para implementar uma arquitectura de rede neuronal configurada para executar uma operação de convolução com base em camadas de rede convolucionais pré-processadas utilizando o método de preenchimento desenvolvido. A operação de convolução, é executada de acordo com os seguintes parâmetros:In a specific embodiment of the processing system, it further comprises processing means adapted to implement a neural network architecture configured to perform a convolution operation based on pre-processed convolutional network layers using the developed padding method. The convolution operation is performed according to the following parameters:
- tamanho de kernel convolucional (3) (Kh,Kw); e - passo.- convolutional kernel size (3) (Kh,Kw); and - step.
A presente invenção também diz respeito a um método para operar o sistema de processamento acima descrito. 0 referido método compreende as etapas de:The present invention also concerns a method for operating the processing system described above. Said method comprises the steps of:
i. Configurar camadas de rede neuronal convolucional adaptadas para desempenhar a análise de MTS num mapa de entrada bi-dimensional de MTS (1), ao executar o método de preenchimento em rolo desenvolvido; e ii. Implementar uma operação de convolução para cada camada.i. Configure tailored convolutional neural network layers to perform MTS analysis on a two-dimensional MTS input map (1), by running the developed roll fill method; and ii. Implement a convolution operation for each layer.
Num modelo de realização do método, a operação de convolução é desempenhada de acordo com os seguintes parâmetros:In one embodiment of the method, the convolution operation is performed according to the following parameters:
- tamanho da kernel convolucional (3) (ΚΗ,Κ^); e - passo.- convolutional kernel size (3) (Κ Η ,Κ^); and - step.
Num outro modelo de realização do método, o método de preenchimento de rolo é dependente do tamanho vertical, K^, de kernel convolucional.In another embodiment of the method, the roll filling method is dependent on the vertical size, K^, of the convolutional kernel.
Como será claro para um especialista competente na técnica, a presente invenção não deve ser limitada aos modelos de realização aqui descritos, e são possíveis uma série de alterações que permanecem dentro do âmbito da presente invenção.As will be clear to a person skilled in the art, the present invention is not to be limited to the embodiments described herein, and a number of changes are possible which remain within the scope of the present invention.
Certamente que os modelos de realização preferidos acima mostrados são combináveis, nas diferentes formas possíveis, sendo aqui evitada a repetição de todas essas combinações.Of course, the preferred embodiments shown above are combinable, in the different possible ways, the repetition of all these combinations being avoided here.
REFERÊNCIASREFERENCES
[1] - Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Sénior, and Koray Kavukcuoglu. Wavenet: A generative model for raw audio, 2016.[1] - Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Sr., and Koray Kavukcuoglu. Wavenet: A generative model for raw audio, 2016.
Lisboa, 30 dezembro de 2020.Lisbon, December 30, 2020.
Claims (13)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PT116908A PT116908B (en) | 2020-11-30 | 2020-11-30 | FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PT116908A PT116908B (en) | 2020-11-30 | 2020-11-30 | FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| PT116908A PT116908A (en) | 2022-05-30 |
| PT116908B true PT116908B (en) | 2022-09-20 |
Family
ID=81827397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PT116908A PT116908B (en) | 2020-11-30 | 2020-11-30 | FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS |
Country Status (1)
| Country | Link |
|---|---|
| PT (1) | PT116908B (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200110604A1 (en) * | 2018-10-03 | 2020-04-09 | Maxim Integrated Products, Inc. | Energy-efficient memory systems and methods |
| US20200285963A1 (en) * | 2019-03-06 | 2020-09-10 | Robert Bosch Gmbh | Padding method for a convolutional neural network |
-
2020
- 2020-11-30 PT PT116908A patent/PT116908B/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200110604A1 (en) * | 2018-10-03 | 2020-04-09 | Maxim Integrated Products, Inc. | Energy-efficient memory systems and methods |
| US20200285963A1 (en) * | 2019-03-06 | 2020-09-10 | Robert Bosch Gmbh | Padding method for a convolutional neural network |
Non-Patent Citations (1)
| Title |
|---|
| C. LIU, W. HSAIO AND Y. TU: ""Time Series Classification With Multivariate Convolutional Neural Network"", IN IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, VOL., 1 January 0066 (0066-01-01) * |
Also Published As
| Publication number | Publication date |
|---|---|
| PT116908A (en) | 2022-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7362692B2 (en) | quantum neural network | |
| CN111510158B (en) | Error-tolerant and error-correcting decoding method, device and chip for quantum circuit | |
| Devarakonda et al. | Adabatch: Adaptive batch sizes for training deep neural networks | |
| US11586911B2 (en) | Pre-training system for self-learning agent in virtualized environment | |
| Jo et al. | Benchmarking gpu-accelerated edge devices | |
| US12045707B2 (en) | Forecasting time-series data in a network environment | |
| Zlokapa et al. | A deep learning model for noise prediction on near-term quantum devices | |
| CA3133917A1 (en) | Simulating errors of a quantum device using variational quantum channels | |
| CA2839279A1 (en) | Method and apparatus for a local competitive learning rule that leads to sparse connectivity | |
| CN114861922B (en) | A method, device, equipment and medium for analyzing quantum bit reading data | |
| US20190251005A1 (en) | Method and device for verifying a neuron function in a neural network | |
| DE112020004031T5 (en) | SYSTEM-RELATED SELECTIVE QUANTIZATION FOR PERFORMANCE OPTIMIZED DISTRIBUTED DEEP LEARNING | |
| EP3614315B1 (en) | Systems and methods for modelling prediction errors in path-learning of an autonomous learning agent | |
| US20200104127A1 (en) | Coded computation strategies for distributed matrix-matrix and matrix-vector products | |
| Zheng et al. | Multi‐channel response reconstruction using transformer based generative adversarial network | |
| US11900221B1 (en) | Error correction decoding techniques for lattice surgery | |
| CN117642752A (en) | Quantum neural networks for noisy medium-scale quantum devices | |
| PT116908B (en) | FILLING METHOD FOR CONVOLUTIONAL NEURONAL NETWORK LAYERS PERFORMING MULTIVARIABLE TIME SERIES ANALYSIS | |
| CN115168173B (en) | Fault prediction model training method, equipment fault determination method, device and equipment | |
| US20230153604A1 (en) | Performing simulations using machine learning | |
| CN117539500B (en) | In-memory computing system optimizing deployment framework based on error calibration and working method thereof | |
| JP2024539287A (en) | Efficient implementation of inference computations for fully convolutional networks for inputs with different sizes | |
| US8875066B2 (en) | Performing image calculation based on spatial coherence | |
| CN118057241A (en) | Machine learning for mask optimization in reverse photolithography | |
| CN114938455A (en) | Coding method and device based on unit characteristics, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| BB1A | Laying open of patent application |
Effective date: 20210514 |
|
| FG3A | Patent granted, date of granting |
Effective date: 20220915 |