[go: up one dir, main page]

RU2459254C2 - Method for computer-aided training of one or more neural networks - Google Patents

Method for computer-aided training of one or more neural networks Download PDF

Info

Publication number
RU2459254C2
RU2459254C2 RU2007116053/08A RU2007116053A RU2459254C2 RU 2459254 C2 RU2459254 C2 RU 2459254C2 RU 2007116053/08 A RU2007116053/08 A RU 2007116053/08A RU 2007116053 A RU2007116053 A RU 2007116053A RU 2459254 C2 RU2459254 C2 RU 2459254C2
Authority
RU
Russia
Prior art keywords
values
time series
neural networks
mode
inputs
Prior art date
Application number
RU2007116053/08A
Other languages
Russian (ru)
Other versions
RU2007116053A (en
Inventor
Алексей МИНИН (RU)
Алексей МИНИН
Илья Мохов (RU)
Илья МОХОВ
Original Assignee
Сименс Акциенгезелльшафт
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сименс Акциенгезелльшафт filed Critical Сименс Акциенгезелльшафт
Priority to RU2007116053/08A priority Critical patent/RU2459254C2/en
Priority to PCT/EP2008/054701 priority patent/WO2008132066A1/en
Priority to EP08749600A priority patent/EP2143049A1/en
Publication of RU2007116053A publication Critical patent/RU2007116053A/en
Application granted granted Critical
Publication of RU2459254C2 publication Critical patent/RU2459254C2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)

Abstract

FIELD: information technology.
SUBSTANCE: rate of change of the initial data time series is calculated to obtain derivative values. These derivative values undergo Empirical Mode Decomposition, which is a well-known technique. Modes extracted via said Empirical Mode Decomposition, as well as some delayed values of the time series are used as inputs for neural networks, while the output of these networks are future values of the time series, which must be predicted. These networks are trained and used to predict future values of the time series. The invention provides good prediction results by using derivative values as inputs, while past values are also considered as inputs. The invention can be used to predict values of any time series and, particularly, for predicting the behaviour of engineering systems, for example, vibrations arising in an engineering system.
EFFECT: broader functional capabilities of neural networks by further enabling processing of data time series, having value trends, particularly vibration diagnosis data.
11 cl, 12 dwg

Description

Изобретение относится к способу компьютеризованного обучения одной или более нейронных сетей на основе временного ряда данных, содержащего первые значения на последующих временных шагах, а также к способу компьютеризованного прогнозирования значений временного ряда на основе одной или более нейронных сетей, обученных этим методом обучения. Кроме того, изобретение относится к соответствующему компьютерному программному продукту.The invention relates to a method for computerized training of one or more neural networks based on a time series of data containing the first values at subsequent time steps, as well as to a method for computerized forecasting values of a time series based on one or more neural networks trained by this training method. In addition, the invention relates to a corresponding computer program product.

Изобретение относится к технической области информационной технологии, в частности к области информационной обработки данных путем использования нейронных сетей.The invention relates to the technical field of information technology, in particular to the field of information processing of data through the use of neural networks.

Изобретение может быть использовано для прогнозирования любого временного ряда данных, из которого должна исследоваться лежащая в его основе динамика. В частности, изобретение используется для обработки данных, измеренных в технических системах, чтобы прогнозировать временное поведение технической системы.The invention can be used to predict any time series of data from which the underlying dynamics should be studied. In particular, the invention is used to process data measured in technical systems in order to predict the temporal behavior of a technical system.

Искусственные нейронные сети широко используются для прогнозирования данных. Для этого нейронные сети обучаются посредством обучающих данных, основанных на заданном временном ряде. Хорошо известный способ для обучения нейронных сетей и прогнозирования будущих значений временного ряда основан на лаговых векторах, где лаговые временные значения временного ряда используются в качестве входов для нейронных сетей. Для получения хороших результатов прогнозирования лежащие в основе нейронные сети часто бывают очень сложными, и время вычисления для обучения и прогнозирования значений весьма велико.Artificial neural networks are widely used to predict data. To do this, neural networks are trained through training data based on a given time series. A well-known method for training neural networks and predicting future values of the time series is based on lag vectors, where lag time values of the time series are used as inputs for neural networks. To obtain good forecasting results, the underlying neural networks are often very complex, and the calculation time for training and forecasting values is very long.

Поэтому задачей изобретения является создание способа обучения одной или более нейронных сетей, обеспечивающего хорошие результаты прогнозирования за приемлемое время вычислений.Therefore, the object of the invention is to provide a method for training one or more neural networks, which provides good prediction results for an acceptable calculation time.

Эта задача решается независимыми пунктами формулы изобретения. Предпочтительные варианты осуществления изобретения определены в зависимых пунктах формулы изобретения.This problem is solved by the independent claims. Preferred embodiments of the invention are defined in the dependent claims.

На первом этапе способа обучения согласно изобретению вычисляется скорость изменения первых значений временного ряда данных, генерируя тем самым временной ряд вторых значений. Следовательно, эти вторые значения соответствуют, по существу, производным по времени упомянутых первых значений. На следующем этапе временной ряд упомянутых вторых значений подвергается Разложению по Эмпирическим Модам, приводящему в результате к нескольким модам, причем каждая мода является временным рядом значений мод.At the first stage of the training method according to the invention, the rate of change of the first values of the data time series is calculated, thereby generating the time series of the second values. Therefore, these second values correspond essentially to the time derivatives of said first values. At the next stage, the time series of the mentioned second values is subjected to the Expansion in Empirical Modes, resulting in several modes, each mode being a time series of mode values.

Затем одна или более нейронных сетей обучается. Каждая нейронная сеть содержит один или более искусственных нейронов. Эти нейроны связаны с одним или более первых входов для каждой моды для ввода значения моды на данном временном шаге и одним или более вторых входов для ввода вторых значений на упомянутом заданном временном шаге и/или на одном или более временных шагов перед упомянутым заданным временным шагом. Кроме того, упомянутые один или более искусственных нейронов связаны, по меньшей мере, с одним выходом для вывода второго значения на временном шаге после упомянутого заданного временного шага.Then one or more neural networks are trained. Each neural network contains one or more artificial neurons. These neurons are associated with one or more first inputs for each mode to enter a mode value at a given time step and one or more second inputs to enter second values at a specified time step and / or one or more time steps before said predetermined time step. Furthermore, said one or more artificial neurons are associated with at least one output for outputting a second value at a time step after said predetermined time step.

Согласно изобретению вместо исходных первых значений обрабатываются вторые значения, указывающие скорость изменения первых значений. Это позволяет эффективно использовать метод Разложения по Эмпирическим Модам, который является хорошо известным методом и будет также описан далее в детальном описании. Использование скорости изменения первых значений имеет преимущество, заключающееся в том, что генерируются моды, имеющие, по существу, один и тот же порядок. Кроме того, динамика прошлого принимается во внимание при обучении нейронных сетей с использованием, помимо мод, выделенных методом Разложения по Эмпирическим Модам, некоторых запаздывающих по времени (лаговых) вторых значений, выведенных из исходного временного ряда.According to the invention, instead of the initial first values, second values are processed indicating the rate of change of the first values. This makes it possible to effectively use the Empirical Modification Method, which is a well-known method and will also be described later in the detailed description. Using the rate of change of the first values has the advantage that modes are generated that are essentially of the same order. In addition, the dynamics of the past are taken into account when training neural networks using, in addition to the modes selected by the Empirical Mode Expansion method, some second-time delayed (lag) values derived from the initial time series.

Как будет очевидно из детального описания, прогнозы, основанные на сетях, обученных способом, соответствующим изобретению, имеют хорошее качество по сравнению с традиционными способами.As will be apparent from the detailed description, forecasts based on networks trained by the method according to the invention are of good quality compared to traditional methods.

В предпочтительном варианте осуществления изобретения нейронные сети, используемые для обучения, содержат одну или более рекуррентных нейронных сетей, которые очень хорошо подходят для задач прогнозирования, поскольку эти сети включают в себя обратную связь, т.е. сформированные выходы подаются назад в нейроны сети в качестве входов.In a preferred embodiment of the invention, the neural networks used for training contain one or more recurrent neural networks that are very well suited for forecasting tasks, since these networks include feedback, i.e. the formed outputs are fed back to the network neurons as inputs.

Известны различные структуры рекуррентных нейронных сетей, и предпочтительный вариант осуществления изобретения использует хорошо известные сети Элмана в качестве рекуррентных сетей, которые должны тренироваться. Вместе с тем и нерекуррентные сети могут быть использованы в способе, соответствующем изобретению, в частности, так называемые перцептроны.Various structures of recurrent neural networks are known, and a preferred embodiment of the invention uses the well-known Elman networks as recurrent networks to be trained. However, non-recurrent networks can be used in the method corresponding to the invention, in particular, the so-called perceptrons.

Нейронные сети могут обучаться любым хорошо известным методом. В предпочтительном варианте осуществления изобретения для обучения используется метод оптимизации весов, оптимизирующий синаптические веса нейронов, предпочтительно метод Broyden-Fletcher-Goldfarb-Shanno, хорошо известный в технике.Neural networks can be trained by any well-known method. In a preferred embodiment of the invention, a weight optimization method optimizing the synaptic weights of neurons is used for training, preferably the Broyden-Fletcher-Goldfarb-Shanno method, well known in the art.

В другом варианте осуществления изобретения упомянутые одна или более нейронных сетей содержат множество нейронных сетей, имеющих общий выход, для вывода усредненного выхода упомянутого, по меньшей мере, одного выхода упомянутого множества нейронных сетей, тем самым приводя в результате к лучшим результатам прогнозирования.In another embodiment of the invention, said one or more neural networks comprise a plurality of neural networks having a common output for outputting an average output of said at least one output of said plurality of neural networks, thereby resulting in better prediction results.

Как упомянуто выше, способ, соответствующий изобретению, может быть применен к любому временному ряду данных. Однако способ, соответствующий изобретению, предпочтительно применяется к данным, измеренным в технической системе. Такие данные могут относиться, например, к колебаниям.As mentioned above, the method according to the invention can be applied to any time series of data. However, the method according to the invention is preferably applied to data measured in a technical system. Such data may relate, for example, to fluctuations.

В методе Разложения по Эмпирическим Модам, используемом в способе, соответствующем изобретению, огибающая максимумов вторых значений и огибающая минимумов вторых значений аппроксимируется сплайнами кубических кривых, приводя к хорошему выделению мод.In the Empirical Mode Expansion method used in the method according to the invention, the envelope of the maxima of the second values and the envelope of the minima of the second values are approximated by splines of cubic curves, leading to a good selection of the modes.

Помимо вышеописанного метода для обучения одного или более нейронных сетей, изобретение также относится к способу компьютеризованного прогнозирования значений, относящихся к временному ряду, на основе одной или более нейронных сетей, обучаемых вышеописанным способом. Способ прогнозирования содержит следующие этапы:In addition to the method described above for training one or more neural networks, the invention also relates to a method for computer-based prediction of values related to a time series based on one or more neural networks trained in the manner described above. The forecasting method comprises the following steps:

вычисление скорости изменения упомянутых первых значений, генерируя при этом временной ряд вторых значений;calculating a rate of change of said first values, while generating a time series of second values;

разложение временного ряда упомянутых вторых значений методом Разложения по Эмпирическим Модам, получая в результате несколько мод, причем каждая мода является временным рядом значений мод;expansion of the time series of the mentioned second values by the Empirical Mode Expansion method, resulting in several modes, each mode being a time series of mode values;

ввод значений мод упомянутых мод на данном временном шаге на упомянутые один или более первых входов упомянутой одной или более нейронных сетей и ввод одного или более вторых значений на данном временном шаге и/или на одном или более временных шагов перед упомянутым данным временным шагом на упомянутые один или более вторых входов упомянутой одной или более нейронных сетей, получая в результате, по меньшей мере, одно второе значение на временном шаге после упомянутого данного временного шага на упомянутом, по меньшей мере, одном выходе упомянутой одной или более нейронных сетей.entering mode values of said modes at a given time step onto said one or more first inputs of said one or more neural networks and entering one or more second values at a given time step and / or at one or more time steps before said given time step on said one or more of the second inputs of said one or more neural networks, resulting in at least one second value at a time step after said given time step at said at least one output yn bounded by one or more neural networks.

Таким образом, способ прогнозирования использует обученные нейронные сети путем ввода соответствующих данных временного ряда, чтобы прогнозировать будущие значения этого временного ряда.Thus, the prediction method uses trained neural networks by inputting the corresponding time series data to predict future values of this time series.

Помимо вышеописанных способов, изобретение относится к компьютерному программному продукту, непосредственно загружаемому во внутреннюю память цифрового компьютера, содержащему части программного кода для выполнения способа, соответствующего изобретению, когда упомянутый продукт исполняется на компьютере.In addition to the methods described above, the invention relates to a computer program product directly loaded into the internal memory of a digital computer, containing portions of program code for executing the method of the invention when said product is executed on a computer.

Варианты осуществления изобретения будут описаны ниже более детально со ссылками на иллюстрирующие чертежи, на которых представлено следующее:Embodiments of the invention will be described below in more detail with reference to the illustrative drawings, in which the following is presented:

Фиг.1 - два варианта осуществления нейронных сетей, которые могут использоваться в способе, соответствующем изобретению;Figure 1 - two embodiments of neural networks that can be used in the method corresponding to the invention;

Фиг.2 - две диаграммы, иллюстрирующие метод Разложения по Эмпирическим Модам, используемый согласно изобретению;Figure 2 is two diagrams illustrating the Empirical Modification Method used according to the invention;

Фиг.3 - три диаграммы, иллюстрирующие состав сигнала, подлежащего Разложению по Эмпирическим Модам;Figure 3 - three diagrams illustrating the composition of the signal to be decomposed in Empirical Mods;

Фиг.4 - несколько диаграмм, иллюстрирующих результат Разложения по Эмпирическим Модам, выполненного над составным сигналом, показанным на фиг.3;Figure 4 is a few diagrams illustrating the result of the Empirical Modification performed on the composite signal shown in figure 3;

Фиг.5 - временной ряд значений, используемых для тестирования способа, соответствующего изобретению;5 is a time series of values used to test the method corresponding to the invention;

Фиг.6 - диаграмма, показывающая моды, выделенные методом Разложения по Эмпирическим Модам из временного ряда по фиг.5;FIG. 6 is a diagram showing the modes extracted by the Empirical Mode Expansion method from the time series of FIG. 5;

Фиг.7 - диаграмма, показывающая значения производных временного ряда по фиг.5;Fig.7 is a diagram showing the values of the derivatives of the time series of Fig.5;

Фиг.8 - диаграмма, показывающая значения мод, выделенные методом Разложения по Эмпирическим Модам из значений производных по фиг.7;Fig. 8 is a diagram showing mode values extracted by the Empirical Mode Expansion method from the values of the derivatives of Fig. 7;

Фиг.9 - диаграмма, показывающая ошибку между суммой мод, показанных на фиг.8, и исходным сигналом, соответствующим производным, как показано на диаграмме на фиг.7;Fig.9 is a diagram showing the error between the sum of the modes shown in Fig.8, and the original signal corresponding to the derivatives, as shown in the diagram in Fig.7;

Фиг.10 - диаграмма, показывающая входы, использованные в нейронной сети согласно одному варианту осуществления изобретения;10 is a diagram showing inputs used in a neural network according to one embodiment of the invention;

Фиг.11 - диаграмма, сравнивающая результаты прогнозирования согласно одному варианту осуществления изобретения с исходным сигналом; и11 is a diagram comparing prediction results according to one embodiment of the invention with the original signal; and

Фиг.12 - таблица, сравнивающая качество прогнозирования согласно варианту осуществления изобретения с качеством прогнозирования согласно способу из предшествующего уровня техники.12 is a table comparing forecasting quality according to an embodiment of the invention with forecasting quality according to a method of the prior art.

Согласно изобретению метод Разложения по Эмпирическим Модам комбинируется с искусственными нейронными сетями. В принципе, нейронные сети пригодны для различных задач. Эти задачи могут быть разделены на два класса, а именно аппроксимация и классификация. Как описано ниже, нейронные сети будут использоваться для прогнозирования временного ряда данных. В частности, финансовые данные, взятые из индекса Dow Jones, были использованы для испытания варианта осуществления изобретения. Проблема, возникающая при использовании таких данных, заключается в фильтрации сигнала, обеспечиваемого данными. Для того чтобы послать такие данные в нейронную сеть, будет генерироваться сигнал в «сыром» виде, то есть статистическое качество нейронного прогноза будет относительно низким. Хотя характер «шума» не известен в финансовых данных, необходимо осуществить поиск фильтра, который является адаптивным. Поэтому было использовано разложение сигнала методом Разложения по Эмпирическим Модам на функции эмпирических мод, как описано более детально ниже. Этот метод может интерпретироваться как фильтр, который обрабатывает привлекательные свойства при использовании в комбинации с искусственными нейронными сетями, а именно аддитивность и ортогональность генерируемых мод. Хотя способ, соответствующий изобретению, был тестирован с использование финансовых данных, этот способ в принципе применим к любому виду временного ряда данных, в частности данных, относящихся к техническим системам, таким как диагностика вибраций в технической системе.According to the invention, the Empirical Modification Method is combined with artificial neural networks. In principle, neural networks are suitable for various tasks. These tasks can be divided into two classes, namely approximation and classification. As described below, neural networks will be used to predict the time series of data. In particular, financial data taken from the Dow Jones index was used to test an embodiment of the invention. The problem with using such data is filtering the signal provided by the data. In order to send such data to the neural network, a raw signal will be generated, that is, the statistical quality of the neural forecast will be relatively low. Although the nature of the “noise” is not known in financial data, it is necessary to search for a filter that is adaptive. Therefore, the decomposition of the signal by the Empirical Mode Expansion method into empirical mode functions was used, as described in more detail below. This method can be interpreted as a filter that processes attractive properties when used in combination with artificial neural networks, namely the additivity and orthogonality of the generated modes. Although the method according to the invention has been tested using financial data, this method is in principle applicable to any kind of time series data, in particular data related to technical systems, such as vibration diagnostics in a technical system.

На фиг.1 схематично показаны два варианта искусственных нейронных сетей, которые могут использоваться в способе, соответствующем изобретению. С левой стороны фиг.1 показан простой перцептрон 11, содержащий несколько входов х1, х2, …, xn, связанных через синоптические веса с нейронами 1, 2 и 3. Связи показаны линиями между входами и нейронами, и для иллюстративных целей некоторые линии обозначены соответствующими весами w11, w12, w13, wn1, wn2 и wn3. Кроме того, каждый нейрон 1, 2 и 3 ассоциирован с выходом у1, у2 и у3 соответственно. Сеть 11 является очень простой сетью, имеющей только один слой нейронов. Согласно изобретению могут быть использованы намного более сложные нейронные сети, имеющие несколько слоев нейронов. Эти сети называются сетями прямого распространения или многослойными перцептронами.Figure 1 schematically shows two variants of artificial neural networks that can be used in the method corresponding to the invention. On the left side of FIG. 1, a simple perceptron 11 is shown containing several inputs x1, x2, ..., xn connected via synoptic weights to neurons 1, 2 and 3. Connections are shown by lines between inputs and neurons, and for illustrative purposes some lines are indicated by corresponding weights w11, w12, w13, wn1, wn2 and wn3. In addition, each neuron 1, 2, and 3 is associated with an output of y1, y2, and y3, respectively. Network 11 is a very simple network having only one layer of neurons. According to the invention, much more complex neural networks having several layers of neurons can be used. These networks are called direct propagation networks or multilayer perceptrons.

С правой сторона на фиг.1 показан другой тип сети 12, которая может использоваться во взаимосвязи с изобретением. Эта сеть 12 является рекуррентной нейронной сетью. Структура сети сходна структуре сети 11. В частности, сеть 12 имеет входы х1, х2, …, xn, три нейрона 1, 2, 3, связанные через веса с входами, и выходы у1, у2 и у3, каждый из которых ассоциирован с одним из нейронов 1, 2 и 3. Различие между сетью 11 и 12 заключается в наличии цепи обратной связи, обозначенной как 101 для нейрона 1, 102 для нейрона 2 и 103 для нейрона 3. Вследствие этого выход подается назад на вход каждого нейрона, и эта обратная связь приводит к наличию памяти в рекуррентной сети. Подобно сети 11, рекуррентная сеть 12 является очень простой сетью, и намного более сложные сети, имеющие несколько слоев, могут использоваться в описанном изобретении. В варианте осуществления, описанном ниже, используется специальная версия рекуррентной сети, а именно сеть Элмана. Эта сеть известна и поэтому детально не описывается.On the right side of figure 1 shows another type of network 12, which can be used in conjunction with the invention. This network 12 is a recurrent neural network. The network structure is similar to the structure of network 11. In particular, network 12 has inputs x1, x2, ..., xn, three neurons 1, 2, 3, connected through weights with inputs, and outputs y1, y2 and y3, each of which is associated with one of neurons 1, 2 and 3. The difference between network 11 and 12 is the presence of a feedback circuit designated as 101 for neuron 1, 102 for neuron 2 and 103 for neuron 3. As a result, the output is fed back to the input of each neuron, and this feedback leads to memory in the recursive network. Like network 11, recurrent network 12 is a very simple network, and much more complex networks having several layers can be used in the described invention. In the embodiment described below, a special version of the recurrence network is used, namely the Elman network. This network is known and therefore not described in detail.

В соответствии с изобретением хорошо известный метод Разложения по Эмпирическим Модам (также обозначаемый как EMD) был использован для генерации входа для нейронной сети. Для пояснения, описание этого метода представлено ниже. Метод Разложения по Эмпирическим Модам является адаптивным представлением нестационарных сигналов как суммы с нулевым средним компонент АМ-FM (АМ - амплитудно-модулированная, FM - частотно-модулированная). В соответствии с этим методом рассматриваются осцилляции в сигнале на локальном уровне. Для этого оценивается высокочастотная компонента в данном сигнале x(t) между двумя экстремумами, например между двумя минимумами t- и t+. Эта высокочастотная компонента, обозначенная как {d(t), t-≤t≤t+}, представляет так называемую локальную деталь, которая отвечает за осцилляцию, замыкающуюся на двух минимумах и проходящую через максимум, который всегда существует между двумя минимумами. Помимо высокочастотной компоненты d(t), исходный сигнал x(t) также содержит низкочастотную компоненту m(t) (также называемую «тренд») по отношению к высокочастотной компоненте. Следовательно, исходный сигнал x(t) может быть представлен как сумма высокочастотной и низкочастотной компонент в следующем виде:In accordance with the invention, the well-known Empirical Mode Expansion method (also referred to as EMD) was used to generate an input for a neural network. For clarification, a description of this method is presented below. The Empirical Mode Expansion Method is an adaptive representation of non-stationary signals as a sum with a zero mean component AM-FM (AM is amplitude-modulated, FM is frequency-modulated). In accordance with this method, oscillations in a signal at a local level are considered. For this, the high-frequency component in this signal x (t) is estimated between two extrema, for example, between two minima t - and t + . This high-frequency component, denoted by {d (t), t - ≤t≤t + }, represents the so-called local part, which is responsible for the oscillation that closes at two minima and passes through a maximum that always exists between two minima. In addition to the high-frequency component d (t), the original signal x (t) also contains the low-frequency component m (t) (also called the “trend”) with respect to the high-frequency component. Therefore, the initial signal x (t) can be represented as the sum of the high-frequency and low-frequency components in the following form:

x(t)=m(t)+d(t); t-≤t≤t+.x (t) = m (t) + d (t); t - ≤t≤t + .

Для того чтобы извлечь моду методом Разложения по Эмпирическим Модам (EMD), извлечение высокочастотной компоненты применяется итеративным способом к детали d(t) до тех пор, пока сигнал m(t) не будет иметь нулевое среднее или среднее, близкое к нулю в соответствии с некоторым остановочным критерием. Таким образом, алгоритм извлечения моды заключается в следующем.In order to extract the mode by the Empirical Modification (EMD) method, the extraction of the high-frequency component is applied iteratively to the part d (t) until the signal m (t) has a zero mean or average close to zero in accordance with some stopping criterion. Thus, the mode extraction algorithm is as follows.

Определяются локальные экстремумы в исходном сигнале x(t), и вычисляются огибающие между минимумами и максимумами. Это этап показан на диаграмме 201 по фиг.2. Эта диаграмма показывает временной ряд периодического сигнала 202. На диаграмме 201, а также на диаграмме 202 абсцисса представляет время, а ордината представляет амплитуду сигнала. Определяются максимумы сигналов, причем некоторые из этих максимумов обозначены для иллюстративных целей как 203 на диаграмме 201. Аналогичным образом, определяются минимумы сигналов, причем некоторые из этих минимумов обозначены для иллюстративных целей как 204. Экстремумы должны извлекаться очень точно, и это приводит к передискретизации. Должны учитываться граничные эффекты, чтобы минимизировать ошибку на концах временного ряда, которая проявляется ввиду конечного числа отсчетов во временном ряде. Для снижения граничных эффектов добавляются несуществующие экстремумы. Этот метод добавления экстремумов хорошо известен в уровне техники и детально не будет описываться.Local extrema are determined in the original signal x (t), and the envelopes between the minima and maxima are calculated. This step is shown in diagram 201 of FIG. 2. This diagram shows the time series of the periodic signal 202. In diagram 201, as well as in diagram 202, the abscissa represents time, and the ordinate represents the amplitude of the signal. Signal maxima are determined, some of these maxima are indicated for illustrative purposes as 203 in diagram 201. Similarly, signal minima are determined, and some of these minima are indicated for illustrative purposes as 204. Extremes must be extracted very accurately, and this leads to oversampling. Boundary effects must be taken into account in order to minimize the error at the ends of the time series, which manifests itself in view of the finite number of samples in the time series. To reduce the boundary effects, non-existent extrema are added. This method of adding extrema is well known in the art and will not be described in detail.

После определения максимумов и минимумов вычисляется огибающая 205, соединяющая соседние максимумы, и огибающая 206, соединяющая соседние минимумы. Это вычисление может выполняться методом аппроксимации, предпочтительно для аппроксимации используются кубические сплайны. В результате получается функция emin(t) для огибающей 206 минимумов и функция emax(t) для огибающей 205 максимумов. Затем вычисляется среднее между emin(t) и emax(t), то есть вычисляется следующая функция:After determining the maxima and minima, the envelope 205, which connects the adjacent maxima, and the envelope 206, which connects the neighboring minima, are calculated. This calculation can be performed by the approximation method, preferably cubic splines are used for approximation. As a result, the function e min (t) for the envelope of 206 minima and the function e max (t) for the envelope of 205 maxima are obtained. Then, the average between e min (t) and e max (t) is calculated, that is, the following function is calculated:

http://finance.yahoo.com

Figure 00000001
http://finance.yahoo.com
Figure 00000001

m(t) обозначено как функция 209 на диаграмме 201. На следующем этапе вычисляется деталь d(t)=x(t)-m(t). Этот остаток показан на диаграмме 207 по отношению к сигналу 202 и обозначен как 208. Вышеописанный способ повторяется на следующем шаге итерации с остатком 208, то есть вновь определяются огибающие, вычисляется среднее этих огибающих, и извлекается деталь путем определения разности между функцией 208 и средним. Как отмечено выше, итерации повторяются до тех пор, пока среднее m(t) не станет нулем или не будет находиться в окрестности нуля в соответствии с некоторым остановочным критерием. В результате извлекается первая «Intrinsic Mode Function» (далее ИМФ, важная функция) в форме остатка, существующего в конце итераций.m (t) is indicated as a function 209 in diagram 201. In the next step, the part d (t) = x (t) -m (t) is calculated. This remainder is shown in diagram 207 with respect to signal 202 and designated as 208. The above method is repeated in the next iteration step with remainder 208, that is, envelopes are determined again, the average of these envelopes is calculated, and the part is extracted by determining the difference between function 208 and average. As noted above, iterations are repeated until the mean m (t) becomes zero or is in the vicinity of zero in accordance with some stopping criterion. As a result, the first “Intrinsic Mode Function” (hereinafter referred to as IMP, an important function) is extracted in the form of a remainder that exists at the end of iterations.

Функция ИМФ вычитается из исходного сигнала x(t), и вышеописанные итерации аналогичным образом выполняются для этого нового сигнала. В конце итераций извлекается вторая мода. Эти итерации могут повторяться несколько раз над разностью между исходным сигналом в начале извлечения предыдущей моды и предыдущей извлеченной функцией ИМФ, чтобы извлечь следующие моды. В конце метода EMD из исходного сигнала x(t) извлечено конечное число мод. Вышеописанный метод EMD является полностью автоматическим и адаптивным. Следует отметить, что в случае гармонических осцилляций, включающих высокую частоту и низкую частоту, метод EMD должен использоваться в локальном масштабе и не соответствует предопределенному фильтрованию полосы.The IMF function is subtracted from the original signal x (t), and the above iterations are similarly performed for this new signal. At the end of the iterations, the second mode is extracted. These iterations can be repeated several times over the difference between the original signal at the beginning of the extraction of the previous mode and the previous extracted IMF function in order to extract the following modes. At the end of the EMD method, a finite number of modes are extracted from the original signal x (t). The EMD method described above is fully automatic and adaptive. It should be noted that in the case of harmonic oscillations involving a high frequency and a low frequency, the EMD method should be used on a local scale and does not match the predefined band filtering.

На фиг.3 показаны три диаграммы 301, 302 и 303, где абсцисса представляет время, а ордината - амплитуду сигнала. Диаграмма 301 показывает тональный сигнал с низкой частотой, диаграмма 302 показывает частотно-модулированный сигнал 305, представляющий шум, и диаграмма 303 представляет составной сигнал 306, полученный суммированием частотно-модулированного сигнала 305 с тональным сигналом 304. Результат применения Разложения по Эмпирическим Модам к сигналу 306 показан на фиг.4. В частности, фиг.4 показывает семь диаграмм, где на каждой диаграмме абсцисса представляет время, а ордината - амплитуду сигнала. Диаграммы, показанные на фиг.4, обозначены как 401, 492, 403, 404, 405, 406 и 407. Диаграммы с 401 по 406 относятся к модам, извлеченным методом Разложения по Эмпирическим Модам, а диаграмма 407 показывает остаток сигнала, остающийся в конце Разложения по Эмпирическим Модам. Как можно видеть из фиг.4, сигнал содержит две важные моды 401 и 402, а остальные моды с 403 по 406 могут рассматриваться как равные нулю. Очевидно, что исходный тональный сигнал 304 может быть извлечен как мода 402, а исходный частотно-модулированный сигнал 305 может быть извлечен как мода 401 из составного сигнала 306.Figure 3 shows three diagrams 301, 302 and 303, where the abscissa represents time, and the ordinate represents the amplitude of the signal. Diagram 301 shows a low frequency tone signal, diagram 302 shows a frequency modulated signal 305 representing noise, and diagram 303 represents a composite signal 306 obtained by summing a frequency modulated signal 305 with a tone signal 304. The result of the Empirical Modifications expansion to signal 306 shown in figure 4. In particular, FIG. 4 shows seven diagrams, where on each abscissa diagram represents time and the ordinate represents the amplitude of the signal. The diagrams shown in FIG. 4 are denoted as 401, 492, 403, 404, 405, 406 and 407. The diagrams 401 to 406 refer to the modes extracted by the Empirical Modification method, and the diagram 407 shows the remainder of the signal remaining at the end Empirical Modifications. As can be seen from figure 4, the signal contains two important modes 401 and 402, and the remaining modes 403 to 406 can be considered equal to zero. Obviously, the original tone 304 can be extracted as mode 402, and the original frequency-modulated signal 305 can be extracted as mode 401 from composite signal 306.

На фиг.5 показан временной ряд, использованный в одном варианте осуществления изобретения для прогнозирования будущих значений в этом временном ряду. В частности, на фиг.5 показано поведение финансового инструмента компании ALTRIA GROUP INC (обозначенного МО). Абсцисса на фиг.5 показывает время в сутках, а ордината указывает значение этого финансового инструмента. В соответствии с известным методом для нейронного прогнозирования запаздывающие во времени (лаговые) значения временного ряда использовались для предсказания будущих значений. Этот метод основан на реконструкции фазового аттрактора динамической системы внутри нейронной сети, тем самым извлечении закономерности развития системы во времени.Figure 5 shows the time series used in one embodiment of the invention to predict future values in this time series. In particular, figure 5 shows the behavior of the financial instrument of the company ALTRIA GROUP INC (designated MO). The abscissa in Fig. 5 shows the time in days, and the ordinate indicates the value of this financial instrument. In accordance with the known method for neural prediction, time-lag (lag) values of the time series were used to predict future values. This method is based on the reconstruction of the phase attractor of a dynamic system inside a neural network, thereby extracting the patterns of system development over time.

В соответствии с описываемым вариантом осуществления изобретения предполагается, что временной процесс является «почти Марковским» процессом. Марковский процесс - это процесс, в котором «будущее» процесса не зависит от «прошлого» процесса на временном шаге известного «настоящего». В этом контексте «почти» означает, что завтрашнее значение временного ряда в основном зависит от сегодняшнего значения, но, тем не менее, также зависит и от предыдущих значений. В первом тесте рассматривались входы в нейронную сеть, причем эти входы являются значениями финансового инструмента на кривой по фиг.5 в течение последних пяти дней, но с разными весами. Однако этот метод имеет следующую проблему. По одному входу (или нескольким коррелированным входам в форме лаговых векторов) нейронная сеть будет испытывать так называемый «информационный голод». Иными словами, одного входа или только нескольких входов не достаточно для того, чтобы аппроксимировать временной ряд с помощью нейронной сети.In accordance with the described embodiment of the invention, it is assumed that the time process is an “almost Markov” process. The Markov process is a process in which the "future" of the process does not depend on the "past" of the process at the time step of the known "present". In this context, “almost” means that tomorrow’s significance of the time series mainly depends on today's value, but, nevertheless, also depends on previous values. In the first test, the inputs to the neural network were considered, and these inputs are the values of the financial instrument on the curve of Fig. 5 over the past five days, but with different weights. However, this method has the following problem. At one input (or several correlated inputs in the form of lag vectors), the neural network will experience the so-called “information hunger”. In other words, a single input or only a few inputs is not enough to approximate a time series using a neural network.

Для преодоления этой проблемы необходимо извлечь максимально много информации из одного только временного ряда. Для этого может быть использован описанный выше метод EMD. Это объясняется тем, что извлеченные моды обладают ортогональностью, и число мод будет примерно равным от девяти до двенадцати мод. Эти не коррелирующие моды могут образовывать ортогональные входы в нейронную сеть. Тем не менее, при применении этого метода к временному ряду, показанному на фиг.5, становится очевидно, что низкочастотные моды будут сильно доминировать по сравнению с другими модами.To overcome this problem, it is necessary to extract as much information as possible from only one time series. For this, the EMD method described above can be used. This is because the extracted modes are orthogonal, and the number of modes will be approximately equal to nine to twelve modes. These non-correlating modes can form orthogonal inputs to the neural network. However, when applying this method to the time series shown in FIG. 5, it becomes apparent that low-frequency modes will strongly dominate compared to other modes.

Это иллюстрируется на фиг.6. Абсцисса на этой диаграмме показывает номера мод от 1 до 10, а ордината относится к значениям мод, причем для каждой моды показана эволюция во времени значения моды в предварительно определенном временном окне. Эти моды извлечены из исходного сигнала, показанного на фиг.5. Мода с самой низкой частотой, т.е. мода с номером 10, имеющая частотный период длиннее, чем временное окно, имеет наивысшие значения, лежащие в пределах от 20 до примерно 60, как показано на фиг.6. В противоположность этому, значения мод для других мод намного ниже, т.е. максимальные значения мод для всех других мод с 1 по 9 намного меньше чем 10.This is illustrated in FIG. 6. The abscissa in this diagram shows the mode numbers from 1 to 10, and the ordinate refers to the mode values, and for each mode, the time evolution of the mode value in a predefined time window is shown. These modes are extracted from the original signal shown in FIG. The mode with the lowest frequency, i.e. mode number 10, having a frequency period longer than the time window, has the highest values ranging from 20 to about 60, as shown in Fig.6. In contrast, the mode values for other modes are much lower, i.e. The maximum mod values for all other mods 1 through 9 are much less than 10.

Кроме того, низкочастотные компоненты в сигнале по фиг.5 образуют тренд временного ряда, причем этот тренд не может быть удален посредством разложения, поскольку это повлияет на граничные эффекты, а также на другие эффекты, которыми нельзя пренебречь. Более того, вычитание мод приводит к сильным граничным эффектам, и, следовательно, прогноз даже на один день становится невозможным. Таким образом, изобретателями установлено, что невозможно прогнозировать временной ряд, оказывая влияние на исходный сигнал искусственным образом. Тем не менее, для того чтобы получить хорошие результаты, все входы должны иметь одни и те же значения в среднем. Для достижения этого метод Разложения по Эмпирическим Модам, выполняемый в соответствии с изобретением, применяется не к исходному сигналу, а к производной сигнала, то есть вычисляется скорость изменения во времени исходного сигнала. Это новое представление временного ряда позволяет снизить влияние низкочастотных компонент и дает в результате входные значения для нейронной сети одного и того же порядка.In addition, the low-frequency components in the signal of FIG. 5 form a time series trend, and this trend cannot be removed by decomposition, since this will affect the boundary effects, as well as other effects that cannot be neglected. Moreover, subtraction of modes leads to strong boundary effects, and, therefore, forecasting even for one day becomes impossible. Thus, the inventors found that it is impossible to predict the time series by influencing the original signal artificially. However, in order to get good results, all inputs must have the same average values. To achieve this, the Empirical Mode Expansion method performed in accordance with the invention is applied not to the original signal, but to the derivative of the signal, i.e., the rate of change in time of the original signal is calculated. This new representation of the time series reduces the influence of low-frequency components and results in input values for the neural network of the same order.

На фиг.7 показана диаграмма, на которой абсцисса показывает время в сутках, а ордината соответствует значениям производной исходного сигнала, показанного на фиг.5. Сигнал, показанный на фиг.7, соответствует сигналу, над которым производится Разложение по Эмпирическим Модам. В результате Разложения по Эмпирическим Модам получают моды, показанные на фиг.8. Аналогично фиг.6, по оси абсцисс показаны разные моды от 1 до 10, а по оси ординат показаны значения мод. Как можно видеть из фиг.8, большинство мод имеют тот же самый порядок, и больше нет доминирующей низкочастотной моды.Figure 7 shows a diagram in which the abscissa shows the time in days, and the ordinate corresponds to the values of the derivative of the original signal shown in figure 5. The signal shown in Fig. 7 corresponds to the signal over which the Empirical Mods decomposition is performed. As a result of the Empirical Mode Expansion, the modes shown in FIG. 8 are obtained. Similarly to FIG. 6, different modes from 1 to 10 are shown on the abscissa axis, and mode values are shown on the ordinate axis. As can be seen from FIG. 8, most modes are in the same order, and there is no longer a dominant low-frequency mode.

Фиг.9 иллюстрирует ошибку вычислений метода Разложения по Эмпирическим Модам, примененного к значениям производных по фиг.7. Для получения ошибки вычислена сумма всех мод, и полученная сумма вычтена из сигнала по фиг.7. На графике, представленном на фиг.9, по оси абсцисс указано время в сутках, и для каждого дня представлена ошибка на шкале 10-16. Можно видеть, что ошибка очень мала и ею можно пренебречь. Следует отметить, что в случае если к временному ряду будут добавлены новые отсчеты, то единственность разложения нарушается, так как моды становятся другими, таким образом, необходимо переучивать искусственную нейронную сеть, получающую моды в качестве входов, каждый раз, как только получено новое значение ряда. Время переобучения сети на компьютере в среде Matlab (CPU: Celeron 1.3 RAM: DDR2 2 Гб) занимает 5 минут, а разложение сигнала на моды занимает 30 секунд. Следовательно, для оперативного прогнозирования на один день это время обучения не критично.Fig.9 illustrates the calculation error of the Method of Empirical Modification applied to the values of the derivatives of Fig.7. To obtain the error, the sum of all modes is calculated, and the resulting sum is subtracted from the signal in Fig.7. On the graph shown in Fig.9, the abscissa shows the time in days, and for each day an error is presented on a scale of 10 -16 . You can see that the error is very small and can be neglected. It should be noted that if new samples are added to the time series, then the uniqueness of the decomposition is violated, since the modes become different, so it is necessary to retrain the artificial neural network that receives the modes as inputs, each time a new value of the series is received . The time for retraining the network on a computer in Matlab (CPU: Celeron 1.3 RAM: DDR2 2 GB) takes 5 minutes, and decomposition of the signal into modes takes 30 seconds. Therefore, for operational forecasting for one day, this training time is not critical.

В соответствии с изобретением должно учитываться, что временной ряд обычно не является чисто Марковским, так что необходимо включать в качестве входов в нейронную сеть один или более лаговых векторов, т.е. одно или более значений производных в данное время и несколько более ранних временных шагов. Таким образом, вход в нейронную сеть включает моды для данного временного шага, т.е. в текущий день, а также набор лаговых векторов, которые являются значениями производных более ранних временных шагов. Фиг.10 показывает график, иллюстрирующий входы, используемые для нейронной сети, в соответствии с изобретением. По оси абсцисс на графике, представленном на фиг.10, показаны 15 различных входов для нейронной сети. Ордината указывает значение для каждого входа для данного временного окна. Первые входы с 1 по 9 являются модами, извлеченными из значений производных исходного сигнала. Входы с 10 по 15 являются лаговыми векторами, т.е. значениями производных для текущего временного шага и пяти более ранних временных шагов.In accordance with the invention, it should be taken into account that the time series is usually not purely Markovian, so it is necessary to include one or more lag vectors as inputs into the neural network, i.e. one or more derivative values at a given time and several earlier time steps. Thus, the entrance to the neural network includes modes for a given time step, i.e. on the current day, as well as a set of lag vectors, which are the values of the derivatives of earlier time steps. 10 is a graph illustrating inputs used for a neural network in accordance with the invention. The abscissa axis in the graph of FIG. 10 shows 15 different inputs for a neural network. The ordinate indicates the value for each input for a given time window. The first inputs 1 through 9 are modes extracted from the values of the derivatives of the original signal. Inputs 10 through 15 are lag vectors, i.e. derivative values for the current time step and five earlier time steps.

Как упомянуто выше, способ, соответствующий изобретению, был применен к временному ряду, показанному на фиг.5, который представляет значения финансового инструмента компании ALTRIA GROUP INC из индекса Dow Jones. Данные взяты с сайта. Данные показывают значение финансового инструмента для периода времени с 3 января 1995 по 17 апреля 2007 г. Нейронная сеть обучалась на тренировочном множестве, содержащем первые 2500 значений набора данных. Тестовое множество или проверочное множество содержало 400 значений с 2501 по 2900. Остальные 180 значений использовались как производственное множество (множество обобщения) для формирования прогноза.As mentioned above, the method of the invention has been applied to the time series shown in FIG. 5, which represents the financial instrument values of ALTRIA GROUP INC from the Dow Jones index. Data taken from the site. The data show the value of the financial instrument for the time period from January 3, 1995 to April 17, 2007. The neural network was trained on a training set containing the first 2500 values of the data set. The test set or test set contained 400 values from 2501 to 2900. The remaining 180 values were used as a production set (generalization set) to form a forecast.

Для проведения эксперимента использовалась нейронная сеть в форме комитета из рекуррентных сетей Элмана и результаты по комитету усреднялись по выходам всех сетей. Каждая сеть Элмана состояла из двух слоев нейронов, причем каждый слой имел десять нейронов. В качестве метода тренировки (оптимизации) для рекуррентной сети Элмана применялся метод оптимизации весов, в частности метод оптимизации весов под названием BFGS (Broyden-Fletcher-Goldfarb-Shanno). В качестве функций активации нейронной сети использовались тангенциальные функции. Как описано выше, входы сети являлись модами, извлеченными методом Разложения по Эмпирическим Модам из значений производных сигнала по фиг.5, а также некоторыми лаговыми значениями производных.For the experiment, a neural network was used in the form of a committee from Elman's recurrent networks and the results for the committee were averaged over the outputs of all networks. Each Elman network consisted of two layers of neurons, with each layer having ten neurons. As a training (optimization) method for the Elman recurrent network, we used the weight optimization method, in particular, the weight optimization method called BFGS (Broyden-Fletcher-Goldfarb-Shanno). As the activation functions of the neural network, tangential functions were used. As described above, the network inputs were modes extracted by the Empirical Mode Expansion method from the values of the derivatives of the signal in FIG. 5, as well as some lag values of the derivatives.

Результат способа прогнозирования на основе нейронных сетей в соответствии с изобретением представлен на диаграмме, показанной на фиг.11. Абсцисса на этом графике показывает 180 временных шагов производственного множества, упомянутого выше. Ордината показывает значения производных на каждом временном шаге. Диаграмма показывает полезный сигнал, т.е. исходные значения производных, подлежащие прогнозированию, линией 501, в то время как линия 502 показывает значения, полученные прогнозированием согласно способу, соответствующему изобретению. Как видно из фиг.11, имеет место хорошее совпадение между действительными значениями согласно линии 501 и прогнозированными значениями согласно линии 502.The result of a prediction method based on neural networks in accordance with the invention is presented in the diagram shown in FIG. 11. The abscissa in this graph shows the 180 time steps of the production set mentioned above. The ordinate shows the values of the derivatives at each time step. The diagram shows a useful signal, i.e. the initial values of the derivatives to be predicted by line 501, while line 502 shows the values obtained by forecasting according to the method of the invention. As can be seen from FIG. 11, there is a good match between the actual values according to line 501 and the predicted values according to line 502.

Кроме того, было проведено сравнение нового способа, соответствующего изобретению, с традиционным способом прогнозирования на основе лаговых векторов. Оба способа были применены к производственному множеству данных. Для сравнения обоих способов для каждого способа вычислялись коэффициент детерминации, коэффициент корреляции, а также среднеквадратичная ошибка. Наивысшее значение коэффициента детерминации и коэффициента корреляции равно 1, и способ тем лучше, чем выше значения коэффициентов. В таблице на фиг.12 в столбце 601 показаны значения коэффициентов детерминации и корреляции и среднеквадратичная ошибка для нового способа, а в столбце 602 показаны соответствующие значения для традиционного способа на основе лаговых векторов. В строке 603 показаны соответствующие коэффициенты детерминации. В строке 604 показаны соответствующие коэффициенты корреляции. В строке 605 показана среднеквадратичная ошибка. Очевидно, что способ, соответствующий изобретению, лучше, чем традиционный способ. В частности, коэффициент детерминации способа, соответствующего изобретению, равен 0,92 по сравнению с значением 0,7 для способа лаговых векторов. Коэффициент корреляции нового способа, имеющий значение 0,95, также лучше, чем в традиционном способе, имеющем коэффициент 0,92. Кроме того, среднеквадратичная ошибка меньше при использовании способа, соответствующего изобретению. Ошибка в способе, соответствующем изобретению, имеет значение 0,08, в то время как традиционный способ имеет значение ошибки 0,13.In addition, a comparison was made of the new method corresponding to the invention with the traditional forecasting method based on lag vectors. Both methods were applied to the production dataset. To compare both methods, the determination coefficient, the correlation coefficient, and also the standard error were calculated for each method. The highest value of the coefficient of determination and the correlation coefficient is 1, and the better the method, the higher the values of the coefficients. In the table of FIG. 12, column 601 shows the values of the coefficients of determination and correlation and the standard error for the new method, and column 602 shows the corresponding values for the traditional method based on lag vectors. Line 603 shows the corresponding determination coefficients. Line 604 shows the corresponding correlation coefficients. Line 605 shows the standard error. Obviously, the method according to the invention is better than the traditional method. In particular, the coefficient of determination of the method according to the invention is 0.92 compared to a value of 0.7 for the lag vector method. The correlation coefficient of the new method, having a value of 0.95, is also better than in the traditional method, having a coefficient of 0.92. In addition, the standard error is less when using the method corresponding to the invention. The error in the method corresponding to the invention has a value of 0.08, while the traditional method has an error value of 0.13.

В соответствии с вышеизложенным описан новый способ прогнозирования временных рядов на основе нейронных сетей в применении к временному ряду финансовых данных. Тем не менее, этот способ также может быть применен к любому другому временному ряду данных, в частности к временному ряду в технических системах, например, в области вибродиагностики. Способ, соответствующий изобретению, обеспечивает возможность прогнозирования будущих значений производной финансового временного ряда с гораздо большей точностью, чем известные способы. Данный способ без особых сложностей обеспечивает возможность построения прибыльной финансовой стратегии на финансовом рынке. Данный подход можно обобщить, если вместо мод использовать энергию мод. В этом случае задачу аппроксимации можно свести к задаче классификации. Таким образом, искусственная нейронная сеть должна быть обучена классифицировать финансовый временной ряд на три категории, а именно покупать, продавать или ничего не делать. Как отмечено выше, способ, соответствующий изобретению, может быть обобщен на задачи вибродиагностики, задачи классификации критических моментов в динамике сложных систем и для прогнозирования крахов на финансовых рынках.In accordance with the foregoing, a new method for predicting time series based on neural networks as applied to a time series of financial data is described. However, this method can also be applied to any other time series of data, in particular to a time series in technical systems, for example, in the field of vibration diagnostics. The method corresponding to the invention provides the ability to predict future values of the derivative of the financial time series with much greater accuracy than known methods. This method without any difficulties provides the ability to build a profitable financial strategy in the financial market. This approach can be generalized if mode energy is used instead of modes. In this case, the approximation problem can be reduced to the classification problem. Thus, an artificial neural network must be trained to classify the financial time series into three categories, namely to buy, sell or do nothing. As noted above, the method corresponding to the invention can be generalized to problems of vibration diagnostics, problems of classification of critical moments in the dynamics of complex systems and for predicting collapses in financial markets.

Claims (9)

1. Способ компьютеризованного обучения одной или более нейронных сетей на основе временного ряда данных, содержащего первые значения на последовательных временных шагах, причем временные ряды данных содержат данные, измеренные в технической системе, причем данные, измеренные в упомянутой технической системе, представляют собой данные вибрации, причем способ заключается в том, что:
генерируют временной ряд вторых значений, вычисляя скорость изменения упомянутых первых значений временного ряда данных;
подвергают Разложению по Эмпирическим Модам временной ряд упомянутых вторых значений, приводящему в результате к нескольким модам, причем каждая мода является временным рядом значений мод;
обучают одну или более нейронных сетей, причем каждая нейронная сеть содержит один или более искусственных нейронов, связанных
с одним или более первых входов для каждой моды для ввода значения моды на заданном временном шаге и одним или более вторых входов для ввода вторых значений на упомянутом заданном временном шаге и/или на одном или более временных шагах перед упомянутым заданным временным шагом;
по меньшей мере, с одним выходом для вывода второго значения на временном шаге после упомянутого заданного временного шага.1. A method for computerized training of one or more neural networks based on a time series of data containing the first values at consecutive time steps, the time series of data containing data measured in a technical system, the data measured in said technical system being vibration data, moreover, the method consists in the fact that:
generating a time series of second values by calculating a rate of change of said first values of a data time series;
subjecting them to Empirical Modifications a time series of said second values, resulting in several modes, each mode being a time series of mode values;
teach one or more neural networks, each neural network containing one or more artificial neurons connected
with one or more first inputs for each mode for entering a mode value at a given time step and one or more second inputs for entering second values at a specified time step and / or at one or more time steps before said predetermined time step;
with at least one output for outputting a second value at a time step after said predetermined time step. 2. Способ по п.1, в котором упомянутые одна или более нейронных сетей содержат одну или более рекуррентных нейронных сетей.2. The method according to claim 1, wherein said one or more neural networks comprise one or more recurrent neural networks. 3. Способ по п.2, в котором упомянутые одна или более рекуррентных нейронных сетей содержат рекуррентные сети Элмана.3. The method according to claim 2, in which said one or more recurrent neural networks contain recurrent Elman networks. 4. Способ по любому из предыдущих пунктов, в котором упомянутые одна или более нейронных сетей содержат один или более перцептронов.4. The method according to any one of the preceding paragraphs, wherein said one or more neural networks comprise one or more perceptrons. 5. Способ по п.1, в котором упомянутую одну или более нейронных сетей обучают методом оптимизации весов, в частности методом Broyden-Fletcher-Goldfarb-Shanno.5. The method according to claim 1, in which the aforementioned one or more neural networks are trained by the method of optimization of weights, in particular by the method of Broyden-Fletcher-Goldfarb-Shanno. 6. Способ по п.1, в котором упомянутые одна или более нейронных сетей содержат множество нейронных сетей, имеющих общий выход, для вывода усредненного выхода упомянутого, по меньшей мере, одного выхода упомянутого множества нейронных сетей.6. The method according to claim 1, wherein said one or more neural networks comprise a plurality of neural networks having a common output for outputting an average output of said at least one output of said plurality of neural networks. 7. Способ по п.1, в котором в упомянутом методе Разложения по Эмпирическим Модам огибающую максимумов вторых значений и огибающую минимумов вторых значений аппроксимируют кубическими сплайнами.7. The method according to claim 1, wherein in the aforementioned Method of Empirical Mode Expansion, the envelope of the maxima of the second values and the envelope of the minima of the second values are approximated by cubic splines. 8. Способ компьютеризованного прогнозирования значений временного ряда на основе одной или более нейронных сетей, обучаемых способом по любому из предыдущих пунктов, причем временные ряды данных содержат данные, измеренные в технической системе, причем данные, измеренные в технической системе, представляют собой данные вибрации, причем способ заключается в том, что:
генерируют временной ряд вторых значений, вычисляя скорость изменения упомянутых первых значений;
подвергают временной ряд упомянутых вторых значений Разложению по Эмпирическим Модам, получая в результате несколько мод, причем каждая мода является временным рядом значений мод;
вводят значения упомянутых мод на заданном временном шаге на упомянутые один или более первых входов упомянутой одной или более нейронных сетей и вводят одно или более вторых значений на заданном временном шаге и/или на одном или более временных шагов перед упомянутым заданным временным шагом на упомянутые один или более вторых входов упомянутой одной или более нейронных сетей, получая в результате, по меньшей мере, одно второе значение на временном шаге после упомянутого заданного временного шага на упомянутом, по меньшей мере, одном выходе упомянутой одной или более нейронных сетей.8. A method for computerized prediction of time series values based on one or more neural networks trained by the method according to any one of the preceding paragraphs, the data time series containing data measured in a technical system, the data measured in a technical system being vibration data, moreover the method is that:
generating a time series of second values by calculating a rate of change of said first values;
subjecting the time series of said second values to the Empirical Mode Expansion, resulting in several modes, each mode being a time series of mode values;
enter the values of said modes at a given time step to said one or more first inputs of said one or more neural networks and enter one or more second values at a given time step and / or one or more time steps before said predetermined time step to said one or more than the second inputs of said one or more neural networks, resulting in at least one second value at a time step after said predetermined time step at said at least one the course of said one or more neural networks. 9. Машиночитаемый носитель, содержащий части программного кода для выполнения способа по одному из предыдущих пунктов, когда упомянутые части программного кода исполняются на компьютере. 9. A computer-readable medium containing portions of program code for performing the method according to one of the preceding paragraphs, when said portions of the program code are executed on a computer.
RU2007116053/08A 2007-04-27 2007-04-27 Method for computer-aided training of one or more neural networks RU2459254C2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2007116053/08A RU2459254C2 (en) 2007-04-27 2007-04-27 Method for computer-aided training of one or more neural networks
PCT/EP2008/054701 WO2008132066A1 (en) 2007-04-27 2008-04-18 A method for computer-assisted learning of one or more neural networks
EP08749600A EP2143049A1 (en) 2007-04-27 2008-04-18 A method for computer-assisted learning of one or more neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2007116053/08A RU2459254C2 (en) 2007-04-27 2007-04-27 Method for computer-aided training of one or more neural networks

Publications (2)

Publication Number Publication Date
RU2007116053A RU2007116053A (en) 2008-11-10
RU2459254C2 true RU2459254C2 (en) 2012-08-20

Family

ID=39646224

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2007116053/08A RU2459254C2 (en) 2007-04-27 2007-04-27 Method for computer-aided training of one or more neural networks

Country Status (3)

Country Link
EP (1) EP2143049A1 (en)
RU (1) RU2459254C2 (en)
WO (1) WO2008132066A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2553947C2 (en) * 2013-08-16 2015-06-20 федеральное государственное автономное образовательное учреждение высшего образования "Нижегородский государственный университет им. Н.И.Лобачевского" Training method of biological neuron network of culture grown on multiple-electrode matrix
RU2566979C1 (en) * 2014-12-15 2015-10-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тульский государственный университет" (ТулГУ) Method of training artificial neural network
RU2704751C1 (en) * 2018-10-08 2019-10-30 федеральное государственное бюджетное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" Method of determining parameters of thermomechanical processing and chemical composition of functional materials using a deep neural network
RU2743626C1 (en) * 2019-01-17 2021-02-20 Эдванст Нью Текнолоджиз Ко., Лтд. Strategy search in strategic interaction between parties
RU2744041C1 (en) * 2019-09-10 2021-03-02 Леонид Сергеевич Чернышев Method and a system for predicting time series values using an artificial neural network
US11157316B1 (en) 2020-04-02 2021-10-26 Alipay (Hangzhou) Information Technology Co., Ltd. Determining action selection policies of an execution device
US11204803B2 (en) 2020-04-02 2021-12-21 Alipay (Hangzhou) Information Technology Co., Ltd. Determining action selection policies of an execution device
RU2792685C1 (en) * 2021-10-01 2023-03-23 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ВОЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "Военная академия Ракетных войск стратегического назначения имени Петра Великого" МИНИСТЕРСТВА ОБОРОНЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Method and device for recovering the apparent velocity vector by an ensemble of artificial neural networks

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311593B2 (en) 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US8315305B2 (en) 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9122994B2 (en) 2010-03-26 2015-09-01 Brain Corporation Apparatus and methods for temporally proximate object recognition
US9152915B1 (en) 2010-08-26 2015-10-06 Brain Corporation Apparatus and methods for encoding vector into pulse-code output
US9147156B2 (en) 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
US8990133B1 (en) 2012-12-20 2015-03-24 Brain Corporation Apparatus and methods for state-dependent learning in spiking neuron networks
US9070039B2 (en) 2013-02-01 2015-06-30 Brian Corporation Temporal winner takes all spiking neuron network sensory processing apparatus and methods
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
US9104973B2 (en) 2011-09-21 2015-08-11 Qualcomm Technologies Inc. Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel
US9460387B2 (en) 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US9412064B2 (en) 2011-08-17 2016-08-09 Qualcomm Technologies Inc. Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update
US8719199B2 (en) 2011-09-21 2014-05-06 Brain Corporation Systems and methods for providing a neural network having an elementary network description for efficient implementation of event-triggered plasticity rules
US8725662B2 (en) 2011-09-21 2014-05-13 Brain Corporation Apparatus and method for partial evaluation of synaptic updates based on system events
US8725658B2 (en) 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US10210452B2 (en) 2011-09-21 2019-02-19 Qualcomm Incorporated High level neuromorphic network description apparatus and methods
US9213937B2 (en) 2011-09-21 2015-12-15 Brain Corporation Apparatus and methods for gating analog and spiking signals in artificial neural networks
US9015092B2 (en) 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9146546B2 (en) 2012-06-04 2015-09-29 Brain Corporation Systems and apparatus for implementing task-specific learning using spiking neurons
US9098811B2 (en) 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
US9104186B2 (en) 2012-06-04 2015-08-11 Brain Corporation Stochastic apparatus and methods for implementing generalized learning rules
US9117176B2 (en) 2011-09-21 2015-08-25 Qualcomm Technologies Inc. Round-trip engineering apparatus and methods for neural networks
US9156165B2 (en) 2011-09-21 2015-10-13 Brain Corporation Adaptive critic apparatus and methods
US9129221B2 (en) 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
CN102705303B (en) * 2012-05-16 2014-12-24 北京航空航天大学 Fault location method based on residual and double-stage Elman neural network for hydraulic servo system
RU2504006C1 (en) * 2012-06-05 2014-01-10 Александр Николаевич Цуриков Method of training artificial neural network
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9256215B2 (en) 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US9256823B2 (en) * 2012-07-27 2016-02-09 Qualcomm Technologies Inc. Apparatus and methods for efficient updates in spiking neuron network
US9189730B1 (en) 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9082079B1 (en) 2012-10-22 2015-07-14 Brain Corporation Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9123127B2 (en) 2012-12-10 2015-09-01 Brain Corporation Contrast enhancement spiking neuron network sensory processing apparatus and methods
US9195934B1 (en) 2013-01-31 2015-11-24 Brain Corporation Spiking neuron classifier apparatus and methods using conditionally independent subsets
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
CN103267826A (en) * 2013-04-17 2013-08-28 沈阳大学 A Soft Sensing Method for Online Detection of Gelatin Concentration
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
CN103471971A (en) * 2013-09-26 2013-12-25 沈阳大学 Soft measurement method for online detecting fine powder rate of aluminum powder
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
CN104268638A (en) * 2014-09-11 2015-01-07 广州市香港科大霍英东研究院 Photovoltaic power generation system power predicting method of elman-based neural network
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
USD898059S1 (en) 2017-02-06 2020-10-06 Sas Institute Inc. Display screen or portion thereof with graphical user interface
CN106961249B (en) * 2017-03-17 2019-02-19 广西大学 A photovoltaic array fault diagnosis and early warning method
USD898060S1 (en) 2017-06-05 2020-10-06 Sas Institute Inc. Display screen or portion thereof with graphical user interface
US10902293B2 (en) 2018-03-16 2021-01-26 Cisco Technology, Inc. Neural architecture construction using envelopenets for image recognition
CN109583566A (en) * 2018-11-20 2019-04-05 东北农业大学 Ammonia concentration prediction technique in a kind of cold ground pig house based on empirical mode decomposition and Elman neural network
CN110377984B (en) * 2019-07-02 2023-08-18 中国科学院深圳先进技术研究院 Industrial equipment residual effective life prediction method and system and electronic equipment
CN111008726B (en) * 2019-10-28 2023-08-29 武汉理工大学 A method for image-like conversion in power load forecasting

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065157A2 (en) * 2001-02-14 2002-08-22 The United States Of America, As Represented By The Aministrator Of The National Aeronautics And Space Administration (Nasa) Empirical mode decomposition for analyzing acoustical signals
US20030033094A1 (en) * 2001-02-14 2003-02-13 Huang Norden E. Empirical mode decomposition for analyzing acoustical signals
KR20030031602A (en) * 2001-10-15 2003-04-23 재단법인 포항산업과학연구원 Method for designing the second optimum cooling pattern of continuous slab casting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002065157A2 (en) * 2001-02-14 2002-08-22 The United States Of America, As Represented By The Aministrator Of The National Aeronautics And Space Administration (Nasa) Empirical mode decomposition for analyzing acoustical signals
US20030033094A1 (en) * 2001-02-14 2003-02-13 Huang Norden E. Empirical mode decomposition for analyzing acoustical signals
KR20030031602A (en) * 2001-10-15 2003-04-23 재단법인 포항산업과학연구원 Method for designing the second optimum cooling pattern of continuous slab casting

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2553947C2 (en) * 2013-08-16 2015-06-20 федеральное государственное автономное образовательное учреждение высшего образования "Нижегородский государственный университет им. Н.И.Лобачевского" Training method of biological neuron network of culture grown on multiple-electrode matrix
RU2566979C1 (en) * 2014-12-15 2015-10-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тульский государственный университет" (ТулГУ) Method of training artificial neural network
RU2704751C1 (en) * 2018-10-08 2019-10-30 федеральное государственное бюджетное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" Method of determining parameters of thermomechanical processing and chemical composition of functional materials using a deep neural network
RU2743626C1 (en) * 2019-01-17 2021-02-20 Эдванст Нью Текнолоджиз Ко., Лтд. Strategy search in strategic interaction between parties
RU2744041C1 (en) * 2019-09-10 2021-03-02 Леонид Сергеевич Чернышев Method and a system for predicting time series values using an artificial neural network
US11157316B1 (en) 2020-04-02 2021-10-26 Alipay (Hangzhou) Information Technology Co., Ltd. Determining action selection policies of an execution device
US11204803B2 (en) 2020-04-02 2021-12-21 Alipay (Hangzhou) Information Technology Co., Ltd. Determining action selection policies of an execution device
RU2792685C1 (en) * 2021-10-01 2023-03-23 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ВОЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ "Военная академия Ракетных войск стратегического назначения имени Петра Великого" МИНИСТЕРСТВА ОБОРОНЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Method and device for recovering the apparent velocity vector by an ensemble of artificial neural networks

Also Published As

Publication number Publication date
EP2143049A1 (en) 2010-01-13
WO2008132066A1 (en) 2008-11-06
RU2007116053A (en) 2008-11-10

Similar Documents

Publication Publication Date Title
RU2459254C2 (en) Method for computer-aided training of one or more neural networks
EP3776534B1 (en) Systems, methods, and computer-readable media for improved real-time audio processing
US5517667A (en) Neural network that does not require repetitive training
CN111261183B (en) Method and device for denoising voice
CN111627458B (en) Sound source separation method and equipment
US11593633B2 (en) Systems, methods, and computer-readable media for improved real-time audio processing
Nourani et al. Hybrid denoising-jittering data pre-processing approach to enhance multi-step-ahead rainfall–runoff modeling
CN114333773A (en) Industrial scene abnormal sound detection and identification method based on self-encoder
Kim et al. Incremental binarization on recurrent neural networks for single-channel source separation
CN117895486A (en) Method and system for evaluating multi-source collaborative power generation capacity before, during and after extreme weather
Jadda et al. Speech enhancement via adaptive Wiener filtering and optimized deep learning framework
CN117497008A (en) Speech emotion recognition method and tool based on glottal vibration sequence dynamic modeling
CN120599822A (en) Traffic flow prediction method, device, electronic device and storage medium
CN119088700A (en) A method for automotive software defect prediction based on dynamic feature selection and supersampling
Srinivas et al. Detection of vowel-like speech: an efficient hardware architecture and it's FPGA prototype
CN108573698B (en) A speech noise reduction method based on gender fusion information
CN117789754A (en) Audio event detection model generation method, device, equipment and storage medium
Brakel et al. Bidirectional truncated recurrent neural networks for efficient speech denoising
Karthik et al. An optimized convolutional neural network for speech enhancement
CN115859048A (en) Noise processing method and device for partial discharge signal
CN120071969B (en) Underwater sound target identification method and device and computer readable storage medium
CN120524160B (en) Gearbox fault diagnosis method based on light-weight variable decibel phylls learning
Tank et al. Adaptive recurrent nonnegative matrix factorization with phase compensation for Single-Channel speech enhancement
CN120089150B (en) A method, system, device and medium for sound extraction and enhancement for marine organisms
Modalavalasa et al. Intelligent Parameter Tuning Using Segmented Adaptive Reinforcement Learning Algorithm