[go: up one dir, main page]

RU194498U1 - ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS - Google Patents

ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS Download PDF

Info

Publication number
RU194498U1
RU194498U1 RU2019122353U RU2019122353U RU194498U1 RU 194498 U1 RU194498 U1 RU 194498U1 RU 2019122353 U RU2019122353 U RU 2019122353U RU 2019122353 U RU2019122353 U RU 2019122353U RU 194498 U1 RU194498 U1 RU 194498U1
Authority
RU
Russia
Prior art keywords
neural network
blocks
outputs
technical
input
Prior art date
Application number
RU2019122353U
Other languages
Russian (ru)
Inventor
Андрей Александрович Шведун
Дмитрий Владимирович Ягольников
Владислав Анатольевич Солдатенко
Илья Александрович Созонтов
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации filed Critical Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия воздушно-космической обороны имени Маршала Советского Союза Г.К. Жукова" Министерства обороны Российской Федерации
Priority to RU2019122353U priority Critical patent/RU194498U1/en
Application granted granted Critical
Publication of RU194498U1 publication Critical patent/RU194498U1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Полезная модель относится к средствам технической кибернетики и параллельной вычислительной техники и может быть использована при построении систем диагностики и идентификации технического состояния радиотехнических средств на множестве прецедентов. Техническим результатом является повышение скорости обучения искусственной нейронной сети и достоверности идентификации классов технического состояния радиотехнических средств. Устройство содержит блок предварительной обработки результатов измерений 7, блок разбиения обучающего примера на входные и выходные векторы 5, блоки распределительных элементов 1, блоки нелинейных преобразователей, взвешенной суммы выходов нейронов первого слоя 2, блоки нелинейных преобразователей взвешенной суммы нейронов второго слоя 3, блоки формирования невязки 4, блоки управления нижней границы интервала обобщения 6. 1 ил.The utility model relates to technical cybernetics and parallel computing equipment and can be used in the construction of diagnostic systems and identification of the technical state of radio engineering tools on many precedents. The technical result is to increase the learning speed of an artificial neural network and the reliability of identification of classes of the technical condition of radio equipment. The device comprises a unit for preliminary processing of measurement results 7, a unit for dividing the training example into input and output vectors 5, blocks of distribution elements 1, blocks of nonlinear converters, weighted sum of outputs of neurons of the first layer 2, blocks of nonlinear converters of weighted sum of neurons of the second layer 3, blocks of residual formation 4, control units of the lower boundary of the generalization interval 6. 1 ill.

Description

Техническое решение относится к средствам технической кибернетики и параллельной вычислительной техники и может быть использовано при построении систем диагностики и идентификации технического состояния радиотехнических средств (РТС) на множестве прецедентов.The technical solution relates to technical cybernetics and parallel computing equipment and can be used in the construction of diagnostic systems and identification of the technical state of radio engineering tools (RTS) on many precedents.

Известна модель многослойной нейронной сети (патент RU 115098, опубл. 20.04.2012), где сеть, включающая первый скрытый слой нейронов с логистическими функциями активации, содержащий 11 или 12 нейронов, второй скрытый слой с логистическими функциями активации или гиперболическим тангенсом, содержащий 9 или 10 нейронов, один нейрон выходного слоя с линейной функцией активации, отличающийся тем, что выходы первого слоя нейронов соединены только с входами второго слоя нейронов, выходы второго слоя нейронов соединены только с входами третьего слоя нейронов, а выход третьего слоя нейронов не имеет соединения с входами нейронов первого и второго слоев нейронов.A known model of a multilayer neural network (patent RU 115098, publ. 04/20/2012), where a network comprising a first hidden layer of neurons with logistic activation functions, containing 11 or 12 neurons, a second hidden layer with logistic activation functions or hyperbolic tangent, containing 9 or 10 neurons, one neuron of the output layer with a linear activation function, characterized in that the outputs of the first layer of neurons are connected only to the inputs of the second layer of neurons, the outputs of the second layer of neurons are connected only to the inputs of the third layer of neuron in, and an output neuron of the third layer does not connect to the inputs of the neurons of the first and second layers of neurons.

Недостатком известного решения является то, что она имеет не только ограничения по обобщающей способности, ввиду классической архитектуры, но и ограничения относительно представления нелинейного класса функций на обучающей выборке, так как содержит один нейрон выходного слоя с линейной функцией активации.A disadvantage of the known solution is that it has not only limitations on the generalizing ability, due to the classical architecture, but also restrictions on the representation of a nonlinear class of functions on the training set, since it contains one neuron of the output layer with a linear activation function.

Известна искусственная нейронная сеть (патент 62609, опубл. 27.04.2007), содержащая входной сумматор, последовательно связанный с нелинейным преобразователем сигналов и точкой ветвления для рассылки одного сигнала по нескольким адресам, а также линейную связь - синапс, для умножения входного сигнала на вес синапса, отличающийся тем, что в качестве входного сумматора используют изомерные ядра со временем жизни в возбужденном состоянии несколько лет, в качестве нелинейного преобразователя используют квантовые точки, в качестве точки ветвления используют узел, выполненный из углеродных нанотрубок, а в качестве синапса - отдельно взятый переход одного изомерного ядра с низших на один из высших энергетических уровней под действием фотона большой энергии.Known artificial neural network (patent 62609, publ. 04/27/2007), containing an input adder connected in series with a non-linear signal converter and a branch point for sending one signal to several addresses, as well as a linear connection - synapse, to multiply the input signal by the weight of the synapse , characterized in that as an input adder use isomeric nuclei with a lifetime of several years in an excited state, quantum dots are used as a nonlinear converter, as a branch point and polzujut assembly formed of carbon nanotubes, and as synapse - separately taken one isomeric transition nucleus with the lower one of the higher energy levels under the action of high-energy photon.

Недостатком известного решения является низкая производительность при обучении и достоверность распознавания.A disadvantage of the known solution is low learning performance and recognition accuracy.

Наиболее близким по технической сущности и достигаемому результату является решение (патент RU 151549 U1, опубл. 10.04.2015), где искусственная нейронная сеть, состоящая из блоков распределительных элементов (синапсов), связанных с блоками нелинейных преобразователей взвешенной суммы нейронов первого и второго слоев, отличающаяся тем, что нелинейные преобразователи выполнены из умножителя, проходящего через синапс сигнала на взвешенную сумму (вес) этого синапса, сумматора и нелинейного преобразователя согласно своей функции активации, дополнительно введены блок формирования невязки между входным значением нейронной сети и ее целевым значением, блок разбиения обучающего примера на входные и выходные векторы, блок управления нижней границей интервала обобщения, причем нелинейные преобразователи взвешенной суммы первого слоя соединены с нелинейными преобразователями второго слоя, выходы которых соединены с входами блоков формирования невязки между выходным значением нейронной сети и ее целевым значением, а первые выходы блока разбиения обучающего примера на входные и выходные векторы соединены с входами блоков распределительных элементов, вторые его выходы связаны с входами блока управления нижней границы интервала обобщения, а третьи выходы связаны с блоками формирования невязки между выходным значением нейронной сети и ее целевым значением.The closest in technical essence and the achieved result is a solution (patent RU 151549 U1, publ. 04/10/2015), where an artificial neural network consisting of blocks of distribution elements (synapses) connected with blocks of nonlinear converters of the weighted sum of neurons of the first and second layers, characterized in that the non-linear converters are made of a multiplier passing through the signal synapse by the weighted sum (weight) of this synapse, adder and non-linear converter according to its activation function, add the block of formation of the residual between the input value of the neural network and its target value, the block for dividing the training example into input and output vectors, the control unit for the lower boundary of the generalization interval, the nonlinear converters of the weighted sum of the first layer are connected to the nonlinear converters of the second layer, the outputs of which are connected to the inputs of the blocks of formation of the residual between the output value of the neural network and its target value, and the first outputs of the block for dividing the training example into input and output The second vectors are connected to the inputs of the blocks of the distribution elements, its second outputs are connected to the inputs of the control unit of the lower boundary of the generalization interval, and the third outputs are connected to the blocks of formation of the residual between the output value of the neural network and its target value.

Недостатком наиболее близкого решения является низкая скорость обучения искусственной нейронной сети и достоверность распознавания, которые в значительной степени определяются набором параметров, подаваемых на вход искусственной нейронной сети (компонентами входного вектора), а также высокая чувствительность используемого алгоритма обучения нейронной сети к локальным минимумам целевой функции.The disadvantage of the closest solution is the low learning speed of the artificial neural network and the recognition reliability, which are largely determined by the set of parameters supplied to the input of the artificial neural network (components of the input vector), as well as the high sensitivity of the used neural network training algorithm to local minima of the objective function.

Задачей предложенного технического решения является повышение скорости обучения искусственной нейронной сети и достоверности распознавания классов технического состояния РТС.The objective of the proposed technical solution is to increase the learning speed of an artificial neural network and the reliability of recognition of classes of the technical condition of the RTS.

Поставленная задача достигается за счет того, что в отличии от известного технического решения при обучении искусственной нейронной сети для идентификации технического состояния РТС применяется эвристическая модификация алгоритма Левенберга-Марквардта, а также за счет дополнительного введения в состав нейронной сети блока предварительной обработки результатов измерений, на вход которого поступают контролируемые параметры технического состояния РТС, которые могут иметь различные единицы измерения, где производится их нормировка. Выходы блока предварительной обработки результатов измерений соединенного с блоком разбиения обучающего примера на входные и выходные векторы, первые выходы которого связаны с блоками распределительных элементов - входной слой нейронов (синапсов), связанных с блоками нелинейных преобразователей взвешенной суммы нейронов первого и второго слоев, выполняющих функцию умножения проходящего через синапс сигнала на взвешенную сумму (весовой коэффициент) этого синапса, суммирования и нелинейного преобразования согласно своей функции активации. Также в состав искусственной нейронной сети входят блоки формирования невязки между входным значением нейронной сети и ее целевым значением, блок разбиения обучающего примера на входные и выходные векторы, блоки управления нижней границей интервала обобщения, причем нелинейные преобразователи первого слоя соединены с нелинейными преобразователями второго слоя, выходы которых соединены с входами блоков формирования невязки между выходным значением нейронной сети и ее целевым значением, а первые выходы блока разбиения обучающего примера на входные и выходные векторы соединены со входами блоков распределительных элементов, вторые его выходы связаны с входами блока управления нижней границы интервала обобщения, а третьи выходы связаны с блоками формирования невязки между выходным значением нейронной сети и ее целевым значением.The problem is achieved due to the fact that, in contrast to the known technical solution, in training an artificial neural network, the heuristic modification of the Levenberg-Marquardt algorithm is used to identify the technical state of the RTS, as well as due to the additional input of the preliminary processing of measurement results to the input of the neural network which receives controlled parameters of the technical state of the RTS, which may have different units of measurement, where they are normalized. The outputs of the preliminary processing unit of the measurement results connected to the partitioning block of the training example into input and output vectors, the first outputs of which are connected with blocks of distribution elements - the input layer of neurons (synapses) associated with blocks of nonlinear converters of the weighted sum of neurons of the first and second layers that perform the multiplication function the signal passing through the synapse by the weighted sum (weight coefficient) of this synapse, summation and non-linear transformation according to its function vations. The artificial neural network also includes blocks for generating a residual between the input value of the neural network and its target value, a block for dividing the training example into input and output vectors, control units for the lower boundary of the generalization interval, and nonlinear converters of the first layer are connected to nonlinear converters of the second layer, outputs which are connected to the inputs of the blocks of the formation of the residual between the output value of the neural network and its target value, and the first outputs of the training partition block at EPA at the input and output vectors are connected to the inputs of switching elements of the blocks, the second of its outputs connected to inputs of the lower boundary of the control unit generalization interval, and third outputs are connected with the blocks forming the discrepancy between the output value of the neural network and its target value.

На Фиг. 1 представлена структурная схема искусственной нейронной сети для идентификации технического состояния РТС, где введены следующие обозначения:In FIG. 1 is a structural diagram of an artificial neural network to identify the technical state of the RTS, where the following notation is introduced:

Figure 00000001
- результаты измерений контролируемых параметров технического состояния РТС (компоненты входного вектора);
Figure 00000001
- measurement results of controlled parameters of the technical state of the RTS (components of the input vector);

Figure 00000002
- нормированные значения результатов измерений контролируемых параметров технического состояния РТС;
Figure 00000002
- normalized values of the measurement results of the controlled parameters of the technical condition of the RTS;

n - число нелинейных преобразователей (нейронов) входного слоя, соответствующее числу контролируемых параметров РТС;n is the number of nonlinear converters (neurons) of the input layer, corresponding to the number of controlled parameters of the RTS;

Figure 00000003
- весовые коэффициенты искусственной нейронной сети;
Figure 00000003
- weights of the artificial neural network;

Figure 00000004
- пороговые величины нелинейных преобразователей скрытого слоя;
Figure 00000004
- threshold values of non-linear converters of the hidden layer;

q - число блоков нелинейных преобразователей взвешенной суммы нейронов на выходе скрытого слоя искусственной нейронной сети;q is the number of blocks of nonlinear converters of the weighted sum of neurons at the output of the hidden layer of an artificial neural network;

Figure 00000005
- возможные классы технического состояния РТС (компоненты выходного вектора);
Figure 00000005
- possible classes of the technical state of the RTS (components of the output vector);

Figure 00000006
- компоненты целевого вектора.
Figure 00000006
- components of the target vector.

Искусственная нейронная сеть для идентификации технического состояния РТС содержит блок предварительной обработки результатов измерений 7, выходы которого соединены с входами блока разбиения обучающего примера на входные и выходные векторы 5, первые выходы которого соединены с блоками распределительных элементов 1, выходы которых соединены с входами блоков нелинейных преобразователей, взвешенной суммы выходов нейронов первого слоя 2, выходы которых соединены с входами блоков нелинейных преобразователей взвешенной суммы нейронов второго слоя 3, выходы которых соединены с входами блоков формирования невязки 4 между выходным значением нейронной сети u1, u2, …, uq и ее целевым значением d1, d2, …, dq, а вторые выходы блока разбиения обучающего примера на входные и выходные векторы 5 соединены с входами блоков управления нижней границы интервала обобщения 6, а третьи выходы связаны с блоками формирования невязки 4 между выходным значением нейронной сети и ее целевым значением.The artificial neural network for identifying the technical state of the RTS contains a preliminary processing unit for the measurement results 7, the outputs of which are connected to the inputs of the partitioning block of the training example into input and output vectors 5, the first outputs of which are connected to the blocks of distribution elements 1, the outputs of which are connected to the inputs of the blocks of nonlinear converters , the weighted sum of the outputs of the neurons of the first layer 2, the outputs of which are connected to the inputs of the blocks of nonlinear converters of the weighted sum of the neurons of the second layer 3, the outputs of which are connected to the inputs of the residual formation blocks 4 between the output value of the neural network u 1 , u 2 , ..., u q and its target value d 1 , d 2 , ..., d q , and the second outputs of the partitioning block of the training example the input and output vectors 5 are connected to the inputs of the control units of the lower boundary of the generalization interval 6, and the third outputs are connected to the blocks for generating a residual 4 between the output value of the neural network and its target value.

Искусственная нейронная сеть для идентификации технического состояния РТС работает следующим образом. На вход нейронной сети поступают результаты измерений контролируемых параметров технического состояния РТС. Результаты идентификации входного вектора сети формируют на ее выходе номер класса технического состояния РТС, которому соответствует его исправное состояние либо соответствующая номеру класса неисправность. По окончании идентификации технического состояния РТС с заданной периодичностью производится классификация следующих технических состояний РТС.An artificial neural network for identifying the technical condition of the RTS works as follows. At the input of the neural network, the results of measurements of the controlled parameters of the technical state of the RTS are received. The results of identifying the input vector of the network form at its output a class number of the technical condition of the RTS, which corresponds to its working condition or a malfunction corresponding to the class number. Upon completion of the identification of the technical condition of the RTS with a given frequency, the following technical conditions of the RTS are classified.

Так как компонентами входного вектора искусственной нейронной сети для идентификации технического состояния РТС являются контролируемые параметры технического состояния РТС, которые могут иметь различные единицы измерения, соответственно для того, чтобы над ними можно было производить арифметические и логические действия, их необходимо нормировать, переходя к безразмерным величинам. В связи с этим в состав искусственной нейронной сети дополнительно введен блок предварительной обработки результатов измерений 8, наличие которого положительно влияет на скорость обучения искусственной нейронной сети и достоверность распознавания классов технического состояния РТС.Since the components of the input vector of an artificial neural network for identifying the technical state of the RTS are controlled parameters of the technical state of the RTS, which can have different units of measurement, respectively, so that they can perform arithmetic and logical operations, they must be normalized, going to dimensionless quantities . In this regard, the preliminary processing unit of measurement results 8 was additionally introduced into the composition of the artificial neural network, the presence of which positively affects the learning speed of the artificial neural network and the reliability of recognition of classes of the technical state of the RTS.

Приведение данных к единичному масштабу [0,1] в соответствии с выбранным видом функции активации нейронов сети обеспечивается нормировкой каждого значения входных параметров сети. Предлагается ориентироваться при нормировке не на экстремальные значения (линейная нормировка), а на типичные, т.е. статистические характеристики данных, такие как среднее и дисперсия. Преобразование

Figure 00000007
в диапазон [0,1] осуществляется в соответствии с выражениями, содержащими функцию нелинейного преобразования:Bringing the data to a unit scale [0,1] in accordance with the selected type of function of the activation of network neurons is provided by normalizing each value of the input network parameters. It is proposed to focus during normalization not on extreme values (linear normalization), but on typical ones, i.e. statistical characteristics of the data, such as mean and variance. Conversion
Figure 00000007
in the range [0,1] is carried out in accordance with the expressions containing the nonlinear conversion function:

Figure 00000008
Figure 00000008

где

Figure 00000009
- среднее значение i-го параметра за N1 отсчетов;Where
Figure 00000009
- the average value of the i-th parameter for N 1 samples;

σi - среднеквадратическое отклонение значения i-го параметра за N1 отсчетов;σ i - the standard deviation of the value of the i-th parameter for N 1 samples;

N1 - число прецедентов выборки.N 1 is the number of sample cases.

Но для решения задачи идентификации технического состояния РТС нейронная сеть должна быть обучена. Обучение предполагает наличие обучающих образов, называемых обучающей последовательностью. При этом для каждого входного образа вычисляют реакцию сети u1 и сравнивают с соответствующим целевым образом d1, их разница представляет собой невязку (ошибку рассогласования), которую сравнивают с заданной точностью, если невязка превышает ее, то корректируют весовые коэффициенты сети, если невязка находится в допустимых пределах, то обучение останавливают.But to solve the problem of identifying the technical state of the RTS, the neural network must be trained. Learning involves the presence of learning images called learning sequences. Moreover, for each input image, the response of the network u 1 is calculated and compared with the corresponding target image d 1 , their difference is a residual (mismatch error), which is compared with a given accuracy, if the residual exceeds it, then the network weights are corrected, if the residual is within acceptable limits, then learning is stopped.

Одним из способов улучшения качества идентификации является выбор наиболее подходящего алгоритма обучения нейронной сети. В наиболее близком по технической сущности и достигаемому результату решении (патент RU 151549 U1, опубл. 10.04.2015) искусственную нейронную сеть обучают при помощи алгоритма градиентного спуска с обратным распространением ошибки. Данный алгоритм достаточно универсальный, однако, не всегда обеспечивает наилучшей сходимости, требует достаточно много времени для обучения нейронной сети, а также необходимо эмпирическое или алгоритмическое определение оптимальной скорости обучения, которая значительно влияет на результативность алгоритма. Значительное улучшение результативности может быть достигнуто применением алгоритмов второго порядка, таких как алгоритм Ньютона, алгоритм сопряженных градиентов или алгоритм Левенберга-Марквардта. Алгоритм Левенберга-Марквардта позволяет достигать наименьшей ошибки нейронной сети, причем, нередко с наименьшими временными затратами. Одной из особенностей алгоритма Левенберга-Марквардта является его чувствительность к локальным минимумам ошибки целевой функции (как и всех алгоритмов локального поиска).One way to improve the quality of identification is to choose the most appropriate neural network learning algorithm. In the solution closest in technical essence and achieved result (patent RU 151549 U1, publ. 04/10/2015), an artificial neural network is trained using the gradient descent algorithm with back propagation of error. This algorithm is quite universal, however, it does not always provide the best convergence, it takes a lot of time to train a neural network, and an empirical or algorithmic determination of the optimal learning speed is required, which significantly affects the performance of the algorithm. Significant improvement in performance can be achieved by applying second-order algorithms such as Newton's algorithm, the conjugate gradient algorithm, or the Levenberg-Marquardt algorithm. The Levenberg-Marquardt algorithm allows you to achieve the smallest error of the neural network, and, often with the least time. One of the features of the Levenberg-Marquardt algorithm is its sensitivity to local minimums of the error of the objective function (as well as of all local search algorithms).

Для решения этой проблемы предлагается использовать эвристический подход, который позволяет избежать «залипания» поискового процесса в локальных минимумах. Оригинальный алгоритм Левенберга-Марквардта не позволяет совершать шагов, которые увеличивают среднюю ошибку нейронной сети. Предлагаемый эвристический подход заставляет алгоритм совершать «рискованные» шаги по поверхности ошибки в случайном направлении с нарастающей величиной шага, пытаясь таким образом «выскочить» из локального минимума, чтобы затем продолжить продвижение к новому минимуму, используя правила оригинального алгоритма. После 6 неудачных попыток найденный минимум признается наименьшим и алгоритм завершает свою работу.To solve this problem, it is proposed to use a heuristic approach that avoids the “sticking” of the search process at local minima. The original Levenberg-Marquardt algorithm does not allow you to take steps that increase the average error of the neural network. The proposed heuristic approach forces the algorithm to take “risky” steps along the error surface in a random direction with increasing step size, thus trying to “jump out” of the local minimum, and then continue to move to a new minimum using the rules of the original algorithm. After 6 unsuccessful attempts, the found minimum is recognized as the smallest and the algorithm completes its work.

Шаги эвристически модифицированного алгоритма Левенберга-Марквардта для обучения искусственной нейронной сети выглядят следующим образом:The steps of the heuristically modified Levenberg-Marquardt algorithm for training an artificial neural network are as follows:

1. Инициализировать начальные значения пороговых величин θij, параметра Левенберга-Марквардта μ и весовых коэффициентов нейронной сети wij случайными числами..1. Initialize the initial values of the threshold values θ ij , the Levenberg-Marquardt parameter μ and the weights of the neural network w ij with random numbers ..

2. Вычислить матрицу Якоби (матрицу первых производных целевой функции по wij) по формуле:2. Calculate the Jacobi matrix (the matrix of the first derivatives of the objective function with respect to w ij ) using the formula:

Figure 00000010
Figure 00000010

3. Вычислить матрицу, аппроксимирующую матрицу Гессе, по формуле:3. Calculate the matrix approximating the Hessian matrix by the formula:

Figure 00000011
Figure 00000011

где J(wij) - матрица Якоби;where J (w ij ) is the Jacobi matrix;

JT (wij) - транспонированная матрица Якоби;J T (w ij ) is the transposed Jacobi matrix;

μ - параметр Левенберга-Марквардта, является скалярной величиной, изменяющейся в процессе оптимизации;μ - Levenberg-Marquardt parameter, is a scalar quantity that changes during optimization;

I(wij) - диагональная матрица из элементов главной диагонали произведения матриц (JT(wtj) J(wij)).I (w ij ) is the diagonal matrix of elements of the main diagonal of the matrix product (J T (w tj ) J (w ij )).

4. Определить значение изменения весовых коэффициентов нейронной сети по выражению:4. To determine the value of the change in the weight coefficients of the neural network by the expression:

Figure 00000012
Figure 00000012

где Ek (Wij) - ошибка обучения нейронной сети на k итерации.where E k (W ij ) is the error of learning a neural network at k iteration.

5. Скорректировать весовые коэффициенты нейронной сети для k+1 итерации:5. Correct the weights of the neural network for k + 1 iteration:

Figure 00000013
Figure 00000013

6. Вычислить ошибку обучения нейронной сети на k+1 итерации по выражению:6. To calculate the error of learning a neural network at k + 1 iterations by the expression:

Figure 00000014
Figure 00000014

7. Сравнить величину ошибки на k+1 итерации с заданным значением ошибки обучения нейронной сети:7. Compare the error value at k + 1 iterations with the given value of the neural network learning error:

Figure 00000015
Figure 00000015

где Δε - предельное значение локальной целевой функции;where Δε is the limit value of the local objective function;

ε - абсолютная погрешность выходного значения нейрона в выходном слое.ε is the absolute error of the output value of the neuron in the output layer.

При выполнении условия обучение нейронной сети заканчивается. Если условие не выполнено, то необходимо перейти к следующему шагу алгоритма.When the condition is fulfilled, the training of the neural network ends. If the condition is not met, then you must go to the next step of the algorithm.

8. Сравнить величину ошибки на k+1 итерации с предыдущим значением ошибки обучения нейронной сети. Если ошибка выросла по отношению к предыдущей итерации Ek+1 (wij)>Ek (wij), то необходимо перейти к следующему шагу алгоритма, если нет, то переход к шагу 11.8. Compare the error value at k + 1 iterations with the previous value of the neural network learning error. If the error has increased in relation to the previous iteration E k + 1 (w ij )> E k (w ij ), then it is necessary to go to the next step of the algorithm, if not, then go to step 11.

9. Увеличить параметр Левенберга-Марквардта в 10 раз μ:=μ⋅10.9. Increase the Levenberg-Marquardt parameter by a factor of 10 μ: = μ⋅10.

10. Оценить количество неудачных попыток выхода из области локального минимума ошибки обучения нейронной сети mi<6. Если данное условие выполняется, то необходимо перейти к шагу 5. При невыполнении условия, переход к шагу 2.10. To estimate the number of unsuccessful attempts to get out of the local minimum of the neural network learning error m i <6. If this condition is met, then go to step 5. If the condition is not met, go to step 2.

11. Уменьшить параметр Левенберга-Марквардта в 10 раз μ:=μ/10 и сохранить значения весовых коэффициентов нейронной сети на данной итерации wk:=wk+1. Далее перейти к шагу 2.11. Decrease the Levenberg-Marquardt parameter by 10 times μ: = μ / 10 and save the values of the weight coefficients of the neural network at this iteration w k : = w k + 1 . Next, go to step 2.

Таким образом, условие прекращения обучения нейронной сети формулируется как:Thus, the condition for the termination of training of a neural network is formulated as:

Figure 00000016
Figure 00000016

где Δε1 - нижнее предельное значение локальной целевой функции;where Δε 1 is the lower limit value of the local objective function;

Δε2 - верхнее предельное значение локальной целевой функции;Δε 2 is the upper limit value of the local objective function;

ε1 - минимально допустимая абсолютная погрешность выходного значения нейрона в выходном слое;ε 1 - the minimum permissible absolute error of the output value of the neuron in the output layer;

ε2 - максимально допустимая абсолютная погрешность выходного значения нейрона в выходном слое.ε 2 - the maximum permissible absolute error of the output value of the neuron in the output layer.

Интервал [ε1,ε2] является интервалом Ω обобщения искусственной нейронной сети.The interval [ε 1 , ε 2 ] is the interval Ω of generalization of the artificial neural network.

Обученная искусственная нейронная сеть, позволяет идентифицировать техническое состояние РТС с заданной достоверностью. А применение эвристической модификации алгоритма Левенберга-Марквардта для обучения сети, в отличии от алгоритма градиентного спуска с обратным распространением ошибки, позволяет снизить чувствительность к локальным минимумам целевой функции.A trained artificial neural network allows you to identify the technical state of the RTS with a given reliability. And the use of the heuristic modification of the Levenberg-Marquardt algorithm for training the network, in contrast to the gradient descent algorithm with the back propagation of the error, can reduce the sensitivity to local minima of the objective function.

Предлагаемое техническое решение промышленно применимо, так как основано на известных достижениях радиоэлектронной техники и предназначено для идентификации технического состояния РТС.The proposed technical solution is industrially applicable, as it is based on the well-known achievements of electronic equipment and is intended to identify the technical condition of the RTS.

Claims (1)

Искусственная нейронная сеть для идентификации технического состояния радиотехнических средств, состоящая из дополнительно введенного блока предварительной обработки результатов измерений необходимого для нормировки, поступающих на вход нейронной сети, результатов измерений контролируемых параметров технического состояния радиотехнических средств, соединенного с блоком разбиения обучающего примера на входные и выходные векторы, первые выходы которого связаны с блоками распределительных элементов (синапсов), выходы которых соединены с входами блоков нелинейных преобразователей взвешенной суммы выходов нейронов первого слоя, выходы которых соединены с входами блоков нелинейных преобразователей взвешенной суммы нейронов второго слоя, выходы которых соединены с входами блоков формирования невязки между выходным значением нейронной сети и ее целевым значением, вторые выходы блока разбиения обучающего примера на входные и выходные векторы связаны с блоками управления нижней границы интервала обобщения, а третьи выходы соединены с блоками формирования невязки между выходным значением нейронной сети и ее целевым значением, выходы блоков управления нижней границы интервала обобщения соединены с входами блоков формирования невязки между выходным значением нейронной сети и ее целевым значение, при этом искусственная нейронная сеть обучена при помощи эвристической модификации алгоритма Левенберга-Марквардта.An artificial neural network for identifying the technical state of radio equipment, consisting of an additionally introduced preliminary processing unit for the measurement results necessary for normalization, received at the input of the neural network, measurement results of controlled parameters of the technical state of radio equipment, connected to the unit for dividing the training example into input and output vectors, the first outputs of which are connected with blocks of distribution elements (synapses), the outputs of which are connected inens with the inputs of the blocks of nonlinear converters of the weighted sum of the outputs of the neurons of the first layer, the outputs of which are connected to the inputs of the blocks of nonlinear converters of the weighted sum of the neurons of the second layer, the outputs of which are connected to the inputs of the blocks of the formation of the residual between the output value of the neural network and its target value, the second outputs of the training partition block examples of input and output vectors are connected to control units of the lower boundary of the generalization interval, and the third outputs are connected to blocks of formation of residuals between the output value of the neural network and its target value, the outputs of the control units of the lower boundary of the generalization interval are connected to the inputs of the blocks of the residual formation between the output value of the neural network and its target value, while the artificial neural network is trained using the heuristic modification of the Levenberg-Marquardt algorithm.
RU2019122353U 2019-07-12 2019-07-12 ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS RU194498U1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019122353U RU194498U1 (en) 2019-07-12 2019-07-12 ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019122353U RU194498U1 (en) 2019-07-12 2019-07-12 ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS

Publications (1)

Publication Number Publication Date
RU194498U1 true RU194498U1 (en) 2019-12-12

Family

ID=69007376

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019122353U RU194498U1 (en) 2019-07-12 2019-07-12 ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS

Country Status (1)

Country Link
RU (1) RU194498U1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU222420U1 (en) * 2023-10-12 2023-12-25 федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" DEVICE FOR MONITORING AND FORECASTING ELECTRIC CONSUMPTION IN ELECTRICAL ENERGY SYSTEMS BASED ON NEURAL STRUCTURES

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU111914U1 (en) * 2011-08-26 2011-12-27 Государственное образовательное учреждение высшего профессионального образования "Комсомольский-на-Амуре государственный технический университет" CONTROL SYSTEM WITH CUSTOMIZABLE PARAMETERS BASED ON NEURAL NETWORKS
RU115098U1 (en) * 2011-09-29 2012-04-20 Константин Дмитриевич Белов MULTILAYERED NEURAL NETWORK
RU151549U1 (en) * 2014-07-08 2015-04-10 Дмитрий Маркович Шпрехер ARTIFICIAL NEURAL NETWORK
RU169425U1 (en) * 2016-11-18 2017-03-16 Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный технический университет" POWER FORECASTING FORECAST BASED ON MULTILAYERED NEURAL NETWORK
WO2018199997A1 (en) * 2017-04-28 2018-11-01 Hewlett-Packard Development Company, L.P. Audio classifcation with machine learning model using audio duration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU111914U1 (en) * 2011-08-26 2011-12-27 Государственное образовательное учреждение высшего профессионального образования "Комсомольский-на-Амуре государственный технический университет" CONTROL SYSTEM WITH CUSTOMIZABLE PARAMETERS BASED ON NEURAL NETWORKS
RU115098U1 (en) * 2011-09-29 2012-04-20 Константин Дмитриевич Белов MULTILAYERED NEURAL NETWORK
RU151549U1 (en) * 2014-07-08 2015-04-10 Дмитрий Маркович Шпрехер ARTIFICIAL NEURAL NETWORK
RU169425U1 (en) * 2016-11-18 2017-03-16 Федеральное государственное бюджетное образовательное учреждение высшего образования "Омский государственный технический университет" POWER FORECASTING FORECAST BASED ON MULTILAYERED NEURAL NETWORK
WO2018199997A1 (en) * 2017-04-28 2018-11-01 Hewlett-Packard Development Company, L.P. Audio classifcation with machine learning model using audio duration

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU222420U1 (en) * 2023-10-12 2023-12-25 федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" DEVICE FOR MONITORING AND FORECASTING ELECTRIC CONSUMPTION IN ELECTRICAL ENERGY SYSTEMS BASED ON NEURAL STRUCTURES

Similar Documents

Publication Publication Date Title
Zeng et al. Financial time series forecasting using cnn and transformer
Gulgec et al. Convolutional neural network approach for robust structural damage detection and localization
Celikoglu Application of radial basis function and generalized regression neural networks in non-linear utility function specification for travel mode choice modelling
CN108985335B (en) Integrated learning prediction method for irradiation swelling of nuclear reactor cladding material
CN114758288A (en) A kind of distribution network engineering safety management and control detection method and device
CN110766060B (en) Time series similarity calculation method, system and medium based on deep learning
CN113689030B (en) A short-term wind power prediction method based on bidirectional attention and quadratic optimization
CN113935489A (en) Variational quantum model TFQ-VQA based on quantum neural network and two-stage optimization method thereof
CN110348608A (en) A kind of prediction technique for improving LSTM based on fuzzy clustering algorithm
CN107886193A (en) A kind of time sequence forecasting method based on grey wolf optimization echo state network
CN106096723A (en) A kind of based on hybrid neural networks algorithm for complex industrial properties of product appraisal procedure
CN117972557A (en) A Bayesian deep learning fault diagnosis method for heavy equipment
CN116739100B (en) Vulnerability detection method of quantum neural network and automatic driving vulnerability detection method
CN112232547A (en) Short-term load forecasting method for user-specific users based on deep belief neural network
Xiao et al. Predict stock prices with ARIMA and LSTM
Bukhtoyarov et al. A comprehensive evolutionary approach for neural network ensembles automatic design
Mohammed et al. A new optimizer for image classification using wide ResNet (WRN)
RU151549U1 (en) ARTIFICIAL NEURAL NETWORK
RU194498U1 (en) ARTIFICIAL NEURAL NETWORK FOR IDENTIFICATION OF THE TECHNICAL CONDITION OF RADIO TECHNICAL MEANS
CN113887570B (en) A binary classification prediction method for solar flares based on neural network
CN110765267A (en) Dynamic incomplete data classification method based on multi-task learning
Saravanan et al. A comprehensive approach on predicting the crop yield using hybrid machine learning algorithms
CN105117559A (en) Firearm design scheme evaluation method based on fuzzy decision diagram and gray correlation analysis
Ebrahimpour et al. New approach with hybrid of artificial neural network and ant colony optimization in software cost estimation
CN110766144B (en) Scalar coupling constant prediction system between atoms based on multi-layer decomposition fuzzy neural network

Legal Events

Date Code Title Description
MM9K Utility model has become invalid (non-payment of fees)

Effective date: 20191223