DE19641286C1

DE19641286C1 - Learning method for self-organising neural network for implementation in digital circuits

Info

Publication number: DE19641286C1
Application number: DE19641286A
Authority: DE
Inventors: Dietmar Dipl Phys Ruwisch; Timm Von Der Mehden; Heiko Dipl Phys Rahmel; Mathias Dr Bode; Hans-Georg Prof Dr Purwins
Original assignee: PURWINS HANS GEORG PROF DR
Current assignee: PURWINS HANS GEORG PROF DR
Priority date: 1996-10-07
Filing date: 1996-10-07
Publication date: 1997-11-27
Anticipated expiration: 2016-10-08

Abstract

The method involves associating the individual neurons in the network with points in the pattern space. The network pattern (U) is presented and prototypes (DeltaWi) changed according to a learning specification in which a winner neuron is determined for each pattern which best represents that pattern. A learning step is finally conducted according to the specification. According to the specification, the magnitude of the variation of the prototype depends on its distance from the winner neuron and the variation is only performed under the conditions in which the pattern spatial distance (U-Wi) of the neuron prototype to the presented pattern dos not exceed a freely defined distance parameter.

Description

Die Erfindung betrifft ein Lernverfahren für selbstorganisierende neuronale Netzwerke, wobeiThe invention relates to a learning method for self-organizing neural networks, in which

the individual neurons (N i ) of the network are associated with points W i (prototypes) in the pattern space,
- samples (U) are presented to the network and prototypes (W i ) are changed according to a learning rule by
- at least one winning neuron (N j ) that best represents the presented pattern (U) is determined for each pattern, and
- a learning step is then carried out in accordance with the learning instructions,

sowie eine Vorrichtung zur Durchführung des Verfahrens.and an apparatus for performing the method.

Selbstorganisierende neuronale Netzwerke bestehen aus einer Anordnung von im wesentli chen gleichartigen und weitgehend selbständigen Einheiten ("Neuronen", N_i). Ein solches neuronales Netzwerk wird einem Strom von Daten ausgesetzt. Ein dem Netzwerk präsen tiertes Datum wird verallgemeinert "Muster" (U) genannt. Der für Muster zur Verfügung stehende Datenraum heißt "Musterraum". Jedes Neuron (N_i) ist mit einem "Prototyp" (W_i) assoziiert. Dies ist ein Punkt im Musterraum, auf den sich das betreffende Neuron "spezialisiert". Präsentierte Muster in einer Umgebung dieses Prototyps werden von dem betreffenden Neuron repräsentiert. Dadurch leistet das neuronale Netzwerk eine Diskreti sierung des Musterraums. Hervorstechendes Merkmal selbstorganisierender Netzwerke ist ihre Fähigkeit, sich ohne "Lehrer", nur durch Präsentation von Mustern, selbständig zu strukturieren. Dazu werden die Prototypen (W_i) der Neuronen (N_i) in einem Lernprozeß auf eine Weise geändert, daß sie die Wahrscheinlichkeitsverteilung der Muster (U) im Mu sterraum möglichst gut abbilden. Die Prototypen werden dazu im allgemeinen in Richtung eines präsentierten Musters verändert. Die Lernvorschrift eines bestimmten Algorithmus schreibt dabei vor, welche Neuronen des Netzwerks an einem Lernschritt teilnehmen und wie stark die jeweilige Veränderung ihres Prototyps zu sein hat. Der wichtigste Vertreter der genannten Klasse neuronaler Netzwerke ist der Kohonen-Algorithmus (T. Kohonen, Self-Organized Formation of Topologically Correct Feature Maps, Biol. Cybern. 43 (1982), S. 59), der neben der Approximation der Wahrscheinlichkeitsverteilung der Muster (U) ei ne Topologie-erhaltende Abbildung erzeugt. Das bedeutet, daß im Netzwerk benachbarte Neuronen benachbarte Punkte im Musterraum repräsentieren. Die hierfür nötige nachbar schaftliche Kooperation von Neuronen wirkt sich jedoch unter Umständen negativ auf die Abbildung der Wahrscheinlichkeitsverteilung der Muster aus. Insbesondere bei nicht zu sammenhängenden oder nicht konvexen Mustermengen begünstigt die nachbarschaftliche Wechselwirkung der Neuronen, daß die Prototypen aus "ihren" Bereichen des Muster raums immer wieder "herausgezogen" werden. In einem solchen Fall befinden sich daher stets Neuronen zwischen den relevanten Bereichen des Musterraums (sog. dead units), die für das Netzwerk praktisch verloren sind (Fig. 4a). Ein anderer Algorithmus, der dieses Problem löst, dabei jedoch die Abbildungseigenschaft der Topologie-Erhaltung vollständig preisgibt, ist der Neural-Gas-Algorithmus. (T. M. Martinetz, S.G. Berkovich, K.J. Schul ten, "Neural-Gas" Network for Vector Quantization and its Application to Time-Series Prediction, IEEE Transactions on Neural Networks 4 (1993), S. 558). In diesem Algorith mus trägt die Position eines Neurons im Netzwerk keine Information und eine nachbar schaftliche Kopplung der Neuronen existiert nicht. Diesem Algorithmus liegen lediglich die Abstände der Prototypen (W_i) zum präsentierten Muster (U) im Musterraum zugrunde. Ein Algorithmus, der sowohl diese im Musterraum zu messenden Abstände als auch eine nachbarschaftliche Kopplung der Neuronen berücksichtigt, ist der elastic-net-Algorithmus (R. Durbin and G. Mitchison, A Dimension Reduction Framework for Understanding Cor tical Maps, Nature 343 (1990), S. 644). Bei diesem Algorithmus, bei dem die Prototypen (W_i) benachbarter Neuronen gekoppelt sind, als wären sie mit elastischen Federn verbun den, treten jedoch die selben Probleme auf, die für den Kohonen-Algorithmus erläutert wurden.Self-organizing neural networks consist of an arrangement of essentially identical and largely independent units ("neurons", N _i ). Such a neural network is exposed to a stream of data. A date presented to the network is generally called a "pattern" (U). The data space available for samples is called "sample space". Each neuron (N _i ) is associated with a "prototype" (W _i ). This is a point in the pattern space that the neuron in question "specializes" in. Presented patterns in an environment of this prototype are represented by the neuron in question. As a result, the neural network discretizes the model space. A striking feature of self-organizing networks is their ability to structure themselves independently without "teachers", only by presenting patterns. For this purpose, the prototypes (W _i ) of the neurons (N _i ) are changed in a learning process in such a way that they map the probability distribution of the patterns (U) in the pattern space as well as possible. For this purpose, the prototypes are generally changed in the direction of a presented pattern. The learning rule of a certain algorithm prescribes which neurons of the network take part in a learning step and how strong the respective change in their prototype has to be. The most important representative of the class of neural networks mentioned is the Kohonen algorithm (T. Kohonen, Self-Organized Formation of Topologically Correct Feature Maps, Biol. Cybern. 43 (1982), p. 59), which, in addition to approximating the probability distribution of the patterns (U) generated a topology-preserving image. This means that neighboring neurons in the network represent neighboring points in the pattern space. The neighborly cooperation of neurons required for this, however, may have a negative effect on the representation of the probability distribution of the patterns. Especially in the case of non-connected or non-convex sample sets, the neighborly interaction of the neurons favors that the prototypes are "pulled out" of "their" areas of the sample space again and again. In such a case, there are therefore always neurons between the relevant areas of the model space (so-called dead units), which are practically lost for the network ( FIG. 4a). Another algorithm that solves this problem, but completely abandons the mapping property of topology preservation, is the neural gas algorithm. (TM Martinetz, SG Berkovich, KJ Schul ten, "Neural-Gas" Network for Vector Quantization and its Application to Time-Series Prediction, IEEE Transactions on Neural Networks 4 (1993), p. 558). In this algorithm, the position of a neuron in the network carries no information and there is no neighborly coupling of the neurons. This algorithm is based only on the distances between the prototypes (W _i ) and the presented pattern (U) in the pattern space. An algorithm that takes into account both these distances to be measured in the pattern space and a neighborly coupling of the neurons is the elastic-net algorithm (R. Durbin and G. Mitchison, A Dimension Reduction Framework for Understanding Correctical Maps, Nature 343 (1990 ), P. 644). In this algorithm, in which the prototypes (W _i ) of adjacent neurons are coupled as if they were connected to elastic springs, the same problems that have been explained for the Kohonen algorithm occur.

Selbstorganisierende neuronale Netzwerke werden in verschiedenen technischen Anwen dungsfeldern eingesetzt (J.A. Kangas, T. Kohonen, J.T. Laaksonen, Variants of Self-organ izing Maps, IEEE Transactions on Neural Networks 1 (1990), S. 93). Die Diskretisierung des Musterraums kann z. B. als Datenreduktion verstanden werden. Sind Daten über einen Kanal geringer Bandbreite zu übertragen, wird anstelle des eigentlichen Datums die Num mer eines sog. Code-Buch-Vektors übertragen, der einem Prototyp (W_i) entspricht. Ein anderes Anwendungsbeispiel ist die Cluster-Analyse eines Datenstroms. Aus der Vertei lung der Prototypen (W_i) im Musterraum nach dem Lernprozeß sind Häufungspunkte ("Cluster") im Datenstrom zu erkennen. Ein besonders interessantes Anwendungsbeispiel stellt der Einsatz selbstorganisierender Netzwerke als Vorverarbeitungseinheit in Spracher kennungssystemen dar (T. Kohonen, The "Neural" Phonetic Typewriter, IEEE Computer, März 1988, S. 11). Dazu repräsentieren die Neuronen nach dem Lernvorgang die in der Sprache typisch vorkommenden Laute. Die Sprachinformation ist dann in der zeitlichen Abfolge der den Sprachfluß repräsentierenden Neuronen enthalten. Diese zeitliche Fol ge muß dann von dem nachgeschalteten eigentlichen Spracherkennungssystem verarbeitet werden.Self-organizing neural networks are used in various technical fields of application (JA Kangas, T. Kohonen, JT Laaksonen, Variants of Self-organizing Maps, IEEE Transactions on Neural Networks 1 (1990), p. 93). The discretization of the model space can e.g. B. be understood as data reduction. If data is to be transmitted over a channel of low bandwidth, the number of a so-called code book vector is transmitted instead of the actual date, which corresponds to a prototype (W _i ). Another application example is the cluster analysis of a data stream. From the distribution of the prototypes (W _i ) in the model space after the learning process, cluster points can be recognized in the data stream. A particularly interesting application example is the use of self-organizing networks as a preprocessing unit in speech recognition systems (T. Kohonen, The "Neural" Phonetic Typewriter, IEEE Computer, March 1988, p. 11). For this purpose, the neurons represent the sounds that typically occur in the language after the learning process. The speech information is then contained in the chronological sequence of the neurons representing the flow of speech. This temporal sequence must then be processed by the downstream actual speech recognition system.

Praktisch alle neuronalen Algorithmen zeichnen sich durch eine hohe Parallelisierbarkeit aus, da ihre Neuronen selbständige Einheiten sind. In technischen Anwendungen neuro naler Netzwerke sind daher Simulationen auf herkömmlichen, seriellen Computern dem algorithmischen Potential schlecht angepaßt, da der durch Parallelverarbeitung mögliche Gewinn an Datenverarbeitungsgeschwindigkeit nicht ausgenutzt werden kann. Um die Par allelität voll auszuschöpfen, werden spezielle Hardware-Architekturen benötigt. Insbeson dere für den Kohonen-Algorithmus sind verschiedene Hardware-Realisierungen bekannt. Technisch bedeutsam sind bis heute hauptsächlich digitale Implementationen. Diese lassen sich in der Art ihrer Parallelität unterscheiden. In DE 42 27 707 A1 wird eine Paralleli sierung lediglich in bezug auf die Komponenten des Musterraums vorgeschlagen, während DE 44 32 269 C2 und US 5 212 766 darüberhinaus parallel arbeitende Neuronen verwen den. Dieses Konzept, das auch in verschiedenen anderen Architekturen verwendet wird (S. Rüping, K. Goser and U. Rückert, A Chip for Self-Organizing Feature Maps, Procee dings of the Fourth International Conference on Microelectronics for Neural Networks and Fuzzy Systems, Turin, Italien, 26.-28. September 1994, S. 26; M.S. Melton, T. Phan, D.S. Reeves and D.E. van den Bout, The TInMANN VLSI chip. IEEE Transactions on Neural Networks, 3 (1992), S. 375), bietet bei niederdimensionalen Musterräumen und großen Netzwerken den größten Gewinn. Von den erwähnten Konzepten US 5 212 766 und DE 44 32 269 C2 zeichnet sich letzteres besonders dadurch aus, daß nur benachbarte Neuronen miteinander verknüpft sind, während ersteres eine Verdrahtung jedes Neurons mit jedem anderen erfordert.Practically all neural algorithms are characterized by a high degree of parallelism because their neurons are separate entities. In technical applications neuro networks are therefore simulations on conventional serial computers algorithmic potential poorly adapted, since the possible by parallel processing Gain in data processing speed cannot be exploited. To par To fully exploit allelity, special hardware architectures are required. In particular Various hardware implementations are known for the Kohonen algorithm. To date, mainly digital implementations are technically significant. Leave this differ in the nature of their parallelism. DE 42 27 707 A1 describes a parallel suggested only with respect to the components of the sample room, while DE 44 32 269 C2 and US 5 212 766 also use parallel neurons the. This concept, which is also used in various other architectures (S. Rüping, K. Goser and U. Rückert, A Chip for Self-Organizing Feature Maps, Procee dings of the Fourth International Conference on Microelectronics for Neural Networks and Fuzzy Systems, Turin, Italy, 26-28 September 1994, p. 26; M.S. Melton, T. Phan, D.S. Reeves and D.E. van den Bout, The TInMANN VLSI chip. IEEE transactions on neural Networks, 3 (1992), p. 375), offers low-dimensional model spaces and large ones Networks the greatest profit. From the mentioned concepts US 5 212 766 and DE 44 32 269 C2 is characterized by the fact that only neighboring neurons are interconnected, while the former is wiring each neuron to each others required.

Eine geringe Konnektivität ist für eine mikroelektronische Realisation großer Netzwerke von zentraler Bedeutung. In DE 44 32 269 C2 wird sie dadurch erreicht, daß als Kopplungs mechanismus der Neuronen ein "Domino-Effekt" genannter Ausbreitungsprozeß dient. Die ser Ausbreitungsprozeß geht vom Gewinner-Neuron (N_j) aus, dessen Prototyp (W_j) im Musterraum den kleinsten Abstand zum präsentierten Muster (U) hat, für das also gilt:Low connectivity is of central importance for the microelectronic realization of large networks. In DE 44 32 269 C2 it is achieved in that a "domino effect" called spreading process serves as the coupling mechanism of the neurons. This propagation process starts from the winner neuron (N _j ), whose prototype (W _j ) is the smallest distance from the presented pattern (U) in the pattern space, so the following applies:

||U - W_j|| ||U - W_i|| für alle i (1).|| U - W _j || || U - W _i || for all i (1).

Auch für alle im folgenden dargestellten Algorithmen ist nach der Präsentation eines Musters (U) zunächst ein Gewinner-Neuron (N_j) gemäß der Bedingung (1) zu ermit teln. Erfüllen zwei oder mehr Neuronen die Bedingung (1), existieren mehrere Gewinner- Neuronen. Dies gilt für alle im folgenden erläuterten Verfahren ohne Auswirkungen auf deren prinzipielle Funktion. Der Einfachheit halber wird im weiteren stets von der Existenz eines einzigen Gewinner-Neurons ausgegangen.For all the algorithms shown below, a winner neuron (N _j ) must first be determined according to condition (1) after the presentation of a pattern (U). If two or more neurons meet condition (1), there are several winning neurons. This applies to all of the methods explained below without affecting their basic function. For the sake of simplicity, the existence of a single winner neuron is always assumed below.

Der auf die Muster-Präsentation folgende Lernschritt wird in mehrere Teilschritte unter gliedert. In jedem Teilschritt verändern Neuronen (N_i), die am Lernprozeß teilnehmen, ihren Prototyp W_i. Dieser wird um ΔW_i dem präsentierten Muster (U) gemäß der Vor schriftThe learning step following the sample presentation is divided into several sub-steps. In each sub-step, neurons (N _i ) that participate in the learning process change their prototype W _i . This is by ΔW _i the presented pattern (U) according to the pre

angenähert. In DE 44 32 269 C2 wird der globale Lernparameter l auf l < 1 einge schränkt und für alle Teilschritte eines Lernschritts konstant gehalten, damit im Kohonen- Algorithmus für einen Lernschrittapproximated. In DE 44 32 269 C2 the global learning parameter l is set to l <1 limited and kept constant for all sub-steps of a learning step, so that in the Algorithm for a learning step

ΔW_i = εh(d_ÿ)(U - W_i) (3)ΔW _i = εh (d _ÿ ) (U - W _i ) (3)

der Parameter ε und die Nachbarschaftsfunktion h(d_ÿ) in einfacher Form angegeben wer den können; d_ÿ bezeichnet dabei den im Netzwerk zu messenden Abstand eines Neurons (N_i) zum Gewinner-Neuron (N_j).the parameter ε and the neighborhood function h (d _ÿ ) can be specified in simple form; d _ÿ denotes the distance of a neuron (N _i ) to the winner neuron (N _j ) to be measured in the network.

Der Lernprozeß wird flexibler, wenn der globale Lernparameter l bei jedem Teilschritt und nicht nur für jeden kompletten Lernschritt verändert werden kann. Ein Spezialfall hiervon ist, die Prototyp-Adaption bei ausgewählten Teilschritten (z. B. bei jedem zweiten Teilschritt) zu unterlassen. Im Formalismus von Gleichung (2) entspricht das einem zeit weiligen Wert l = ∞. Desweiteren läßt sich der Wertebereich von l auf l 1 ausdehnen. Während Werte 0 < l < 1 zum "Überschwingen" des Lernschritts führen und damit der Konvergenz des Lernvorgangs abträglich sind, führen negative Werte von l zu "repulsi vem Lernen". Das bedeutet, daß sich der Prototyp (W_i) eines Neurons im Musterraum vom präsentierten Muster (U) entfernt. Dies wirkt sich zu Beginn des Lernvorgangs un ter Umständen positiv auf dessen Konvergenz aus, da sich die Prototypen schneller im Musterraum ausbreiten.The learning process becomes more flexible if the global learning parameter l can be changed for each sub-step and not just for each complete learning step. A special case of this is to refrain from adapting the prototype to selected sub-steps (e.g. every other sub-step). In the formalism of equation (2), this corresponds to a temporary value l = ∞. Furthermore, the range of values can be extended from l to l 1. While values 0 <l <1 lead to the "overshoot" of the learning step and thus detrimental to the convergence of the learning process, negative values of 1 lead to "repulsive learning". This means that the prototype (W _i ) of a neuron in the pattern space moves away from the presented pattern (U). At the beginning of the learning process, this may have a positive effect on its convergence, since the prototypes spread faster in the model space.

Die zeitdiskrete Notation der Gl. 2 ist auf eine digitale Realisierung abgestimmt, bei der die Prototypen (W_i) und das Muster (U) in digitaler Form, z. B. als 16-Bit Werte repräsentiert sind. Ein äquivalentes Ergebnis läßt sich jedoch auch mit einer analogen Realisierung erzielen, bei der Gl. 2 durch einen zeitkontinuierlichen Prozeß, z. B. die DifferentialgleichungThe discrete-time notation of Eq. 2 is tailored to a digital implementation in which the prototypes (W _i ) and the pattern (U) in digital form, e.g. B. are represented as 16-bit values. However, an equivalent result can also be achieved with an analog implementation in which Eq. 2 by a continuous process, e.g. B. the differential equation

ersetzt wird. Dabei ist τ eine frei wählbare und während des Lernvorgangs variierbare Zeitkonstante. Während in einer digitalen Implementation die Lernvorschrift Gl. 2 von ei nem vom Ausbreitungsprozeß betroffenen Neuron in jedem Teilschritt ausgeführt wird, wird in einer analogen Realisation die Ausführung von Gl. 4 gestartet, wenn der Ausbrei tungsprozeß ein Neuron gerade erreicht. Die Ausführung dieser Lernvorschrift wird von allen am Lernschritt teilnehmenden Neuronen simultan am Ende des Lernschritts beendet. Nimmt man speziell an, daß der Ausbreitungsprozeß mit einer konstanten Geschwindigkeit c voranschreitet, so ist das analoge Verfahren völlig in das digitale überführbar. Mit der Abkürzungis replaced. Here τ is a freely selectable one that can be varied during the learning process Time constant. While in a digital implementation the learning rule Eq. 2 of egg a neuron affected by the propagation process is executed in each step, is the execution of Eq. 4 started when the spread process a neuron has just reached. The implementation of this learning instruction is by all neurons participating in the learning step ended simultaneously at the end of the learning step. Specifically, suppose the spreading process is at a constant rate c progresses, the analog process can be completely converted into digital. With the abbreviation

gilt die Transformationthe transformation applies

Der Vorteil des analogen Verfahrens liegt darin, daß die Berechnung der Lernvorschrift Gl. 4 sehr einfach unter Ausnutzung elementarer physikalischer Gesetze erfolgen kann. Die Gl. 4 gilt auch für die Spannung W_i auf einem Kondensator mit der Kapazität C, an den über einen ohmschen Widerstand R die Spannung U angelegt wird. Die Zeitkonstante τ eines solchen RC-Gliedes entspricht dabei gerade dem Produkt aus Kapazität und Widerstand, τ = RC. In einer analogen Implementation reicht also zum Speichern jeder Komponente eines Prototyps (W_i) ein einfacher Kondensator aus. Die Lernvorschrift Gl. 4 wird von diesem Kondensator zusammen mit einem Widerstand "berechnet". über den jeweils eine Komponente des präsentierten Musters (U) angelegt wird. Dieser Lernprozeß wird in einem Neuron ausgelöst, wenn es von dem Ausbreitungsmechanismus erfaßt wird, der von Teilschritt zu Teilschritt, genau wie in der digitalen Implementation fortschreitet. Dies ähnelt der Realisierung des Lernschritts in einer Implementation des Kohonen-Algorithmus in Analog-Technik, bei der außerdem noch der Ausbreitungsprozeß analog abläuft, in dem eine Frontausbreitung in einem aktiven Medium benutzt wird (D. Ruwisch, M. Bode, H.- G. Purwins, Parallel Hardware Implementation of Kohonen′s Algorithm With an Active Medium, Neuml Networks, 6 (1993), S. 1147).The advantage of the analog method is that the calculation of the learning rule Eq. 4 can be done very simply using elementary physical laws. The Eq. 4 also applies to the voltage W _i on a capacitor with the capacitance C, to which the voltage U is applied via an ohmic resistor R. The time constant τ of such an RC element corresponds precisely to the product of capacitance and resistance, τ = RC. In an analog implementation, a simple capacitor is therefore sufficient to store each component of a prototype (W _i ). The learning rule Eq. 4 is "calculated" by this capacitor together with a resistor. over which a component of the presented pattern (U) is created. This learning process is triggered in a neuron when it is grasped by the propagation mechanism, which proceeds from step to step, just like in the digital implementation. This is similar to the realization of the learning step in an implementation of the Kohonen algorithm in analog technology, in which the propagation process also takes place analogously, in which front propagation is used in an active medium (D. Ruwisch, M. Bode, H.-G. Purwins, Parallel Hardware Implementation of Kohonen's Algorithm With an Active Medium, Neuml Networks, 6 (1993), p. 1147).

Der Erfindung liegt die Aufgabe zugrunde, ein Lernverfahren für selbstorganisierende neu ronale Netzwerke anzugeben, das die Abbildung der Wahrscheinlichkeitsverteilung der Muster U verbessert, ohne die Eigenschaft der To pologieerhaltung zu verlieren, und sich besonders für die Implementation in Digitalschaltungen eignet. Ferner soll eine entsprechende Vorrichtung angegeben werden.The invention has for its object a new learning method for self-organizing ronal networks to indicate the mapping of the Probability distribution of the pattern U improved without the property of the To Losing conservation and especially for implementation suitable in digital circuits. A corresponding device is also intended can be specified.

Diese Aufgabe wird durch das Lernverfahren nach Patentanspruch 1 und die Vorrichtung nach Anspruch 8 gelöst. Bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.This task is accomplished through the learning process according to claim 1 and the device according to claim 8 solved. Preferred developments of the invention are specified in the subclaims.

Die Erfindung wird im folgenden anhand eines Ausführungsbeispiels beschrieben. Es zeigtThe invention is described below using an exemplary embodiment. It shows

Fig. 1 Ein Neuron (N_i), das über einen Daten-Bus (BUS) gemeinsam mit den anderen Neu ronen des Netzwerks mit einer zentralen Steuereinheit verknüpft ist und zusätzlich Verknüpfungen mit seinen Nachbar-Neuronen (NN) aufweist. Fig. 1 A neuron (N _i ), which is linked via a data bus (BUS) together with the other neurons of the network to a central control unit and additionally has links with its neighboring neurons (NN).

Fig. 2 Prototypen von acht Neuronen im Musterraum. (a) Durch Variation des Distanz- Parameters D wird das Gewinner-Neuron ermittelt, dessen Prototyp (W_i) den ge ringsten Abstand zum präsentierten Muster (U) hat (||U - W_i|| = D₁). Der nach folgende Lernschritt wird in drei Teilschritte (b-d) untergliedert, wobei der Distanz- Parameter (D) zwischen den Teilschritten soweit erhöht wird, bis für jeweils ein weiteres Neuron ||U - W_i|| = D_k (k=2 . . 4) gilt (Lernparameter: l=4). Fig. 2 prototypes of eight neurons in the pattern space. (a) The winner neuron is determined by varying the distance parameter D, the prototype (W _i ) of which has the least distance from the presented pattern (U) (|| U - W _i || = D₁). The following learning step is subdivided into three sub-steps (bd), the distance parameter (D) between the sub-steps being increased until an additional neuron || U - W _i || = D _k (k = 2.. 4) applies (learning parameter: l = 4).

Fig. 3 Prototypen von 32 Neuronen im Musterraum. Das Maß der Veränderung eines Pro totyps (W_i) hängt vom räumlichen Abstand des entsprechenden Neurons (N_i) zum Gewinner-Neuron (N_j) ab. Ein Neuron führt die Veränderung seines Prototyps (W_i) nur dann aus, wenn dessen Musterraumbestand zum präsentierten Muster (U) den Wert des Distanz-Parameters D nicht überschreitet (Kreise). Gezeigt sind zwei Lern schritte: a→b und c→d (Lernparameter: l=4, D fest). Fig. 3 prototypes of 32 neurons in the pattern space. The degree of change in a prototype (W _i ) depends on the spatial distance of the corresponding neuron (N _i ) from the winner neuron (N _j ). A neuron only changes its prototype (W _i ) if its pattern space for the presented pattern (U) does not exceed the value of the distance parameter D (circles). Two learning steps are shown: a → b and c → d (learning parameters: l = 4, D fixed).

Fig. 4 Prototypen (W_i) von 16_*16-Netzwerken im Musterraum nach dem Lernprozeß im Falle einer nicht zusammenhängenden Mustermenge. Es wurden jeweils 6000 Muster präsentiert, die ausschließlich aus den fünf Quadraten stammen. (a) Gewöhnlicher Kohonen-Algorithmus. Es gibt viele dead units, d. h. Prototypen (W_i), die außerhalb der relevanten Bereiche des Musterraums liegen. (b) DISKO-Algorithmus. Es treten keine dead units auf, alle Prototypen (W_i) liegen in den fünf Quadraten, aus denen Muster präsentiert wurden. Fig. 4 prototypes (W _i ) of 16 _* 16 networks in the sample space after the learning process in the case of a non-contiguous sample set. 6000 samples were presented, each coming exclusively from the five squares. (a) Ordinary Kohonen algorithm. There are many dead units, ie prototypes (W _i ) that lie outside the relevant areas of the model room. (b) DISKO algorithm. There are no dead units, all prototypes (W _i ) are in the five squares from which samples were presented.

Im Lernprozeß des Neuml-Gas-Algorithmus wie in dem des Kohonen-Algorithmus führt ein Gewinner-Neuron N_j den relativ größten Lernschritt (ΔW_j) aus. Im Neural-Gas- Algorithmus nimmt für weitere am Lernschritt teilnehmende Neuronen (N_i) die relative Größe η des Lernschritts (ΔW_i) mit der Nummer r_i der Rangfolge der Neuronen ab, mit welcher der Abstand ihrer Prototypen (W_i) zum präsentierten Muster ||U - W_i||) zunimmt:In the learning process of the Neuml Gas algorithm as in that of the Kohonen algorithm, a winner neuron N _j carries out the relatively largest learning step (ΔW _j ). In the neural gas algorithm, for other neurons (N _i ) participating in the learning step, the relative size η of the learning step (ΔW _i ) decreases with the number r _{i of} the ranking of the neurons with which the distance of their prototypes (W _i ) from the presented Pattern || U - W _i ||) increases:

ΔW_i = η(r_i)(U - W_i) (7).ΔW _i = η (r _i ) (U - W _i ) (7).

Es sei r_j = 0 für das Gewinner-Neuron und r_i = 1, 2, . . . für die Neuronen (N_i), deren Prototypen (W_i) den zweit-, drittkleinsten, usw. Abstand zum präsentierten Muster (U) haben. Die Lernfunktion η(r_i) ist also maximal für η(0) und monoton fallend (gewöhn lich 0 η(r_i) 1) für steigendes r_i. Dies führt zu der gewünschten Organisation der Prototypen (W_i) im Musterraum, die am Ende des Lernprozesses im allgemeinen eine gute Diskretisierung des Musterraums liefert, jedoch ohne daß die neuronale Abbildung die Eigenschaft der Topologie-Erhaltung besitzt.Let r _j = 0 for the winning neuron and r _i = 1, 2,. . . for the neurons (N _i ), whose prototypes (W _i ) have the second, third smallest, etc. distance from the presented pattern (U). The learning function η (r _i ) is therefore maximal for η (0) and monotonically falling (usually 0 η (r _i ) 1) for increasing r _i . This leads to the desired organization of the prototypes (W _i ) in the model space, which generally provides a good discretization of the model space at the end of the learning process, but without the neuronal mapping having the property of topology preservation.

Dieser Algorithmus läßt sich auf parallele Weise realisieren, indem der Lernschritt durch einen globalen, von einer zentralen Steuereinheit vorgegebenen Distanz-Parameter (D) gesteuert wird (Fig. 1). Dieser wird von jedem Neuron (N_i) in einem Speicherbaustein (Sp1) abgelegt und von einer Vergleichseinheit (RE2) mit der Norm der Differenz von Prototyp (W_i) und präsentiertem Muster (U) verglichen. Diese Differenz wird von einem Subtrahierglied (RE1) ermittelt, welchem über den Bus das präsentierte Muster U von der zentralen Steuereinheit, simultan für alle Neuronen, übermittelt wird. Nach der Präsenta tion des Musters (U) ist zunächst ein Gewinner-Neuron zu ermitteln. Dies gilt für alle im folgenden erläuterten Verfahren, das Vorgehen hierzu ist im wesentlichen identisch mit dem in DE 44 32 269 C2 beschriebenen. Dazu wird das Ausgangs-Signal der oben beschriebenen Vergleichseinheit (RE2) über eine zur Entkopplung dienende Verknüpfungseinheit (VE1) auf den Bus gegeben. Von der zentralen Steuereinheit werden dann verschiedene Werte des Distanz-Parameters D über den Bus an die Neuronen geliefert, bis das Gewinner-Neuron gefunden ist.This algorithm can be implemented in a parallel manner by the learning step being controlled by a global distance parameter (D) specified by a central control unit ( FIG. 1). This is stored by each neuron (N _i ) in a memory chip (Sp1) and compared by a comparison unit (RE2) with the norm of the difference between the prototype (W _i ) and the presented pattern (U). This difference is determined by a subtractor (RE1), to which the presented pattern U is transmitted by the central control unit, simultaneously for all neurons, via the bus. After presenting the pattern (U), a winner neuron must first be determined. This applies to all the methods explained below, the procedure for this is essentially identical to that described in DE 44 32 269 C2. For this purpose, the output signal of the comparison unit (RE2) described above is applied to the bus via a link unit (VE1) used for decoupling. The central control unit then delivers various values of the distance parameter D to the neurons via the bus until the winner neuron is found.

Der nachfolgende Lernschritt des Systems wird in mehrere Teilschritte untergliedert. Der erste Teilschritt wird allein vom Gewinner-Neuron (N_j) ausgeführt. Nachdem dieses be stimmt wurde, hat der Distanz-Parameter D den Wert (siehe Fig. 2a)The subsequent learning step of the system is divided into several sub-steps. The first sub-step is carried out solely by the winner neuron (N _j ). After this has been determined, the distance parameter D has the value (see FIG. 2a)

D₁ = ||U - W_j|| (8).D₁ = || U - W _j || (8th).

Nur im Gewinner-Neuron aktiviert dadurch das Ausgangssignal der Vergleichseinheit (RE2) das Addierwerfer RE4 über die nach Art eines UND-Gatters arbeitende Verknüpfungsein heit VE4, wenn diese über den Bus von der zentralen Steuereinheit einen Lernimpuls erhält. Das Addierwerk RE4 addiert die in der Recheneinheit RE3 nach Gl. (2) berechnete Adaption ΔW_i zum Prototyp W_i, der in der Speichereinheit Sp2 gespeichert ist. Den Lern parameter l erhält die Recheneinheit RE3 über den Bus von der zentralen Steuereinheit. Die Verknüpfungseinheiten VE2, VE3 und VE5 werden in dieser Variante des Verfahrens nicht benötigt, ihre Ausgänge seien in allen Neuronen stets aktiv. In jedem Neuron, das so am Lernschritt teilnimmt, wird die dann aktive Verknüpfungseinheit VE1 durch einen ent sprechenden RESET-Impuls von der zentralen Steuereinheit für den Rest des Lernschritts deaktiviert. Anschließend wird der Distanz-Parameter D von der zentralen Steuereinheit solange erhöht, bis die Vergleichseinheit RE2 des "zweitbesten" Neurons D₂ ||U -W_i|| detektiert (Fig. 2b) und dies über die Verknüpfungseinheit VE1 und den Bus der zen tralen Steuereinheit meldet. Der Prototyp dieses Neurons, für das nach den Definitionen der Gl. (7) r_i = 1 gilt, hat im Musterraum den zweitkleinsten Abstand zum präsentier ten Muster (U). Im zweiten Teilschritt wird dann, ausgelöst durch den Lernimpuls der zentralen Steuereinheit an die Verknüpfungseinheiten VE4, die Lernvorschrift Gl. (2) vom zweitbesten Neuron und vom Gewinner-Neuron ausgeführt. Wird dieses Verfahren fortge setzt (Fig. 2c-d) bis es r_max mal ausgeführt wurde, hat das Gewinner-Neuron (N_j) die Lernvorschrift Gl. (2) r_max mal, das Neuron mit "Rang" r_max - 1 hat sie einmal ausgeführt. Nach einem solchen kompletten Lernschritt werden alle deaktivierten Verknüpfungseinhei ten durch einen geeigneten RESET-Impuls durch die zentrale Steuereinheit wieder für den nächsten Lernschritt reaktiviert. Damit resultiert für die Lernfunktion η(r_i) in Gl. (7)Only in the winner neuron thereby activates the output signal of the comparison unit (RE2) the adder launcher RE4 via the logic unit VE4 operating in the manner of an AND gate when it receives a learning pulse from the central control unit via the bus. The adder RE4 adds the ones in the computing unit RE3 according to Eq. (2) calculated adaptation ΔW _i to the prototype W _i , which is stored in the storage unit Sp2. The computing unit RE3 receives the learning parameter l from the central control unit via the bus. The linking units VE2, VE3 and VE5 are not required in this variant of the method, their outputs are always active in all neurons. In each neuron that takes part in the learning step, the then active logic unit VE1 is deactivated by a corresponding RESET pulse from the central control unit for the rest of the learning step. The distance parameter D is then increased by the central control unit until the comparison unit RE2 of the "second best" neuron D₂ || U -W _i || detected ( Fig. 2b) and reports this via the linking unit VE1 and the bus of the central control unit. The prototype of this neuron, for which according to the definitions of Eq. (7) r _i = 1 holds, has the second smallest distance to the presented pattern (U) in the pattern space. In the second sub-step, the learning rule Eq. Is triggered by the learning impulse from the central control unit to the linking units VE4. (2) performed by the second best neuron and the winner neuron. If this method continues ( Fig. 2c-d) until it has been carried out r _max times, the winning neuron (N _j ) has the learning rule Eq. (2) r _max times, the neuron with "rank" r _max - 1 executed them once. After such a complete learning step, all deactivated logic units are reactivated for the next learning step by a suitable RESET pulse from the central control unit. The learning function η (r _i ) in Eq. (7)

Der Lernprozeß läßt sich flexibilisieren, wenn für jeden Teilschritt ein anderer Wert des Lernparameters l vorgegeben werden kann und wenn dieser Parameter für jedes Neuron N_i einen eigenen Wert l_i annehmen kann. Dies läßt sich realisieren, indem die zentrale Steuereinheit vor jedem Teilschritt einen neuen Wert von l auf den Bus gibt, der nur von einem Neuron angenommen wird, das in diesem Teilschritt neu zum Lernschritt hinzuge kommen ist. Mit diesen Modifikationen gilt allerdings Gl. (9) nicht mehr, und das Verfahren wird aufwendiger.The learning process can be made more flexible if a different value of the learning parameter l can be specified for each sub-step and if this parameter can assume its own value l _i for each neuron N _i . This can be achieved by the central control unit giving a new value of 1 on the bus before each sub-step, which is only accepted by a neuron that has been added to the learning step in this sub-step. With these modifications, however, Eq. (9) no longer, and the process becomes more complex.

Die Vorteile des Kohonen-Algorithmus (Topologie-erhaltende Abbildung) und des Neural- Gas-Algorithmus (gute Diskretisierung des Musterraums) lassen sich auf effektive Weise miteinander verbinden zu einem Lernverfahren, das im folgenden "DISKO" ("Distanz inhibierter synergetischer Kohonen-Algorithmus") genannt wird. Dieses Verfahren stellt in gewisser Weise eine Verallgemeinerung von Kohonen- und Neural-gas-Algorithmus dar. Auch in diesem Verfahren wird nach dem Kriterium Gl. (1) ein Gewinner-Neuron (N_j) bestimmt. Der sich anschließende Lernschritt, der demjenigen des Kohonen-Algorithmus gleicht, wird von einem Neuron (N_i) nur dann ausgeführt, wenn die Distanz seines Proto typs (W_i) zum präsentierten Muster (U) einen einstellbaren Wert D nicht überschreitet. Bezeichnet ΔW_i wieder die Veränderung des Prototyps W_i, lautet der DISKO-Lernschritt in seiner allgemeinsten Form:The advantages of the Kohonen algorithm (topology-preserving mapping) and the neural gas algorithm (good discretization of the pattern space) can be effectively combined with one another to form a learning process which is described below as "DISKO"("Distance-inhibited synergetic Kohonen algorithm ") is called. To a certain extent, this method represents a generalization of the Kohonen and neural gas algorithms. In this method too, according to the criterion Eq. (1) determines a winner neuron (N _j ). The subsequent learning step, which is similar to that of the Kohonen algorithm, is only carried out by a neuron (N _i ) if the distance of its prototype (W _i ) to the presented pattern (U) does not exceed an adjustable value D. If ΔW _i denotes the change in the prototype W _i , the DISKO learning step in its most general form is:

ΔW_i = η(d_ÿ)Θ(||U - W_i||,D)(U - W_i) (10).ΔW _i = η (d _ÿ ) Θ (|| U - W _i ||, D) (U - W _i ) (10).

d_ÿ bezeichnet den nachbarschaftlichen Abstand eines Neurons (N_i) zum Gewinner-Neuron (N_j). Θ ist eine Funktion, die ein Abstandskriterium im Musterraums ausdrückt, das im DISKO-Algorithmus mit der Nachbarschaftsfunktion η verknüpft wird, welche bereits aus dem Kohonen-Modell bekannt ist. In dem speziellen Fall, in dem für Θ eine Stufenfunktion gewählt wird, vereinfacht sich der DISKO-Algorithmus zud _ÿ denotes the neighborly distance of a neuron (N _i ) to the winning neuron (N _j ). Θ is a function that expresses a distance criterion in the model space, which is linked in the DISKO algorithm with the neighborhood function η, which is already known from the Kohonen model. In the special case in which a step function is selected for Θ, the DISKO algorithm is simplified

ΔW_i=0 falls |U-W_i|| < D,
ΔW_i = η(d_ÿ)(U - W_i) falls ||U - W_i|| D (11). ΔW _i = 0 if | UW _i || <D,
ΔW _i = η (d _ÿ ) (U - W _i ) if || U - W _i || D (11).

Die Nachbarschaftsfunktion η(d_ÿ) nimmt ihr Maximum am Ort des Gewinner-Neurons (d_ÿ = 0) mit 0 η(0) 1 an und fällt monoton für steigendes d_ÿ. Der Distanz-Parameter D startet zu Beginn des Lernvorgangs mit einem so großen Wert, daß das Inhibitions- Kriterium wirkungslos bleibt. Im Verlauf des Lernprozesses wird der Wert von D nach und nach auf seinen Endwert verringert. Die Verringerung von D wird z. B. unterbrochen, wenn der FallThe neighborhood function η (d _ÿ ) takes its maximum at the location of the winning neuron (d _ÿ = 0) with 0 η (0) 1 and falls monotonically for increasing d _ÿ. The distance parameter D starts at the beginning of the learning process with such a large value that the inhibition criterion has no effect. In the course of the learning process, the value of D is gradually reduced to its final value. The reduction in D is e.g. B. interrupted if the case

||U-W_j|| < D (12)|| UW _j || <D (12)

eintrifft, wenn also ein Gewinner-Neuron (N_j) von der Distanz-Inhibition betroffen wird. Tritt der Fall der Gl. (12) aufgrund der weitergehenden Organisation des Netzes im Verlauf des Lernens nicht mehr auf, kann die D-Verringerung fortgesetzt werden. Erweist es sich im Lernprozeß als vorteilhaft, steht auch einer zeitweisen Erhöhung des Distanz-Parameters D nichts im Wege. Dies kann z. B. sinnvoll sein, wenn sich im Verlauf des Lernprozesses die Struktur der präsentierten Daten verändert, so daß die Organisation des Netzwerks wieder stärker verändert werden muß.arrives when a winner neuron (N _j ) is affected by the distance inhibition. If the case of Eq. (12) due to the further organization of the network during the course of learning, the D reduction can be continued. If it proves to be advantageous in the learning process, there is nothing standing in the way of temporarily increasing the distance parameter D. This can e.g. B. be useful if the structure of the presented data changes in the course of the learning process, so that the organization of the network must be changed again more strongly.

Dieser Algorithmus verknüpft die nachbarschaftliche Wechselwirkung der Neuronen des Kohonen-Netzwerks mit einem Abstands-Kriterium im Musterraum, wie es in ähnlicher Weise dem Neural-Gas-Algorithmus zugrunde liegt. Insbesondere bei nicht konvexen oder nicht zusammenhängenden Mustermengen ist dieses Verfahren gewinnbringend. Die Pro totypen der Neuronen konzentrieren sich schnell auf die entsprechenden Teilbereiche des Musterraums, wobei die Abbildung innerhalb der einzelnen Teilbereiche die Eigenschaft der Topologie-Erhaltung aufweist.This algorithm links the neighborly interaction of the neurons of the Kohonen network with a distance criterion in the model space, as in similar Way the neural gas algorithm is based. Especially with non-convex or This process is profitable if the sample quantities are not connected. The pro Totypes of the neurons quickly focus on the corresponding sub-areas of the Model space, with the image within the individual sub-areas the property of topology conservation.

In einer Vorrichtung (Fig. 1) zur Realisierung des beschriebenen Lernverfahrens wird die Lernschritt-Steuerung durch einen globalen Distanz-Parameter D (vgl. Neural-Gas- Verfahren) mit einer nachbarschaftlichen Verknüpfung der Neuronen kombiniert, wie sie in ähnlicher Weise aus DE 44 32 269 C2 bekannt ist. Der von der zentralen Steuereinheit über den Bus an die Speicherbausteine Sp1 aller Neuronen gegebene Parameter D wird nach der Präsentation eines Musters (U) zunächst wieder zum Auffinden des Gewinner- Neurons benutzt. Im anschließenden Lernschritt wird er wie beschrieben eingestellt und im Verlauf des Lernprozesses verkleinert. An den Teilschritten eines Lernschritts nehmen nur Neuronen (N_i) teil, die nicht von der Distanz-Inhibition betroffen sind, (Fig. 3, Bereiche innerhalb der Kreise) also deren Vergleichseinheit RE2 feststellt, daßIn a device ( FIG. 1) for realizing the learning method described, the learning step control is combined by a global distance parameter D (cf. neural gas method) with a neighbour's linkage of the neurons, as is similarly described in DE 44 32 269 C2 is known. The parameter D given by the central control unit via the bus to the memory modules Sp1 of all neurons is first used again after the presentation of a pattern (U) to find the winner neuron. In the subsequent learning step, it is set as described and reduced in the course of the learning process. Only neurons (N _i ) that are not affected by the distance inhibition take part in the sub-steps of a learning step ( FIG. 3, areas within the circles), ie their comparison unit RE2 determines that

||U - W_i|| D (13).|| U - W _i || D (13).

Nur falls Gl. (13) gilt, gibt eine solche Vergleichseinheit (RE2) ein entsprechendes Signal an die Verknüpfungseinheiten VE3 und VE4, die nach Art eines UND-Gatters arbeiten. Die Verknüpfungseinheit VE5 wird in dieser Variante des Verfahrens nicht benötigt und für das Signal, das sie über den Bus von der zentralen Steuereinheit empfängt, als stets durchlässig angesehen. Dieses Signal taktet die Verknüpfungseinheiten VE2 aller Neuronen einmal pro Teilschritt. Die Ausgänge der Verknüpfungseinheiten VE2 sind auf die Eingänge derjenigen der Nachbarneuronen geführt und umgekehrt. Diese Verknüpfungseinheiten (VE2), die nach Art eines ODER-Gatters arbeiten, stellen die Kopplung der Neuronen her.Only if Eq. (13) applies, such a comparison unit (RE2) indicates a corresponding signal the linking units VE3 and VE4, which work in the manner of an AND gate. The Linking unit VE5 is not required in this variant of the method and for that Signal that it receives via the bus from the central control unit is always transparent viewed. This signal clocks the linking units VE2 of all neurons once per Substep. The outputs of the linking units VE2 are on the inputs of those of the neighboring neurons and vice versa. These linking units (VE2), the work like an OR gate, create the coupling of the neurons.

Im ersten Teilschritt des Lernverfahrens nach der Bestimmung des Gewinner-Neurons (N_j) gibt nur die Vergleichseinheit (RE2) dieses Neurons (N_j) ein Signal an die Verknüpfungs einheiten VE3 und VE4 aus (vgl. Neural-Gas-Verfahren). Der erste Teilschritt eines Lern schritts wird eingeleitet, indem die zentrale Steuereinheit ein Signal an die Verknüpfungs einheiten VE3 aller Neuronen sendet. Dadurch aktiviert das anschließend von der zentralen Steuereinheit via VE5 gesandte Taktsignal allein im Gewinner-Neuron die Verknüpfungs einheit VE2, welche wiederum ein entsprechendes Signal zur Verknüpfungseinheit VE4 schickt. Diese nach Art eines UND-Gatters mit drei Eingängen arbeitende Einheit erhält als drittes Eingangssignal das Taktsignal von der zentralen Steuereinheit. Dadurch akti viert sie beim ersten Teilschritt im Gewinner-Neuron (N_j) das Addierwerk (RE4), das nun die bereits beschriebene Prototyp-Veränderung nach Gl. (2) ausführt. Beim nächsten Takt signal der zentralen Steuereinheit, entsprechend dem zweiten Teilschritt des Lernschritts, werden die Verknüpfungseinheiten VE2 der Nachbarneuronen des Gewinner-Neurons (N_j) aktiviert, da deren VE2-Eingänge mit dem aktiven VE2-Ausgang des Gewinner-Neurons verbunden sind. Sofern für ein solches Nachbarneuron Gl. (13) gilt, es also nicht von der durch die Vergleichseinheit RE2 festzustellenden Distanz-Inhibition betroffen ist, aktiviert dessen Verknüpfungseinheit VE4 das Addierwerk RE4. Im zweiten Teilschritt führen also unter der Bedingung (13) die Nachbarneuronen des Gewinner-Neurons (N_j) zusammen mit diesem die Lernvorschrift Gl. (2) aus. Durch weitere Taktimpulse breitet sich durch die Kopplung der Verknüpfungseinheiten VE2 benachbarter Neuronen der Lernschritt in die weitere räumliche Nachbarschaft des Gewinner-Neurons (N_j) aus. In diesen weiteren Teilschritten bleibt das Signal der zentralen Steuereinheit an die Verknüpfungseinheiten VE3 aus, dieses liegt nur im ersten Teilschritt an. In Fig. 3b und 3d ist die Situation nach jeweils vier Teilschritten gezeigt; Neuronen, die vom Ausbreitungsprozeß betroffen sind, sind schwarz dargestellt. Nach vier Taktimpulsen hat das Gewinner-Neuron die Lernvor schrift Gl. (2) viermal, Neuronen im Abstand d_ÿ=3 haben sie einmal ausgeführt, sofern sie nicht von der Distanz-Inhibition betroffen sind. Neuronen, deren Prototypen sich au ßerhalb des Kreises mit Radius D befinden, sind von dieser Distanz-Inhibition betroffen. Für sie ist Gl. (13) nicht erfüllt und sie nehmen nicht am Lernschritt teil. Am Ende eines Lernschritts werden durch einen RESET-Impuls von der zentralen Steuereinheit die Ver knüpfungseinheiten VE2 aller Neuronen wieder in den Ausgangszustand gebracht, so daß mit der Präsentation eines neuen Musters (U) ein neuer Zyklus beginnen kann.In the first sub-step of the learning process after the winner neuron (N _j ) has been determined, only the comparison unit (RE2) of this neuron (N _j ) outputs a signal to the linking units VE3 and VE4 (see neural gas process). The first sub-step of a learning step is initiated by the central control unit sending a signal to the linking units VE3 of all neurons. As a result, the clock signal subsequently sent by the central control unit via VE5 activates the link unit VE2 in the winner neuron alone, which in turn sends a corresponding signal to the link unit VE4. This unit, which operates in the manner of an AND gate with three inputs, receives the clock signal from the central control unit as the third input signal. This activates the adder (RE4) in the first sub-step in the winning neuron (N _j ), which now adopts the prototype change described in Eq. (2) executes. At the next clock signal from the central control unit, corresponding to the second sub-step of the learning step, the linking units VE2 of the neighboring neurons of the winning neuron (N _j ) are activated, since their VE2 inputs are connected to the active VE2 output of the winning neuron. If for such a neighboring neuron Eq. (13) applies, ie it is not affected by the distance inhibition to be determined by the comparison unit RE2, its linking unit VE4 activates the adder unit RE4. In the second sub-step, the neighboring neurons of the winning neuron (N _j ), together with the condition (13), carry out the learning rule Eq. (2) off. Through further clock pulses, the coupling of the linking units VE2 of neighboring neurons spreads the learning step into the further spatial neighborhood of the winning neuron (N _j ). In these further substeps, the signal from the central control unit to the linking units VE3 is absent, this is only present in the first substep. In Fig. 3b and 3d the situation after four sub-steps is shown; Neurons that are affected by the propagation process are shown in black. After four clock pulses, the winning neuron has the learning rule Eq. (2) four times, they executed neurons at a distance d _ÿ = 3 once, provided they are not affected by the distance inhibition. Neurons whose prototypes are outside the circle with radius D are affected by this distance inhibition. For them, Eq. (13) not fulfilled and they do not take part in the learning step. At the end of a learning step, the linking units VE2 of all neurons are brought back to the initial state by a RESET pulse from the central control unit, so that a new cycle can begin with the presentation of a new pattern (U).

Durch die Kontrolle des Lernschritts mittels des Distanz-Parameters D wird das anfangs beschriebene Problem des Kohonen-Algorithmus gelöst, das im Falle von nicht zusam menhängenden und nicht konvexen Mustermengen auftritt. Ist nämlich der Abstand zwei er Muster-Teilmengen größer als der Distanz-Parameter D, findet das oben beschriebene "Herausziehen" von Prototypen aus einer Teilmenge durch Neuronen der anderen Teil menge, das aufgrund der nachbarschaftlichen Kopplung erfolgen kann, nicht mehr statt. Dadurch können sich die Neuronen leicht für jeweils eine Teilmenge entscheiden. Außer halb der Teilmengen finden sich keine dead units mehr (Fig. 4b). Innerhalb der Teilmengen erfüllt die neuronale Abbildung obendrein die Eigenschaft der Topologie-Erhaltung.By controlling the learning step using the distance parameter D, the initially described problem of the Kohonen algorithm is solved, which occurs in the case of non-contiguous and non-convex sample sets. If the distance between two sample subsets is greater than the distance parameter D, the "pulling out" of prototypes described above from one subset by neurons of the other subset, which can take place due to the neighborly coupling, no longer takes place. This allows the neurons to easily choose a subset each. There are no more dead units outside of the subsets ( Fig. 4b). Within the subsets, the neural mapping also fulfills the property of topology preservation.

In einer anderen Ausführung der Erfindung erfolgt die Speicherung des Prototyps (W_i) im Speicherbaustein SP2 in Analog-Technik mit Hilfe eines Kondensators. In diesem Fall wird die Lernvorschrift Gl. 2 durch Gl. 4 ersetzt, wobei diese von dem Teilschritt an, bei dem ein Neuron vom Ausbreitungsprozeß erreicht wird bis zum Ende des Lernschritts ausgeführt wird. Das Lernschritt-Ende wird durch den RESET-Impuls der zentralen Steuereinheit an gezeigt. Die von den Recheneinheiten RE1, RE3 und RE4 durchzuführenden Operationen können in dieser analogen Ausführung dann wie beschrieben mit Hilfe des Speicherkonden sators (Kapazität C) und eines Widerstands (Wert R) besonders einfach realisiert werden. Die Geschwindigkeit c des Ausbreitungsprozesses, der von Teilschritt zu Teilschritt fort schreitet, beeinflußt zusammen mit der Zeitkonstante τ = RC den Lernprozeß. Prinzipiell ist die analoge Ausführung mit der digitalen identisch, da Gl. 4 mit der Transformation Gl. 6 in Gl. 2 überführbar ist.In another embodiment of the invention, the prototype (W _i ) is stored in the memory module SP2 using analog technology with the aid of a capacitor. In this case, the learning rule Eq. 2 by Eq. 4 replaced, this being carried out from the sub-step in which a neuron is reached by the propagation process until the end of the learning step. The end of the learning step is indicated by the RESET pulse from the central control unit. The operations to be carried out by the computing units RE1, RE3 and RE4 can then be carried out in a particularly simple manner in this analog embodiment as described with the aid of the memory capacitor (capacitance C) and a resistor (value R). The speed c of the propagation process, which progresses from sub-step to sub-step, influences the learning process together with the time constant τ = RC. In principle, the analog version is identical to the digital version, since Eq. 4 with the transformation Eq. 6 in Eq. 2 is convertible.

In einer Modifikation des DISKO-Verfahrens arbeitet die Verknüpfungseinheit VE5 nach Art eines UND-Gatters. In diesem Fall gibt sie den von der zentralen Steuereinheit über den Bus gelieferten Taktimpuls nur dann an die Verknüpfungseinheit VE2 weiter, wenn die Vergleichseinheit RE2 ein entsprechendes Signal an die Einheit VE5 gibt. Das bedeutet, daß im Falle des Eintretens der Distanz-Inhibition (d. h. Gl. (13) nicht erfüllt) das ent sprechende Neuron nicht nur die Lernvorschrift Gl. (2) nicht ausführt, sondern auch den Ausbreitungsprozeß nicht weiterleitet, der durch die nachbarschaftlich gekoppelten Ver knüpfungseinheiten VE2 ausgeführt wird. Dadurch wirkt sich das Eintreten der Distanz- Inhibition in einem Neuron mittelbar auf dessen räumliche Nachbarschaft aus.In a modification of the DISKO process, the linking unit VE5 reworks Kind of an AND gate. In this case, it passes it on from the central control unit the clock pulse supplied to the link unit VE2 only if the Comparison unit RE2 gives a corresponding signal to the unit VE5. That means, that if distance inhibition occurs (i.e. Eq. (13) is not met) this ent speaking neuron not only the learning rule Eq. (2) does not execute, but also the Propagation process does not forward, which is due to the neighbors coupled Ver linking units VE2 is executed. This affects the occurrence of the distance Inhibition in a neuron indirectly affects its spatial neighborhood.

Die zuletzt beschriebene Modifikation greift besonders in einer Variante des DISKO- Verfahrens, bei der jedes Neuron (N_i) einen individuellen Wert des Distanz-Parameters (D_i) besitzt. Dieser wird dann nicht von der zentralen Steuereinheit vorgegeben, son dern von jedem Neuron selbst adaptiert. Ein Kriterium für diese D_i-Adaption ist z. B. die Häufigkeit, mit der ein Neuron zum Gewinner-Neuron bestimmt wird. Das Gewinner- Neuron verringert sein D_i um einen gewissen Betrag, solange das Kriterium Gl. (12) nicht greift. Alle übrigen Neuronen verringern ihr D_i um einen Betrag, der z. B. demjenigen des Gewinner-Neurons dividiert durch die Anzahl der Neuronen im Netzwerk entspricht; jedoch ohne daß ein Maximalwert über- und ein Minimalwert unterschritten wird. In die ser Variante besitzt die Speichereinheit Sp1 Eigenschaften einer Recheneinheit, die sie zu der genannten D_i-Adaption befähigt. In einer anderen Variante verringert nicht nur das Gewinner-Neuron den Wert seines Distanz-Parameters D_i, sondern auch diejenigen Neuronen, die im Lernschritt vom Ausbreitungsmechanismus betroffen sind. Dann ver ringern alle Neuronen, die am Lernschritt teilnehmen in jedem Teilschritt ihren D_i-Wert um einen gewissen Betrag, während alle übrigen Neuronen ihren D_i-Wert erhöhen. Die se Modifikation führt zu einer nachbarschaftlichen Angleichung der D_i-Verteilung. Der DISKO-Algorithmus läßt sich weiter flexibilisieren, wenn jedes Neuron (N_i) einen indivi duellen Wert des Lernparameters (l_i) aufweist und die Parameter l bzw. l_i und D bzw. D_i in jedem Teilschritt verändert werden können.The modification described last particularly applies to a variant of the DISKO method, in which each neuron (N _i ) has an individual value of the distance parameter (D _i ). This is then not specified by the central control unit, but adapted by each neuron itself. A criterion for this D _i adaptation is e.g. B. the frequency with which a neuron is determined to be the winning neuron. The winning neuron reduces its D _i by a certain amount as long as the criterion Eq. (12) does not apply. All other neurons decrease their D _i by an amount which, for. B. corresponds to that of the winning neuron divided by the number of neurons in the network; however without exceeding a maximum value and falling below a minimum value. In this variant, the storage unit Sp1 has properties of an arithmetic unit which enables it to perform the aforementioned D _i adaptation. In another variant, not only the winner neuron reduces the value of its distance parameter D _i , but also those neurons that are affected by the propagation mechanism in the learning step. Then all neurons participating in the learning step reduce their D _i value by a certain amount in each sub-step, while all other neurons increase their D _i value. This modification leads to a neighborhood adjustment of the D _i distribution. The DISKO algorithm can be made more flexible if each neuron (N _i ) has an individual value of the learning parameter (l _i ) and the parameters l or l _i and D or D _i can be changed in each sub-step.

Der besondere Vorteil der beschriebenen Varianten des DISKO-Algorithmus besteht dar in, daß damit eine unterschiedliche Plastizität des Netzwerks in verschiedenen Bereichen des Musterraums erreicht wird. Dadurch wird es möglich, daß das Netzwerk zunächst auf einen bestimmten Bereich des Musterraums trainiert werden kann. Werden anschließend in einem anderen Bereich Muster präsentiert, wird dadurch die Organisation des Netzwerks im ersten Bereich nicht beschädigt, da dort das Netzwerk auf Grund seiner in diesem Be reich kleineren D_i-Werte für eine gewisse Zeit fixiert bleibt. Dadurch wird das Problem des ursprünglichen Kohonen-Algorithmus gelöst, daß dort die Muster stets stochastisch über den gesamten relevanten Bereich des Musterraums verteilt präsentiert werden mußten, um den globalen Erfolg des Lernprozesses zu gewährleisten.The particular advantage of the variants of the DISKO algorithm described is that a different plasticity of the network is achieved in different areas of the pattern space. This makes it possible that the network can first be trained on a specific area of the model space. If samples are subsequently presented in another area, the organization of the network in the first area is not damaged because the network remains fixed there for a certain time due to its smaller D _i values in this area. This solves the problem of the original Kohonen algorithm that the patterns always had to be presented stochastically across the entire relevant area of the pattern space in order to ensure the global success of the learning process.

BezugszeichenlisteReference list

N_i Neuron
NN Nachbarneuronen eines Neurons N_i
U allen Neuronen präsentiertes Muster
W_i Prototyp des Neurons N_i
C Kapazität des Speicherkondensators, der in einer analogen Ausführung eine Komponente des Prototyps (W_i) eines Neurons N speichert
R ohmscher Widerstand, über den die Spannung auf dem Speicherkondensator verändert wird
τ Zeitkonstante des RC-Glieds, T = RC
c Geschwindigkeit des Ausbreitungsprozesses, der die nachbarschaftliche Wechselwirkung der Neuronen herstellt
ΔW_i Veränderung des Prototyps W_i in einem Lern- oder Teilschritt
N_j Gewinner-Neuron, dessen Prototyp (W_j) zum präsentierten Muster (U) den geringsten Abstand unter allen Prototypen hat
W_j Prototyp des Gewinner-Neurons (N_j)
d_ÿ räumlicher Abstand eines Neurons (N_i) zum Gewinner-Neuron (N_j), z. B. in der Betragsnorm gemessen
r_i Rang eines Neurons (N_i) in Bezug auf den Abstand seines Prototyps (W_i) zum präsentierten Muster U
η(d_ÿ) Nachbarschaftsfunktion im DISKO-Algorithmus
η(r_i) Lernfunktion im Neural- Gas-Algorithmus
Θ(||U - W_i||, D) Distanz-Funktion in der allgemeinsten Form des DISKO-Algorithmus.
D Distanz-Parameter zur Kontrolle des Lernvorgangs, mit dessen Hilfe auch das Gewinner-Neuron ermittelt wird
D_i Distanz-Parameter eines Neurons N_i in dem Fall, daß jedes Neuron (N_i) einen eigenen Wert dieses Parameters besitzt.
D₁--D₄ Verschiedene Werte, die der Distanz-Paramater D in einem Beispiel des Neural- Gas-Lernschritts an nimmt
l Lernparameter in der Lernvorschrift der Neuronen (N_i)
l_i Lernparameter in der Lernvorschrift der Neuronen (N_i) in dem Fall, daß jedes Neuron N_i einen eigenen Wert dieses Parameters besitzt.
Sp1 Speicherbaustein eines Neurons (N_i), der den Distanz-Parameter D bzw. D_i speichert
Sp2 Speicherbaustein, der den Prototyp W_i eines Neurons (N_j) speichert
RE1 Recheneinheit, die die Differenz aus Muster (U) und Prototyp (W_i) bildet
RE2 Vergleichsbaustein, der entscheidet, ob die Norm der Differenz U-W_i kleiner oder gleich dem Distanz-Parameter D bzw. D_i ist
RE3 Recheneinheit, die die Veränderung ΔW_i des Prototyps (W_i) eines Neurons (N_i) berechnet
RE4 getaktete Recheneinheit, die die Veränderung ΔW_i zum Prototyp (W_i) eines Neurons (N_i) hinzuaddiert
VE1 Verknüpfungseinheit nach Art eines open collector Treibers
VE2 getaktete Verknüpfungseinheit mit logischer ODER-Funktion
VE3-VE5 Verknüpfungseinheiten mit logischer UND-Funktion
BUS Datenbus, über den die zentrale Steuereinheit simultan mit allen Neuronen (N_i) kommuniziert.N _i neuron
NN neighboring neurons of a neuron N _i
Pattern presented to all neurons
W _i prototype of the neuron N _i
C capacitance of the storage capacitor, which stores an analog prototype component (W _i ) of a neuron N.
Ohmic resistance, via which the voltage on the storage capacitor is changed
τ time constant of the RC element, T = RC
c Speed of the propagation process, which creates the neighbourhood interaction of the neurons
ΔW _i Changing the prototype W _i in one learning or sub-step
N _j winner neuron, the prototype (W _j ) of which is the closest to the presented pattern (U)
W _j Prototype of the winning neuron (N _j )
d _ÿ spatial distance of a neuron (N _i ) to the winner neuron (N _j ), e.g. B. measured in the amount standard
r _i rank of a neuron (N _i ) in relation to the distance of its prototype (W _i ) to the presented pattern U
η (d _ÿ ) neighborhood function in the DISKO algorithm
η (r _i ) learning function in the neural gas algorithm
Θ (|| U - W _i ||, D) Distance function in the most general form of the DISKO algorithm.
D Distance parameters to control the learning process, with the help of which the winning neuron is also determined
D _i distance parameters of a neuron N _i in the event that each neuron (N _i ) has its own value of this parameter.
D₁ - D₄ Various values that the distance parameter D takes in an example of the neural gas learning step
l learning parameters in the learning rule of the neurons (N _i )
l _i learning parameters in the learning rule of the neurons (N _i ) in the event that each neuron N _i has its own value of this parameter.
Sp1 memory module of a neuron (N _i ), which stores the distance parameter D or D _i
Sp2 memory chip that stores the prototype W _{i of} a neuron (N _j )
RE1 computing unit that forms the difference between the pattern (U) and prototype (W _i )
RE2 comparison block that decides whether the norm of the difference UW _{i is} less than or equal to the distance parameter D or D _i
RE3 computing unit that calculates the change ΔW _{i of} the prototype (W _i ) of a neuron (N _i )
RE4 clocked computing unit that adds the change ΔW _i to the prototype (W _i ) of a neuron (N _i )
VE1 linking unit like an open collector driver
VE2 clocked logic unit with logical OR function
VE3-VE5 logic units with logical AND function
BUS data bus over which the central control unit communicates simultaneously with all neurons (N _i ).

Claims

1. Learning process for self-organizing neural networks, whereby

the individual neurons (N _j ) of the network are associated with points W _j (prototypes) in the model space,
- samples (U) are presented to the network and prototypes (W _j ) are changed according to a learning rule by
- - at least one winning neuron (N _j ) is determined for each pattern, which best represents the presented pattern (U), and
- - a learning step is then carried out in accordance with the learning instructions,

characterized in that, according to the learning rule, the extent of the change in the prototype (ΔW _i ) of a neuron (N _i ) depends on its spatial distance (d _ÿ ) to the winning neuron (s) (N _j ) and the change only before is taken on the condition that the pattern space distance || U -W _i || of the prototype (W _i ) of the neuron (N _i ) to the presented pattern (U) does not exceed a freely definable distance parameter D.

2. Learning method according to claim 1, characterized in that the learning step is subdivided into sub-steps, with a neuron (N _j ) in each sub-step its prototype (W _i ) according to the learning rule changed (where l is a freely selectable parameter) as soon as it has been achieved by a propagation process which starts from the gain neuron (N _j ) and progresses from sub-step to sub-step to respectively neighboring neurons.

3. The method according to claim 2, characterized in that the expansion process is independent of whether the change of the prototype (W _i ) is made.

4. The method according to claim 2, characterized in that a neuron (N _i ) only forwards the propagation process when a change to its prototype (W _i ) is made.

5. The method according to any one of claims 1-4, characterized in that the distance parameter D is constant during a learning step and is reduced from learning step to learning step if the value of D is greater than the distance of the prototype (W _j ) from the winner Neurons (N _i ) for the presented pattern (U) is: D <|| U - W _j ||.

6. The method according to any one of claims 1-4, characterized in that the Distance parameter D can be changed before each sub-step of a learning step.

7. The method according to claim 6, characterized in that the parameter D is increased from one to the next sub-step of a learning step until the neuron N _i , whose prototype (W _i ) has the next smallest distance from the presented pattern, applies: D | | U - W _j ||.

8. Device for performing the method according to any one of claims 1-7, characterized in that the network of neurons (N _i ) is connected via a data bus to a central control unit which averages the neuron pattern (U) and the distance -Parameter (D) sets, with the help of which neurons (N _j ) decide on their participation in the learning step.

9. The device according to claim 8, characterized in that each neuron (N _i ) has a memory chip (Sp2) for its prototype (W _i ), an arithmetic unit (RE1, RE3, RE4) for the independent calculation of the learning rule, and a comparison unit ( RE2), which, depending on the distance parameter (D) and the distance between the prototype (W _i ) and the presented pattern (U), decides whether the arithmetic unit (RE3, RE4) of the neuron (N _i ) decides in the memory module Sp2 stored prototype (W _i ) changed according to the learning rule.

10. The device according to claim 9, characterized in that the memory unit (Sp2) of each neuron stores the components W _{i of} its prototype as voltages on capacitors, and the arithmetic unit of the neuron partly consists of this capacitor and an ohmic resistor (RC element ), over which the voltages W _{i are changed} according to the learning rule.

11. Device according to one of claims 8-10, characterized in that each neuron has a component (Sp1) which stores an individual value (D _i ) of the distance parameter D for the neuron (N _i ) and changes this independently.

12. The apparatus according to claim 11, characterized in that a neuron lowers the value of its distance parameter (D _i ) if it is otherwise the value of D _i after the presentation of a pattern (U) winner neuron.

13. The apparatus according to claim 11, characterized in that a neuron lowers the value of its distance parameter (D _i ) in a sub-step of the learning step if it is affected by the propagation process according to claim 2 (or a claim related thereto), otherwise the value increased by D _i .

14. Device according to one of claims 8-13, characterized in that the central control unit transmits an individual learning parameter (l _i ) to each neuron.