DE69602662T2 - Verfahren zur Beschleunigung der Ausführungsgeschwindigkeit von Neuronalnetzwerken für korrelierte Signalverarbeitung - Google Patents

Description

• Die Erfindung bezieht sich auf automatische Signalerkennungssysteme und betrifft speziell ein Verfahren zur Beschleunigung der Verarbeitungsausführung eines neuronalen Netzes für die Verarbeitung korrelierter Signale.
• Ein neuronales Netz ist ein paralleles Verarbeitungsmodell, das in extrem vereinfachter Form die cerebrale Kortexorganisation reproduziert. Ein neuronales Netz umfaßt eine Vielzahl von Verarbeitungseinheiten, die als Neuronen bezeichnet werden und die mit Hilfe von Verbindungen unterschiedlicher Intensität, die als Synapsen oder Verbindungsgewichtungen bezeichnet werden, stark miteinander verbunden sind.
• Die Neuronen sind im allgemeinen in einer Struktur mit mehreren Ebenen angeordnet, mit einer Eingangsebene, einer oder mehreren Zwischenebenen und einer Ausgangsebene. Ausgehend von den Eingangseinheiten, die das zu verarbeitende Signal empfangen, schreitet die Verarbeitung zu den nachfolgenden Ebenen des Netzes aufwärts fort bis zu den Ausgangseinheiten, die das Ergebnis liefern. Ein neuronales Netz ist nicht programmiert, sondern ist mit Hilfe einer Serie von Beispielen der zu modellierenden Erscheinung trainiert. Verschiedene Ausführungen von neuronalen Netzen sind beispielsweise im Buch von D. Rumelhart "Parallel Distributed Processing", Band 1, Foundations, MIT Press, Cambridge, Mass., 1986, beschrieben.
• Die Technologie neuronaler Netze kann auf vielen Gebieten angewendet werden, wie der Funktionsschätzung, der Audio- und Videosignalverarbeitung und -klassifizierung, der automatischen Steuerung, der Vorhersage und Optimation, wobei sie aber dennoch einige Probleme hat, die daher stammen, daß es keine Einrichtungen gibt, die hinsichtlich der Verarbeitungsleistung und -geschwindigkeit ausreichend leistungsstark sind. Bekanntlich ist die Verarbeitungsausführung eines neuronalen Netzes, wenn sie durch Emulation auf einem sequentiellen Prozessor betrieben wird, sehr aufwendig, speziell in Fällen, die Netze mit vielen Tausenden von Gewichtungen erfordern. Wenn Signale, die sich kontinuierlich mit der Zeit ändern, in Echtzeit verarbeitet werden müssen, beispielsweise Sprach-, Video-, Sonar- oder Radarsignale, so bringt die Verwendung der Technologie zusätzliche Schwierigkeiten mit sich.
• Die bekannten Lösungen dieses Problems haben vier verschiedene Wege eingeschlagen.
• Der erste Weg zielt darauf, die Netzgröße zu vermindern, indem Gewichtungen und Einheiten ausgelichtet werden, wie es beispielsweise beschrieben ist von R. Reed in "Pruning Algorithms - A Survey" in IEEE Transactions on Neural Networks, Band 4, Nr. 5, 1993. Diese Verfahren haben jedoch nur eine begrenzte Wirksamkeit, da die Zahl der Gewichtungen und Einheiten, die herausgenommen werden können, ohne eine Verschlechterung des Betriebsverhaltens zu bewirken, oft sehr begrenzt ist.
• Ein zweiter Weg beruht auf der Implementierung des neuronalen Netzes auf einem VLSI- Chip, indem das ihm eigene Parallelisierungspotential ausgewertet wird. Dieses Verfahren ist von seiner Fähigkeit her sehr vielversprechend, es ist jedoch nicht sehr ausgereift. Außerdem bedingt es die Verwendung einer spezialisierten Geräteausstattung, die oft sehr teuer ist und nicht leicht mit kommerziellen Prozessoren integrierbar ist.
• Ein dritter Weg besteht aus der Verwendung einer spezialisierten Geräteausstattung der Multiprozessor-Art, indem die Verarbeitungsausführung des neuronalen Netzes auf verschiedene Prozessoren verteilt wird. Wie im vorhergehenden Fall erfordert diese mögliche Lösung eine nicht-standardmäßige Geräteausstattung, die teuer und schwer mit kommerziellen Plattformen wie Personalcomputern oder Werkstationen zu integrieren ist.
• Ein vierter Weg, der darauf zielt, die Verarbeitungsausführung des neuronalen Netzes für die Verarbeitung korrelierter Signale zu beschleunigen, und der dem Oberbegriff des Anspruchs 1 entspricht, ist in der Theorie bekannt aus PROCEEDINGS OF 1994 IEEE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS (ICNN'94), ORLANDO, FL, USA, 27. Juni-29. Juni 1994, ISBN 0-7803-1901-X, 1994, NEW YORK, NY, USA, IEEE, USA, Seiten 1409-1414, Band 3, GHORBANI A A u. a.: "Training artificial neural networks using variable precision incremental communication", und aus IEEE TRANS- ACTIONS ON NEURAL NETWORKS, Band 6, Nr. 6, 1. November 1995, Seiten 1375- 1385, GHORBANI A A u. a.: "INCREMENTAL COMMUNICATION FOR MULTILAYER NEURAL NETWORKS". Die Prinzipien dieser Vorgehensweisen sind jedoch noch optimierbar.
• Eine solche Optimierung wird erreicht durch das erfindungsgemäße Verfahren, das die Verarbeitungsausführung des neuronalen Netzes für die Verarbeitung korrelierter Signale beschleunigen kann und es speziell ermöglicht, die Verarbeitungsausführung einer breiten Klasse neuronaler Netze zum Verarbeiten sequentieller Eingangssignale, die sich mit der Zeit nur langsam weiterentwickeln, wie beispielsweise Sprach-, Radar-, Sonar- und Videosignale, zu beschleunigen, wobei dieses Verfahren keine spezialisierten, teuren oder schwer auffindbaren Geräte erfordert.
• Speziell ist es der Gegenstand der vorliegenden Erfindung, ein Verfahren zur Beschleunigung der Verarbeitungsausführung neuronaler Netze für die Verarbeitung korrelierter Signale zu schaffen, wie es im kennzeichnenden Teil von Anspruch 1 definiert ist.
• Diese und andere Merkmale der Erfindung werden veranschaulicht durch die folgende Beschreibung einer bevorzugten Ausführungsform der Erfindung, die nur als nicht begrenzendes Beispiel angegeben wird, und durch die beigeschlossenen Zeichnungen. Es zeigen:
• Fig. 1 ein neuronales Perceptron-Netz mit mehreren Ebenen;
• Fig. 2 ein einzelnes Neuron i mit seinen Verbindungen nach vorne;
• Fig. 3 die Quantisierung des Co-Bereichs der Sigmoid-Transferfunktion des Neurons.
• Die Idee, auf der das Verfahren beruht, ist folgende: da das Eingangssignal sequentiell ist und sich mit der Zeit langsam und stetig weiterentwickelt, ist es nicht erforderlich, alle Aktivationswerte aller Neuronen für jeden Eingang neu zu berechnen, sondern es genügt, durch das Netz die Differenzen relativ zur vorhergehenden Eingabe fortschreiten zu lassen. Demnach werden im Betrieb also nicht die absoluten Neuron-Aktivationswerte zur Zeit t in Betracht gezogen, sondern die Differenzen relativ zu den Aktivationswerten zur Zeit t - 1. An einem beliebigen Punkt im Netz ergibt es sich also, daß dann, wenn ein Neuron zur Zeit t eine Aktivation hat, die ausreichend ähnlich (vorzugsweise identisch) der zur Zeit t - 1 ist, das Neuron keinerlei Signal abgibt. Da die Verarbeitungsausführung des Netzes auf der Elementaroperation des in Vorwärtsrichtung Abgebens des Aktivationswertes jedes Neurons, durch die synaptischen Gewichtungen auf einen Mittelwert gebracht, zu den nachfolgenden Neuronen beruht, ist leicht verständlich, daß die Begrenzung dieser Aktivität auf nur diejenigen Neuronen, für die es eine bedeutsame Änderung im Aktivationspegel gibt, von großer Bedeutung ist.
• Unter Auswertung dieser Idee kann die Verarbeitungsausführung des neuronalen Netzes dadurch beschleunigt werden, daß man signifikante Aktivationsdifferenzen vorwärtsleitet, und dies erlaubt bei der Spracherkennung die Einsparung von zwei Dritteln der Verarbeitungszeit. Das Verfahren erfordert eine sehr kleine Menge zusätzlichen Speichers und bringt keine spürbare Verschlechterung des Betriebsverhaltens, wie experimentell bestätigt wurde.
• Fig. 1 zeigt ein neuronales Perceptionsnetz mit mehreren Ebenen, wie das im schon erwähnten Buch von D. Rumelhart "Parallel Distributed Processing" beschriebene Netz. Das Netz-Eingangssignal ist ein über der Zeit abgetastetes Signal und die Netz Ausgangssignale sind Werte, die der gewünschten Verarbeitung entsprechen, beispielsweise der Eingangssignalklassifizierung.
• Jedes Neuron der Zwischenebene und der Ausgangsebene berechnet seinen gesamten Netzeingang neti als Summierung der Produkte der Aktivationen oj der Neuronen der unteren Ebene durch die Verbindungsgewichtungen wij entsprechend der Formel neti = Σj oj · wij, wobei wij die Gewichtung ist, die das Neuron j mit dem Neuron i verbindet. Das Neuron berechnet dann seine Aktivation oi als nichtlineare Funktion des gesamten Eingangs entsprechend der Formel oj = 1/(1 + e-neti+θi), wobei θi ein für das Neuron i typischer konstanter Wert ist. Die angegebene nichtlineare Funktion ist ein Sigmoid, das einen Ausdruck von der Art f(x) = 1/(1 + e-x+θ) und einen Wert zwischen 0 und 1 hat.
• Fig. 2 zeigt ein einzelnes Neuron i mit seinen vorwärtsgerichteten Verbindungen, entlang denen es die Aktivationsdifferenzen vorwärts abgibt, und mit seinen Speicherstrukturen M1i und M2j, die für das Beschleunigungsverfahren erforderlich sind. M1i enthält den Aktivationswert zur Zeit t, nämlich oi(t), wie in üblichen neuronalen Netzen, und M2i enthält den Wert zur vorhergegangenen Zeit t - 1, nämlich oi(t - 1). Die anderen Neuronen im Netz haben gleiche Speicherstrukturen, beispielsweise M1k und M2k für das Neuron k.
• Fig. 3 zeigt die Quantisierung der Gruppe von Ausgangswerten (Co-Bereich) der Sigmoid- Transferfunktion des Neurons mit dem Zweck, die Aktivationspegel der Neuronen zu quantisieren, wodurch es möglich ist, die Bedingung der Aktivationsgleichheit zu den Zeiten t und t - 1 zu erkennen, die gefordert wird, damit kein Signal abgegeben wird. Die Neuronen geben kein Signal ab, wenn die quantisierten Werte zu den Zeiten t und t - 1 identisch sind. Hierdurch wird die elementare Operation zur Beschleunigung der Verarbeitungsausführung des Netzes geschaffen.
• Im folgenden wird im einzelnen das Verfahren der Beschleunigung der Verarbeitungsausführung des neuronalen Netzes beschrieben.
• Das Verfahren erfordert das Speichern des Aktivationswerts eines Neurons zur Zeit t - 1 und das Vergleichen dieses Werts mit dem zur Zeit t berechneten Wert. Wenn die Aktivationswerte um weniger als eine gegebene Schwelle voneinander abweichen (und vorzugsweise gleich sind), führt das Neuron keine Aktivität aus; im anderen Fall gibt es die Aktivationsdifferenz, multipliziert mit den Verbindungsgewichtungen, an die Neuronen ab, mit denen es verbunden ist. Da die Aktivation eines Neurons eine kontinuierliche nichtlineare Funktion an seinem Eingang ist, normalerweise ein Sigmoid f(x) = 1/(1 + e-x+θi) wäre es erforderlich, den Co-Bereich einer solchen Funktion zu einer gegebenen Anzahl von Werten zu quantisieren, damit die Bedingung der Aktivationsgleichheit tatsächlich erkannt werden kann (Fig. 3). Die Quantisierung wird allgemein für die Neuronen der Zwischenebene oder Zwischenebenen durchgeführt, so daß die Beschleunigung diese Ebene(n) betrifft.
• Die Quantisierung des Sigmoid-Co-Bereichs führt im Netz ein gewisses Quantisierungsrauschen ein, dieser Fehler wird jedoch, da die Information sehr verteilt ist, statistisch eher ausgeglichen und führt nicht zu einer erheblichen Verschlechterung des Betriebsverhaltens.
• Offensichtlich muß die Zahl der Quantisierungswerte empirisch geschätzt werden: je kleiner sie ist, umso stärker beschleunigt sich das Verfahren; sie kann jedoch nicht allzu klein sein, damit eine Verschlechterung des Betriebsverhaltens vermieden wird. Im Fall realistischer Mehrebenen-Perceptronnetze mit etwa 50.000 bis 100.000 Gewichtungen kann diese Zahl von etwa 25 bis etwa 50 variieren.
• Im folgenden wird im einzelnen die Verarbeitungsausführung des neuronalen Netzes zur allgemeinen Zeit t, unterteilt in die Zyklen an den Eingangsneuronen j, an Zwischenneuronen m und an Ausgangsneuronen k beschrieben.
A) Zyklus an den Eingangsneuronen:
• 1. Für alle Eingangsneuronen j werden die folgenden Schritte durchgeführt:
• 1.1 Es wird die Aktivation oj(t) des Eingangsneurons gleich dem j-ten Wert des zur Zeit t quantisierten Signals bestimmt, nachdem der vorhergehende Aktivationswert oj(t - 1) gespeichert worden ist;
• 1.2 Für jedes vom Neuron j aus erreichte Zwischenneuron m wird der gesamte Eingang netm um den Beitrag erhöht, der vom Eingangsneuron j kommt, gegeben durch die Differenz oj(t) - oj(t - 1), die multipliziert ist mit der Verbindungsgewichtung wmj.
B) Zyklus an den Zwischenneuronen:
• 2. Für alle Zwischenneuronen m werden die folgenden Schritte durchgeführt:
• 2.1 die quantisierte Aktivation wird mit der Formel omquant = fquant(netm) berechnet, wobei fquant(x) das am Co-Bereich quantisierte Sigmoid ist, nachdem die vorhergehende quantisierte Aktivation omquant(t - 1) gespeichert worden ist;
• 2. 2 Wenn omquant(t) = omquant(t - 1), ist für das Neuron m nichts zu tun und wird das nachfolgende Neuron herangezogen, wodurch die grundsätzliche Beschleunigungsoperation durchgeführt ist; im anderen Fall wird die Differenz nach vorne gegeben;
• 2. 3 für jedes vom Neuron m aus erreichte Neuron k wird der gesamte Eingang netk erhöht durch den vom Neuron m kommenden Beitrag, der gleich der Differenz omquant(t) - omquant(t - 1), multipliziert mit der Verbindungsgewichtung wkm, ist.
C) Zyklus an den Ausgangsneuronen:
• 3. Für alle Ausgangsneuronen k wird die exakte Aktivation mit der Formel ok = f(netk) berechnet, wobei f(x) das Sigmoid ist.
• Dieses Verfahren wird für alle Abtastwerte des korrelierten Eingangssignals wiederholt, von der Startzeit t = 1 bis zur Endzeit t = T, wobei T die Zahl von Elementen des abgetasteten Eingangssignals darstellt. Vor Beginn der Verarbeitungsausführung des Netzes an einem Signal werden die Werte neti nach θi für jedes Neuron im Netz initialisiert. Wie beim Differenz-Weitergabe-Mechanismus wird der konstante Wert θ für jedes Neuron zu Beginn definiert und wird später nicht mehr verändert.
• Das Verfahren hat die folgenden Hauptvorteile:
• a. Die Optimierung ergibt sich aus einer konzeptuellen Modifikation der Verarbeitungsausführung des Netzes und nicht aufgrund einer Software-Optimie rung, so daß der Vorteil real ist, und kann für eine beliebige gerätetechnische Plattform angewendet werden (selbst für einen DSP-Prozessor);
• b. die Verwendung von zusätzlichem Speicher ist in der Ordnung der Netzeinheiten, also der Neuronen, und nicht in der Ordnung der Gewichtungen, so daß er sehr begrenzt ist;
• c. durch passende Wahl des Quantisierungsschritts des Co-Bereichs des Sigmoids ist es möglich, erhebliche Verkürzungen der Ausführungszeit ohne wesentliche Leistungsverluste zu erzielen;
• d. das Verfahren kann auf alle Fälle von sequentiellem Eingang mit kontinuierlichen Dynamiken und langsamer Fortentwicklung angewandt werden (z. B. auf Sprache, Video, Sonar, medizinische Signale);
• e. im schlimmsten Fall einer vollständigen und ständigen Variation des Eingangssignals konvergiert das Verfahren zum Grenzfall einer Standard-Verarbeitungsausführung des neuronalen Netzes, aber ohne wesentliche zusätzliche Kosten.

Claims (4)

1. Verfahren zur Beschleunigung der Verarbeitungsausführung eines neuronalen Netzes für die Verarbeitung korrelierter Signale, bei dem das Netz aus Neuronen besteht, die gemäß einer in Ebenen unterteilten Struktur angeordnet sind, die von einer unteren Ebene bis zu einer oberen Ebene eine Eingangsebene, eine oder mehrere Zwischenebenen und eine Ausgangsebene umfaßt, die Neuronen einer Ebene mit den Neuronen einer unmittelbar darüberliegenden Ebene mit Hilfe von Verbindungen unterschiedlicher Intensität, nämlich synaptischer Gewichtungen, verbunden sind, und die Verarbeitungsausführung des neuronalen Netzes zu einem allgemeinen Abtastzeitpunkt t wenigstens für die Neuronen in der Zwischenebene oder den Zwischenebenen die folgenden Schritte umfaßt: Berechnen und Speichern eines Aktivationswerts des Neurons zum Zeitpunkt t; Vergleichen des Aktivationswerts zum Zeitpunkt t mit dem Aktivationswert zu einem vorhergehenden Abtastzeitpunkt t - 1 und Berechnen der Differenz zwischen diesen Werten; und Abgeben dieser Differenz, die durch die synaptischen Gewichtungen der Verbindungen mit diesen Neuronen in der darüberliegenden Ebene gewichtet sind, zu den Neuronen in einer unmittelbar darüberliegenden Ebene nur dann, wenn die Differenz eine gegebene Schwelle überschreitet; dadurch gekennzeichnet, daß die Verarbeitungsausführung des neuronalen Netzes zum Zeitpunkt t die folgenden Operationen umfaßt:

a) für alle Eingangsneuronen j:

a1) Definieren des Aktivationswerts oj(t) des Eingangsneurons, gleich dem j-ten Wert des zur Zeit t quantisierten Signals nach Speicherung des vorhergehenden Aktivationswerts oj(t - 1);

a2) für jedes vom Neuron j aus erreichte Zwischenebenen-Neuron m, Erhöhung des gesamten Eingangs netm um den vom Eingangsneuron j kommenden Beitrag, der gleich der Differenz oj(t) - oj(t -1), multipliziert mit der Verbindungsgewichtung wmj, ist;

b) für alle Zwischenebenen-Neuronen m:

b1) Berechnen eines quantisierten Aktivationswerts mit der Formel omquant = fquant(netm), wobei fquant(x) die im Co-Bereich quantisierte Sigmoid-Transfer funktion des gerade betrachteten Neurons ist, nach der Speicherung des vorhergehenden quantisierten Aktivationswerts omquant(t - 1);

b2) wenn der quantisierte Aktivationswert omquant(t) = omquant(t -1), Durchführung keiner Operation für das Neuron m und Weitergehen zum nächstfolgenden Neuron;

b3) für jedes Neuron k, das vom Neuron m aus erreicht wird, Erhöhen des gesamten Eingangs netk durch Summieren des vom Neuron m kommenden Beitrags, der gleich der Differenz omquant(t) - omquant(t - 1), multipliziert mit der Verbindungsgewichtung wkm, ist;

c) für alle Ausgangsneuronen k, Berechnen des exakten Aktivationswerts mit der Formel ok = f(netk), wobei f(x) das Sigmoid ist.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es in Schritten für alle abgetasteten Werte des korrelierten Eingangssignals fortschreitet.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß vor dem Beginn der Netz-Verarbeitungsausführung an einem Signal die Eingänge initialisiert werden durch Setzen von neti = θi für jedes Netzneuron, wobei θi ein konstanter Wert für jedes Neuron ist, der zu Beginn definiert wird und anschließend nicht geändert wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß der Co-Bereich des Sigmoids mit einer Anzahl von Quantisierungsschritten im Bereich von 25 bis 50 quantisiert wird.