Spiking neuronales Netzwerk - Spiking neural network

Das Insekt wird von einem spitzen neuronalen Netzwerk gesteuert, um ein Ziel in einem unbekannten Gelände zu finden.
Hauptartikel: Künstliches neuronales Netzwerk

Spiking Neural Networks ( SNNs ) sind künstliche neuronale Netze , die natürliche neuronale Netze genauer nachahmen. Neben neuronalen und synaptischen Zuständen integrieren SNNs das Konzept der Zeit in ihr Betriebsmodell . Die Idee ist, dass Neuronen im SNN nicht bei jedem Ausbreitungszyklus Informationen übertragen (wie dies bei typischen mehrschichtigen Perzeptronnetzwerken der Fall ist ), sondern nur dann Informationen übertragen, wenn ein Membranpotential  – eine intrinsische Eigenschaft des Neurons, die mit seiner Membranelektrizität verbunden ist charge – erreicht einen bestimmten Wert, den sogenannten Schwellenwert. Wenn das Membranpotential die Schwelle erreicht, feuert das Neuron und erzeugt ein Signal, das zu anderen Neuronen wandert, die ihrerseits ihr Potential als Reaktion auf dieses Signal erhöhen oder verringern. Ein Neuronenmodell, das im Moment der Schwellenüberschreitung feuert, wird auch als Spiking-Neuronenmodell bezeichnet .

Das bekannteste Spiking-Neuronenmodell ist das Leaky-Integrate-and-Fire- Modell. Im Integrale-und-Feuer-Modell wird das momentane Aktivierungsniveau (als Differentialgleichung modelliert ) normalerweise als der Zustand des Neurons angesehen, wobei eingehende Spitzen diesen Wert nach oben oder unten drücken, bis der Zustand schließlich entweder abklingt oder - wenn die Zündung Schwelle erreicht - das Neuron feuert. Nach dem Zünden wird die Zustandsvariable auf einen niedrigeren Wert zurückgesetzt.

Es gibt verschiedene Decodierungsverfahren zum Interpretieren des abgehenden Spike-Zugs als reellwertige Zahl, die sich entweder auf die Frequenz von Spikes (Ratencode), die Zeit bis zum ersten Spike nach der Stimulation oder das Intervall zwischen Spikes verlassen.

Geschichte

Gepulstes Neuronenmodell
Künstliche Synapsen basierend auf FTJs

Viele mehrschichtige künstliche neuronale Netze sind vollständig verbunden , empfangen Eingaben von jedem Neuron in der vorherigen Schicht und signalisieren jedem Neuron in der nachfolgenden Schicht. Obwohl diese Netzwerke in vielen Bereichen Durchbrüche erzielt haben, sind sie biologisch ungenau und ahmen nicht den Funktionsmechanismus von Neuronen im Gehirn eines Lebewesens nach.

Siehe auch: Biologisches Neuronenmodell

Das biologisch inspirierte Hodgkin-Huxley-Modell eines Spiking-Neurons wurde 1952 vorgeschlagen. Dieses Modell beschreibt, wie Aktionspotentiale initiiert und verbreitet werden. Die Kommunikation zwischen Neuronen, die den Austausch chemischer Neurotransmitter in der synaptischen Lücke erfordert , wird in verschiedenen Modellen wie dem Integrate-and-Fire- Modell, dem FitzHugh-Nagumo-Modell (1961-1962) und dem Hindmarsh-Rose-Modell (1984) beschrieben. . Das Leaky-Integrate-and-Fire-Modell (oder eine Ableitung) wird häufig verwendet, da es einfacher zu berechnen ist als das Hodgkin-Huxley-Modell.

Grundlagen

Die Informationstheorie erklärt, wie Informationen durch eine Reihe von Impulsfolgen, dh Aktionspotentiale, kodiert und dekodiert werden. Eine grundlegende Frage der Neurowissenschaften ist daher zu bestimmen, ob Neuronen durch einen Geschwindigkeits- oder einen Zeitcode kommunizieren . Die zeitliche Kodierung legt nahe, dass ein einzelnes Spiking-Neuron Hunderte von versteckten Einheiten in einem sigmoidalen neuronalen Netz ersetzen kann .

Ein neuronales Netzwerk mit Spiking berücksichtigt zeitliche Informationen. Die Idee ist, dass nicht alle Neuronen in jeder Iteration der Ausbreitung aktiviert werden (wie dies in einem typischen mehrschichtigen Perzeptronnetzwerk der Fall ist), sondern nur, wenn ihr Membranpotential einen bestimmten Wert erreicht. Wenn ein Neuron aktiviert wird, erzeugt es ein Signal, das an verbundene Neuronen weitergegeben wird und deren Membranpotential erhöht oder senkt.

In einem neuronalen Netzwerk mit Spiking wird der aktuelle Zustand des Neurons als sein Aktivierungsniveau definiert (als Differentialgleichung modelliert). Ein Eingangsimpuls bewirkt, dass der aktuelle Zustandswert für eine gewisse Zeit ansteigt und dann allmählich abfällt. Es wurden Codierungsschemata konstruiert, um diese Ausgangsimpulsfolgen als Zahl zu interpretieren, wobei sowohl die Impulsfrequenz als auch das Impulsintervall berücksichtigt werden. Ein neuronales Netzmodell basierend auf der Pulserzeugungszeit kann erstellt werden. Spike-Codierung wird in diesem neuen neuronalen Netzwerk übernommen. Unter Verwendung des genauen Zeitpunkts des Auftretens des Pulses kann ein neuronales Netz mehr Informationen verwenden und eine höhere Rechenleistung bieten.

Pulsgekoppelte neuronale Netze (PCNN) werden oft mit SNNs verwechselt. Ein PCNN kann als eine Art SNN angesehen werden.

Der SNN-Ansatz verwendet eine binäre Ausgabe (Signal/kein Signal) anstelle der kontinuierlichen Ausgabe herkömmlicher KNN. Außerdem sind Pulstrainings nicht leicht interpretierbar. Aber das Pulstraining erhöht die Fähigkeit, raumzeitliche Daten (oder die kontinuierliche Klassifizierung von sensorischen Daten aus der realen Welt) zu verarbeiten. Raum bezieht sich auf die Tatsache, dass sich Neuronen nur mit benachbarten Neuronen verbinden, damit sie Eingabeblöcke separat verarbeiten können (ähnlich wie bei CNN mit Filtern). Zeit bezieht sich auf die Tatsache, dass das Pulstraining über die Zeit erfolgt, so dass die bei der binären Codierung verlorenen Informationen aus den Zeitinformationen wiedergewonnen werden können. Dies vermeidet die zusätzliche Komplexität eines rekurrenten neuronalen Netzes (RNN). Es stellt sich heraus, dass Impulsneuronen leistungsfähigere Recheneinheiten sind als herkömmliche künstliche Neuronen.

SNN ist theoretisch leistungsfähiger als Netzwerke der zweiten Generation, jedoch schränken SNN-Trainingsprobleme und Hardwareanforderungen ihre Verwendung ein. Obwohl unüberwachte biologische Lernmethoden verfügbar sind, wie z. B. hebbianisches Lernen und STDP , ist keine effektive überwachte Trainingsmethode für SNN geeignet, die eine bessere Leistung als Netze der zweiten Generation bieten kann. Die Spike-basierte Aktivierung von SNNs ist nicht differenzierbar, was es schwierig macht, auf Gradientenabstieg basierende Trainingsmethoden zu entwickeln, um Fehler- Backpropagation durchzuführen , obwohl einige neuere Algorithmen wie NormAD und Multilayer NormAD eine gute Trainingsleistung durch geeignete Annäherung des Gradienten der Spike-basierten Aktivierung gezeigt haben .

SNNs haben viel höhere Rechenkosten für die Simulation realistischer neuronaler Modelle als herkömmliche KNN.

Anwendungen

SNNs können im Prinzip für die gleichen Anwendungen gelten wie traditionelle ANNs. Darüber hinaus können SNNs das zentrale Nervensystem biologischer Organismen modellieren , beispielsweise eines Insekts, das ohne vorherige Umweltkenntnis nach Nahrung sucht. Aufgrund ihres relativen Realismus können sie verwendet werden, um die Funktionsweise biologischer neuronaler Schaltkreise zu untersuchen . Ausgehend von einer Hypothese über die Topologie eines biologischen neuronalen Schaltkreises und seiner Funktion können Aufzeichnungen dieses Schaltkreises mit der Ausgabe des entsprechenden SNN verglichen und die Plausibilität der Hypothese bewertet werden. Es fehlt jedoch an effektiven Trainingsmechanismen für SNNs, die für einige Anwendungen, einschließlich Computer Vision-Aufgaben, hemmend sein können.

Ab 2019 hinken SNNs ANNs in Bezug auf die Genauigkeit hinterher, aber die Lücke nimmt ab und ist bei einigen Aufgaben verschwunden.

Software

Eine vielfältige Auswahl an Anwendungssoftware kann SNNs simulieren. Diese Software kann nach ihrer Verwendung klassifiziert werden:

SNN-Simulation

Unüberwachtes Lernen mit ferroelektrischen Synapsen

Diese simulieren komplexe neuronale Modelle mit hoher Detailgenauigkeit und Genauigkeit. Große Netzwerke erfordern normalerweise eine langwierige Verarbeitung. Zu den Kandidaten gehören:

Hardware

Vorhersage des STDP-Lernens mit ferroelektrischen Synapsen
Netz-Routing-Modell von Neuron zu Neuron

Zukünftige neuromorphe Architekturen werden Milliarden solcher Nanosynapsen umfassen, die ein klares Verständnis der physikalischen Mechanismen erfordern, die für die Plastizität verantwortlich sind. Experimentelle Systeme basierend auf ferroelektrischen Tunnelübergängen wurden verwendet, um zu zeigen, dass STDP durch heterogenes Polarisationsschalten genutzt werden kann. Durch kombinierte Rastersonden-Bildgebung, elektrischen Transport und molekulare Dynamik auf atomarer Ebene können Leitfähigkeitsvariationen durch keimbildungsdominierte Umkehrung von Domänen modelliert werden. Simulationen zeigen, dass Arrays ferroelektrischer Nanosynapsen autonom lernen können, Muster auf vorhersagbare Weise zu erkennen, was den Weg zum unüberwachten Lernen ebnet .

Unüberwachtes Lernen mit ferroelektrischen Synapsen
  • Akida NSoC von Brainchip behauptet, effektiv 1,2 Millionen Neuronen und 10 Milliarden Synapsen zu haben
  • Neurogrid ist ein Board, das Spiking- Neuralnetzwerke direkt in Hardware simulieren kann. (Universität in Stanford)
  • SpiNNaker (Spiking Neural Network Architecture) verwendet ARM- Prozessoren als Bausteine ​​einer massiv parallelen Rechenplattform, die auf einem sechsschichtigen thalamokortikalen Modell basiert . ( Universität Manchester ) Das SpiNNaker-System basiert auf numerischen Modellen, die in Echtzeit auf benutzerdefinierten digitalen Multicore-Chips unter Verwendung der ARM-Architektur laufen . Es bietet kundenspezifische digitale Chips mit jeweils achtzehn Kernen und einem gemeinsam genutzten lokalen 128 MByte RAM mit insgesamt über 1.000.000 Kernen. Ein einzelner Chip kann 16.000 Neuronen mit acht Millionen Plastiksynapsen simulieren, die in Echtzeit laufen.
  • TrueNorth ist ein Prozessor mit 5,4 Milliarden Transistoren, der nur 70 Milliwatt verbraucht ; die meisten Prozessoren in Personalcomputern enthalten etwa 1,4 Milliarden Transistoren und benötigen 35 Watt oder mehr. IBM bezeichnet das Designprinzip von TrueNorth als neuromorphic Computing . Sein Hauptzweck ist die Mustererkennung. Während Kritiker sagen, dass der Chip nicht leistungsstark genug ist, weisen seine Befürworter darauf hin, dass dies nur die erste Generation ist und die Fähigkeiten verbesserter Iterationen deutlich werden. (IBM)
  • Dynamischer neuromorpher asynchroner Prozessor (DYNAP) kombiniert langsame, stromsparende, inhomogene analoge Schaltungen unter dem Schwellenwert und schnelle programmierbare digitale Schaltungen. Es unterstützt rekonfigurierbare, universelle, neuronale Echtzeitnetzwerke von Spiking-Neuronen. Dies ermöglicht die Implementierung von auf Spikes basierenden neuronalen Verarbeitungsarchitekturen in Echtzeit, in denen Speicher und Berechnung gemeinsam lokalisiert sind. Es löst das von Neumann- Engpassproblem und ermöglicht eine Echtzeit-Multiplex-Kommunikation von Spiking-Ereignissen zur Realisierung massiver Netzwerke. Rekurrente Netzwerke, Feed-Forward-Netzwerke, Faltungsnetzwerke, Attraktornetzwerke , Echozustandsnetzwerke , tiefe Netzwerke und Sensorfusionsnetzwerke sind einige der Möglichkeiten.
Core Top-Level-Mikroarchitektur
  • Loihi ist ein 14-nm-Chip von Intel, der 128 Kerne und 130.000 Neuronen auf einem 60-mm-Gehäuse bietet. Es integriert eine Vielzahl von Funktionen wie hierarchische Konnektivität, dendritische Kompartimente, synaptische Verzögerungen und programmierbare synaptische Lernregeln. Loihi verwendet eine spitzenförmige Faltungsform des Locally Competitive Algorithm und kann LASSO- Optimierungsprobleme mit einem über drei Größenordnungen überlegenen Energieverzögerungsprodukt im Vergleich zu herkömmlichen Solvern lösen, die auf einem CPU-Isoprozess/Spannung/Fläche laufen. Ein 64-Loihi-Forschungssystem bietet ein neuromorphes System mit 8 Millionen Neuronen. Loihi ist etwa 1.000-mal so schnell wie eine CPU und 10.000-mal so energieeffizient.
  • BrainScaleS basiert auf physikalischen Emulationen von Neuronen-, Synapsen- und Plastizitätsmodellen mit digitaler Konnektivität und läuft bis zu zehntausend Mal schneller als Echtzeit. Es wurde vom European Human Brain Project entwickelt . Das BrainScaleS-System enthält 20 8-Zoll-Siliziumwafer in 180-nm-Prozesstechnologie. Jeder Wafer enthält 50 x 106 Plastiksynapsen und 200.000 biologisch realistische Neuronen. Das System führt keinen vorprogrammierten Code aus, sondern entwickelt sich entsprechend den physikalischen Eigenschaften der elektronischen Geräte weiter und läuft bis zu 10.000 Mal schneller als in Echtzeit.

Benchmarks

Die Klassifizierungsfähigkeiten von Spiking-Netzwerken, die nach unüberwachten Lernmethoden trainiert wurden, wurden an den gängigen Benchmark-Datensätzen wie Iris-, Wisconsin-Brustkrebs- oder Statlog-Landsat-Datensatz getestet. Es wurden verschiedene Ansätze zur Informationscodierung und zum Netzwerkdesign verwendet. Zum Beispiel ein 2-Schicht-Feedforward-Netzwerk für Datenclustering und -klassifizierung. Basierend auf der Idee von Hopfield (1995) implementierten die Autoren Modelle lokaler rezeptiver Felder, die die Eigenschaften von radialen Basisfunktionen (RBF) und Spiking-Neuronen kombinieren, um Eingangssignale (klassifizierte Daten) mit einer Gleitkommadarstellung in eine Spiking-Darstellung umzuwandeln.

Siehe auch

Verweise

Externe Links