Zeitunterschied lernen - Temporal difference learning

Teil einer Serie über
Maschinelles Lernen und Data Mining
Probleme Einstufung Clustering Rückschritt Anomalieerkennung AutoML Vereinsregeln Verstärkungslernen Strukturierte Vorhersage Feature-Engineering Feature-Lernen Online lernen Teilüberwachtes Lernen Unbeaufsichtigtes Lernen Rangordnung lernen Grammatikeinführung
Überwachtes Lernen ( Klassifikation  • Regression ) Entscheidungsbäume Ensembles Absacken Erhöhen Zufälliger Wald k -NN Lineare Regression Naive Bayes Künstliche neurale Netzwerke Logistische Regression Perzeptron Relevanzvektormaschine (RVM) Support-Vektor-Maschine (SVM)
Clustering BIRKE HEILEN Hierarchisch k -bedeutet Erwartung-Maximierung (EM) DBSCAN OPTIK Mittlere Verschiebung
Dimensionsreduktion Faktorenanalyse CCA ICA LDA NMF PCA PID t-SN
Strukturierte Vorhersage Grafische Modelle Bayes-Netz Bedingtes Zufallsfeld Versteckte Markov
Anomalieerkennung k -NN Lokaler Ausreißerfaktor
Künstliche neuronale Netz Autoencoder Kognitives Rechnen Tiefes Lernen DeepDream Mehrschichtiges Perzeptron RNN LSTM GRU ESN Eingeschränkte Boltzmann-Maschine GAN SO M Faltungsneurales Netzwerk U-Netz Transformator Spiking neuronales Netzwerk Speichertransistor Elektrochemischer RAM (ECRAM)
Verstärkungslernen Q-Lernen SARSA Zeitliche Differenz (TD)
Theorie Bias-Varianz-Kompromiss Computergestützte Lerntheorie Empirische Risikominimierung Occam-Lernen PAC-Lernen Statistisches Lernen VC-Theorie
Veranstaltungsorte für maschinelles Lernen NeurIPS ICML ML JMLR ArXiv:cs.LG
Zum Thema passende Artikel Glossar der künstlichen Intelligenz Liste der Datensätze für die maschinelle Lernforschung Überblick über maschinelles Lernen
v t e

Zeitdifferenz- Lernen ( TD ) bezieht sich auf eine Klasse von modellfreien Verstärkungslernverfahren , die durch Bootstrapping aus der aktuellen Schätzung der Wertfunktion lernen . Diese Methoden sampeln aus der Umgebung, wie Monte-Carlo-Methoden , und führen Aktualisierungen basierend auf aktuellen Schätzungen durch, wie dynamische Programmiermethoden .

Während Monte-Carlo-Methoden ihre Schätzungen erst anpassen, wenn das Endergebnis bekannt ist, passen TD-Methoden Vorhersagen an spätere, genauere Vorhersagen über die Zukunft an, bevor das Endergebnis bekannt ist. Dies ist eine Form des Bootstrappings , wie im folgenden Beispiel veranschaulicht:

„Angenommen, Sie möchten das Wetter für Samstag vorhersagen und haben ein Modell, das das Wetter für Samstag unter Berücksichtigung des Wetters jedes Tages in der Woche vorhersagt. Im Standardfall würden Sie bis Samstag warten und dann alle Ihre Modelle anpassen. Wenn es zum Beispiel Freitag ist, sollte man eine ziemlich gute Vorstellung davon haben, wie das Wetter am Samstag sein wird – und so zum Beispiel das Samstagsmodell ändern können, bevor der Samstag kommt."

Zeitdifferenzverfahren beziehen sich auf das Zeitdifferenzmodell des tierischen Lernens.

Mathematische Formulierung

Die tabellarische TD(0)-Methode ist eine der einfachsten TD-Methoden. Es handelt sich um einen Spezialfall allgemeinerer stochastischer Näherungsverfahren. Es schätzt die Zustandswertfunktion eines endlichen Markov-Entscheidungsprozesses (MDP) unter einer Richtlinie . Lassen Sie bezeichnen den Zustandswert in Abhängigkeit von der MDP mit Staaten , Belohnungen und Diskontsatz im Rahmen der Politik : ${\displaystyle \pi}$${\displaystyle V^{\pi}}$${\displaystyle(s_{t})_{t\in\mathbb{N}}}$${\displaystyle(r_{t})_{t\in\mathbb{N}}}$${\displaystyle\gamma}$${\displaystyle \pi}$

${\displaystyle V^{\pi}(s)=E_{a\sim\pi}\left\{\sum _{t=0}^{\infty}\gamma^{t}r_{t}(a_ {t}){\Bigg |}s_{0}=s\rechts\}.}$

Der Einfachheit halber lassen wir die Aktion aus der Notation. erfüllt die Hamilton-Jacobi-Bellman-Gleichung : ${\displaystyle V^{\pi}}$

${\displaystyle V^{\pi}(s)=E_{\pi}\{r_{0}+\gamma V^{\pi}(s_{1})|s_{0}=s\},}$

so ist eine unverzerrte Schätzung für . Diese Beobachtung motiviert den folgenden Algorithmus zum Schätzen . ${\displaystyle r_{0}+\gamma V^{\pi}(s_{1})}$${\displaystyle V^{\pi}(s)}$${\displaystyle V^{\pi}}$

Der Algorithmus beginnt mit der willkürlichen Initialisierung einer Tabelle mit einem Wert für jeden Zustand des MDP. Es wird eine positive Lernrate gewählt. ${\displaystyle V(s)}$ ${\displaystyle\alpha}$

Anschließend werten wir die Richtlinie wiederholt aus , erhalten eine Belohnung und aktualisieren die Wertfunktion für den alten Zustand mit der Regel: ${\displaystyle \pi}$${\displaystyle r}$

${\displaystyle V(s)\leftarrow V(s)+\alpha (\overbrace {r+\gamma V(s')} ^{\text{Das TD-Ziel}}-V(s)}$

wo und sind die alten bzw. neuen Zustände. Der Wert wird als TD-Ziel bezeichnet. ${\displaystyle s}$${\displaystyle s'}$${\displaystyle r+\gamma V(s')}$

TD-Lambda

TD-Lambda ist ein Lernalgorithmus, der von Richard S. Sutton erfunden wurde, basierend auf früheren Arbeiten zum zeitlichen Differenzlernen von Arthur Samuel . Dieser Algorithmus wurde bekanntermaßen von Gerald Tesauro angewendet , um TD-Gammon zu entwickeln , ein Programm, das gelernt hat, Backgammon auf dem Niveau von erfahrenen menschlichen Spielern zu spielen.

Der Parameter Lambda ( ) bezieht sich auf den Trace Decay Parameter, mit . Höhere Einstellungen führen zu länger anhaltenden Spuren; das heißt, ein größerer Teil des Kredits aus einer Belohnung kann entfernteren Zuständen und Aktionen gegeben werden, wenn er höher ist, wobei paralleles Lernen zu Monte-Carlo-RL-Algorithmen erzeugt wird. ${\displaystyle \lambda}$${\displaystyle 0\leqslant \lambda \leqslant 1}$${\displaystyle \lambda}$${\displaystyle \lambda=1}$

TD-Algorithmus in den Neurowissenschaften

Auch im Bereich der Neurowissenschaften hat der TD- Algorithmus Beachtung gefunden . Die Forscher entdeckten, dass die Feuerrate von Dopamin- Neuronen im ventralen Tegmentalbereich (VTA) und der Substantia nigra (SNc) die Fehlerfunktion des Algorithmus zu imitieren scheint. Die Fehlerfunktion meldet die Differenz zwischen der geschätzten Belohnung in einem bestimmten Zustand oder Zeitschritt und der tatsächlich erhaltenen Belohnung zurück. Je größer die Fehlerfunktion, desto größer die Differenz zwischen erwarteter und tatsächlicher Belohnung. Wenn dies mit einem Stimulus kombiniert wird, der eine zukünftige Belohnung genau widerspiegelt, kann der Fehler verwendet werden, um den Stimulus mit der zukünftigen Belohnung zu assoziieren .

Dopaminzellen scheinen sich ähnlich zu verhalten. In einem Experiment wurden Messungen von Dopaminzellen durchgeführt, während ein Affe trainiert wurde, einen Reiz mit der Belohnung von Saft zu assoziieren. Anfänglich erhöhten die Dopaminzellen die Feuerrate, wenn der Affe Saft erhielt, was auf einen Unterschied zwischen erwarteten und tatsächlichen Belohnungen hinweist. Im Laufe der Zeit breitete sich diese Zunahme des Zurückschießens zum frühesten zuverlässigen Anreiz für die Belohnung aus. Sobald der Affe vollständig trainiert war, gab es bei Präsentation der vorhergesagten Belohnung keine Erhöhung der Feuerrate. Anschließend sank die Feuerrate für die Dopaminzellen unter die normale Aktivierung, wenn die erwartete Belohnung nicht produziert wurde. Dies ahmt genau nach, wie die Fehlerfunktion in TD für das Reinforcement Learning verwendet wird .

Die Beziehung zwischen dem Modell und der potentiellen neurologischen Funktion hat Forschungen hervorgebracht, die versuchen, TD zu verwenden, um viele Aspekte der Verhaltensforschung zu erklären. Es wurde auch verwendet, um Zustände wie Schizophrenie oder die Folgen pharmakologischer Manipulationen von Dopamin auf das Lernen zu untersuchen.

Siehe auch

• Q-Lernen
• SARSA
• Rescorla-Wagner-Modell
• PVLV

Anmerkungen

Literaturverzeichnis

• Sutton, RS, Barto AG (1990). "Zeitableitungsmodelle der Pawlowschen Bewehrung" (PDF) . Lernen und Computational Neuroscience: Grundlagen adaptiver Netzwerke : 497–537.CS1-Wartung: mehrere Namen: Autorenliste ( Link )
• Gerald Tesauro (März 1995). "Zeitdifferenz-Lernen und TD-Gammon" . Mitteilungen des ACM . 38 (3): 58–68. doi : 10.1145/203330.203343 .
• Imran Ghory. Verstärkungslernen in Brettspielen .
• SP Meyn, 2007. Control Techniques for Complex Networks , Cambridge University Press, 2007. Siehe letztes Kapitel und Anhang mit gekürzter Meyn & Tweedie .

Externe Links

• Scholarpedia Zeitlicher Unterschied Lernen
• TD-Gammon
• TD-Netzwerke Forschungsgruppe
• Connect Four TDGravity Applet (+ Handyversion) – selbsterlernt mit TD-Leaf-Methode (Kombination von TD-Lambda mit flacher Baumsuche)
• Selbstlernendes Meta-Tic-Tac-Toe Beispiel für eine Web-App, die zeigt, wie das zeitliche Differenzlernen verwendet werden kann, um Zustandsbewertungskonstanten für eine Minimax-KI zu lernen, die ein einfaches Brettspiel spielt.
• Reinforcement Learning Problem , Dokument, das erklärt, wie das zeitliche Differenzlernen verwendet werden kann, um das Q-Lernen zu beschleunigen
• TD-Simulator Zeitdifferenzsimulator für klassische Konditionierung