Grafisches Modell - Graphical model
Teil einer Serie über |
Maschinelles Lernen und Data Mining |
---|
Ein grafisches Modell oder probabilistisches grafisches Modell ( PGM ) oder strukturiertes probabilistisches Modell ist ein probabilistisches Modell, für das ein Graph die bedingte Abhängigkeitsstruktur zwischen Zufallsvariablen ausdrückt . Sie werden häufig in der Wahrscheinlichkeitstheorie , Statistik – insbesondere der Bayes-Statistik – und beim maschinellen Lernen verwendet .
Arten von grafischen Modellen
Im Allgemeinen verwenden probabilistische grafische Modelle eine graphenbasierte Darstellung als Grundlage zum Codieren einer Verteilung über einen mehrdimensionalen Raum und einen Graphen, der eine kompakte oder faktorisierte Darstellung eines Satzes von Unabhängigkeiten ist, die in der spezifischen Verteilung gelten. Zwei Zweige grafischer Darstellungen von Verteilungen werden häufig verwendet, nämlich Bayessche Netze und Markov-Zufallsfelder . Beide Familien umfassen die Eigenschaften der Faktorisierung und der Unabhängigkeiten, unterscheiden sich jedoch in der Menge der Unabhängigkeiten, die sie codieren können, und der Faktorisierung der Verteilung, die sie induzieren.
Ungerichtetes grafisches Modell
Der gezeigte ungerichtete Graph kann eine von mehreren Interpretationen haben; das gemeinsame Merkmal ist, dass das Vorhandensein einer Kante eine Art Abhängigkeit zwischen den entsprechenden Zufallsvariablen impliziert. Aus diesem Graphen könnten wir ableiten, dass alle voneinander unabhängig sind, sobald sie bekannt sind, oder (in diesem Fall äquivalent) dass
für einige nichtnegative Funktionen .
Bayes-Netzwerk
Wenn die Netzwerkstruktur des Modells ein gerichteter azyklischer Graph ist , repräsentiert das Modell eine Faktorisierung der gemeinsamen Wahrscheinlichkeit aller Zufallsvariablen. Genauer gesagt, wenn die Ereignisse sind, dann erfüllt die gemeinsame Wahrscheinlichkeit
wo ist die Menge der Eltern des Knotens (Knoten mit Kanten in Richtung ). Mit anderen Worten, die gemeinsame Verteilung wird zu einem Produkt bedingter Verteilungen. Für den in der Abbildung gezeigten gerichteten azyklischen Graphen wäre diese Faktorisierung beispielsweise
- .
Beliebige zwei Knoten sind aufgrund der Werte ihrer Eltern bedingt unabhängig . Im Allgemeinen sind zwei beliebige Knotenmengen bedingt unabhängig, wenn eine dritte Menge gegeben ist, wenn ein Kriterium namens d- Trennung im Graphen gilt. Lokale Unabhängigkeiten und globale Unabhängigkeiten sind in Bayes-Netzwerken gleichwertig.
Diese Art von grafischem Modell ist als gerichtetes grafisches Modell, Bayessches Netzwerk oder Glaubensnetzwerk bekannt. Klassische Machine-Learning-Modelle wie Hidden-Markov-Modelle , neuronale Netze und neuere Modelle wie Markov-Modelle variabler Ordnung können als Sonderfälle Bayesscher Netze angesehen werden.
Zyklisch gerichtete grafische Modelle
Die nächste Abbildung zeigt ein grafisches Modell mit einem Zyklus. Dies kann so interpretiert werden, dass jede Variable in irgendeiner Weise von den Werten ihrer Eltern „abhängig“ ist. Die gezeigte Grafik legt eine gemeinsame Wahrscheinlichkeitsdichte nahe, die Faktoren wie
- ,
aber andere Interpretationen sind möglich.
Andere Arten
- Naive Bayes-Klassifikator, bei dem wir einen Baum mit einer einzelnen Wurzel verwenden
- Abhängigkeitsnetzwerk, in dem Zyklen erlaubt sind
- Baum-erweiterter Klassifikator oder TAN-Modell
- Ein Faktorgraph ist ein ungerichteter zweiteiliger Graph , der Variablen und Faktoren verbindet. Jeder Faktor stellt eine Funktion über die Variablen dar, mit denen er verbunden ist. Dies ist eine hilfreiche Darstellung für das Verständnis und die Umsetzung der Glaubensausbreitung .
- Ein Clique-Baum oder Junction-Tree ist ein Baum von Cliquen , der im Junction-Tree-Algorithmus verwendet wird .
- Ein Kettengraph ist ein Graph, der sowohl gerichtete als auch ungerichtete Kanten haben kann, jedoch ohne gerichtete Kreise (dh wenn wir an einem beliebigen Knoten beginnen und uns entlang der Richtungen der Pfeile entlang des Graphen bewegen, können wir nicht zu dem Knoten zurückkehren, von dem wir ausgegangen sind, wenn wir haben einen Pfeil passiert). Sowohl gerichtete azyklische Graphen als auch ungerichtete Graphen sind Spezialfälle von Kettengraphen, die daher eine Möglichkeit bieten können, Bayes- und Markov-Netzwerke zu vereinigen und zu verallgemeinern.
- Ein Ahnengraph ist eine weitere Erweiterung mit gerichteten, bidirektionalen und ungerichteten Kanten.
-
Zufallsfeld Techniken
- Ein Markov-Zufallsfeld , auch als Markov-Netzwerk bekannt, ist ein Modell über einem ungerichteten Graphen . Ein grafisches Modell mit vielen wiederholten Untereinheiten kann mit Plattennotation dargestellt werden .
- Ein bedingtes Zufallsfeld ist ein diskriminatives Modell, das über einen ungerichteten Graphen spezifiziert wird.
- Eine eingeschränkte Boltzmann-Maschine ist ein bipartites generatives Modell, das über einem ungerichteten Graphen spezifiziert wird.
Anwendungen
Der Rahmen der Modelle, der Algorithmen zum Auffinden und Analysieren von Strukturen in komplexen Verteilungen bereitstellt, um diese prägnant zu beschreiben und die unstrukturierten Informationen zu extrahieren, ermöglicht deren Konstruktion und effektive Nutzung. Zu den Anwendungen grafischer Modelle gehören kausale Inferenz , Informationsextraktion , Spracherkennung , Computer Vision , Decodierung von Paritätsprüfcodes niedriger Dichte , Modellierung von Genregulationsnetzwerken , Genfindung und Diagnose von Krankheiten sowie grafische Modelle für die Proteinstruktur .
Siehe auch
Anmerkungen
Weiterlesen
Bücher und Buchkapitel
- Friseur, David (2012). Bayessches Denken und maschinelles Lernen . Cambridge University Press. ISBN 978-0-521-51814-7.
- Bischof, Christopher M. (2006). "Kapitel 8. Grafische Modelle" (PDF) . Mustererkennung und maschinelles Lernen . Springer. S. 359–422. ISBN 978-0-387-31073-2. MR 2.247.587 .
- Cowell, Robert G.; Dawid, A. Philip ; Lauritzen, Steffen L.; Spiegelhalter, David J. (1999). Probabilistische Netzwerke und Expertensysteme . Berlin: Springer. ISBN 978-0-387-98767-5. MR 1.697.175 . Ein fortgeschritteneres und statistisch orientiertes Buch
- Jensen, Finn (1996). Eine Einführung in Bayes'sche Netzwerke . Berlin: Springer. ISBN 978-0-387-91502-9.
- Pearl, Judäa (1988). Probabilistic Reasoning in Intelligent Systems (2. überarbeitete Aufl.). San Mateo, Kalifornien: Morgan Kaufmann . ISBN 978-1-55860-479-7. MR 0.965.765 . Ein Computational Reasoning-Ansatz, bei dem die Beziehungen zwischen Graphen und Wahrscheinlichkeiten formal eingeführt wurden.
Zeitungsartikel
- Edoardo M. Airoldi (2007). "Erste Schritte in probabilistischen grafischen Modellen" . PLOS Computerbiologie . 3 (12): e252. arXiv : 0706.2040 . Bibcode : 2007PLSCB...3..252A . doi : 10.1371/journal.pcbi.0030252 . PMC- 2134967 . PMID 18069887 .
- Jordan, MI (2004). "Grafische Modelle" . Statistische Wissenschaft . 19 : 140–155. doi : 10.1214/088342304000000026 .
- Ghahramani, Zoubin (Mai 2015). "Probabilistisches maschinelles Lernen und künstliche Intelligenz" . Natur . 521 (7553): 452–459. Bibcode : 2015Natur.521..452G . doi : 10.1038/nature14541 . PMID 26017444 . S2CID 216356 .
Sonstiges
- Heckermans Bayes Net Lerntutorial
- Eine kurze Einführung in grafische Modelle und Bayessche Netzwerke
- Vortragsfolien von Sargur Srihari über probabilistische grafische Modelle