Gauß-Prozess - Gaussian process

In der Wahrscheinlichkeitstheorie und Statistik ist ein Gauß-Prozess ein stochastischer Prozess (eine Sammlung von Zufallsvariablen, die durch Zeit oder Raum indiziert sind), so dass jede endliche Sammlung dieser Zufallsvariablen eine multivariate Normalverteilung hat , dh jede endliche Linearkombination davon ist normalerweise verteilt. Die Verteilung eines Gauß'schen Prozesses ist die gemeinsame Verteilung all dieser (unendlich vielen) Zufallsvariablen und als solche eine Verteilung über Funktionen mit stetigem Bereich, zB Zeit oder Raum.

Das Konzept der Gaußschen Prozesse ist nach Carl Friedrich Gauß benannt, weil es auf dem Begriff der Gaußschen Verteilung ( Normalverteilung ) beruht . Gauß'sche Prozesse können als unendlichdimensionale Verallgemeinerung multivariater Normalverteilungen angesehen werden.

Gauß-Prozesse sind in der statistischen Modellierung nützlich und profitieren von Eigenschaften, die von der Normalverteilung geerbt werden. Wird beispielsweise ein Zufallsprozess als Gaußscher Prozess modelliert, können die Verteilungen verschiedener abgeleiteter Größen explizit ermittelt werden. Solche Größen umfassen den Durchschnittswert des Prozesses über einen bestimmten Zeitraum und den Fehler bei der Schätzung des Durchschnitts unter Verwendung von Stichprobenwerten zu einer kleinen Anzahl von Zeiten. Während exakte Modelle mit zunehmender Datenmenge oft schlecht skalieren, wurden mehrere Näherungsverfahren entwickelt, die oft eine gute Genauigkeit beibehalten und gleichzeitig die Rechenzeit drastisch reduzieren.

Definition

Ein zeitkontinuierlicher stochastischer Prozess ist genau dann Gaußsch, wenn für jede endliche Menge von Indizes in der Indexmenge${\displaystyle \left\{X_{t};t\in T\right\}}$ ${\displaystyle t_{1},\ldots,t_{k}}$${\displaystyle T}$

${\displaystyle \mathbf{X}_{t_{1},\ldots,t_{k}}=(X_{t_{1}},\ldots,X_{t_{k}})}$

ist eine multivariate Gaußsche Zufallsvariable . Das ist dasselbe, als würde man sagen, dass jede Linearkombination von eine univariate Normalverteilung (oder Gaußsche Verteilung) hat. ${\displaystyle (X_{t_{1}},\ldots ,X_{t_{k}})}$

Unter Verwendung charakteristischer Funktionen von Zufallsvariablen kann die Gaußsche Eigenschaft wie folgt formuliert werden: ist Gaußsch wenn und nur dann, wenn es für jede endliche Menge von Indizes reellwertige gibt , mit so dass die folgende Gleichheit für alle gilt${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle t_{1},\ldots,t_{k}}$${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu_{\ell}}$${\displaystyle \sigma_{jj}>0}$${\displaystyle s_{1},s_{2},\ldots,s_{k}\in\mathbb{R}}$

${\displaystyle \operatorname {E} \left(\exp \left(i\ \sum _{\ell=1}^{k}s_{\ell}\ \mathbf {X} _{t_{\ell}} \right)\right)=\exp \left(-{\frac {1}{2}}\,\sum_{\ell,j}\sigma_{\ell j}s_{\ell}s_{j }+i\sum_{\ell}\mu_{\ell}s_{\ell}\right)}$.

wobei bezeichnet die imaginäre Einheit, so dass . ${\displaystyle i}$${\displaystyle i^{2}=-1}$

Die Zahlen und können als Kovarianzen und Mittelwerte der Variablen im Prozess dargestellt werden. ${\displaystyle \sigma _{\ell j}}$${\displaystyle \mu_{\ell}}$

Abweichung

Die Varianz eines Gauß'schen Prozesses ist formal zu jeder Zeit endlich${\displaystyle t}$

${\displaystyle \operatorname {var} [X(t)]=\operatorname {E} [|X(t)-\operatorname {E} [X(t)]|^{2}]<\infty \quad { \text{für alle }}t\in T}$.

Stationarität

Für allgemeine stochastische Prozesse impliziert strikte Stationarität eine weitläufige Stationarität, aber nicht jeder stationäre stochastische Prozess im weitesten Sinne ist strikt stationär. Für einen Gaußschen stochastischen Prozess sind die beiden Konzepte jedoch äquivalent.

Ein Gaußscher stochastischer Prozess ist genau dann stationär, wenn er im weitesten Sinne stationär ist.

Beispiel

Es gibt eine explizite Darstellung für stationäre Gauß-Prozesse. Ein einfaches Beispiel für diese Darstellung ist

${\displaystyle X_{t}=\cos(at)\xi_{1}+\sin(at)\xi_{2}}$

wobei und unabhängige Zufallsvariablen mit der Standardnormalverteilung sind . ${\displaystyle \xi_{1}}$${\displaystyle \xi_{2}}$

Kovarianzfunktionen

Eine wesentliche Tatsache der Gaußschen Prozesse ist, dass sie vollständig durch ihre Statistik zweiter Ordnung definiert werden können. Wenn also angenommen wird, dass ein Gaußscher Prozess den Mittelwert Null hat, definiert die Definition der Kovarianzfunktion das Verhalten des Prozesses vollständig. Wichtig ist, dass die nicht-negative Bestimmtheit dieser Funktion ihre spektrale Zerlegung unter Verwendung der Karhunen-Loève-Entwicklung ermöglicht . Grundlegende Aspekte, die durch die Kovarianzfunktion definiert werden können, sind die Stationarität , Isotropie , Glätte und Periodizität des Prozesses .

Stationarität bezieht sich auf das Verhalten des Prozesses bezüglich der Trennung von zwei beliebigen Punkten und . Ist der Prozess stationär, hängt er von deren Abstand, , während er instationär von der tatsächlichen Position der Punkte und ab . Zum Beispiel ist der Spezialfall eines Ornstein-Uhlenbeck-Prozesses , eines Brownschen Bewegungsprozesses , stationär. ${\displaystyle x}$${\displaystyle x'}$${\displaystyle x-x'}$${\displaystyle x}$${\displaystyle x'}$

Wenn der Prozess nur von , dem euklidischen Abstand (nicht von der Richtung) zwischen und abhängt , gilt der Prozess als isotrop. Ein gleichzeitig stationärer und isotroper Prozess gilt als homogen ; in der Praxis spiegeln diese Eigenschaften die Unterschiede (oder vielmehr deren Fehlen) im Verhalten des Prozesses am Standort des Beobachters wider. ${\displaystyle |x-x'|}$${\displaystyle x}$${\displaystyle x'}$

Letztendlich übersetzen Gauß-Prozesse als Nehmen von Prioren für Funktionen und die Glätte dieser Prioren kann durch die Kovarianzfunktion induziert werden. Wenn wir erwarten, dass dies für "nahe" Eingangspunkte und ihre entsprechenden Ausgangspunkte und auch "in der Nähe" ist, dann liegt die Annahme der Stetigkeit vor. Wenn wir eine signifikante Verschiebung zulassen möchten, können wir eine gröbere Kovarianzfunktion wählen. Extreme Beispiele für das Verhalten sind die Ornstein-Uhlenbeck-Kovarianzfunktion und die quadrierte Exponentialfunktion, wobei erstere nie differenzierbar und letztere unendlich differenzierbar ist. ${\displaystyle x}$${\displaystyle x'}$${\displaystyle y}$${\displaystyle y'}$

Periodizität bezieht sich auf das Induzieren periodischer Muster innerhalb des Verhaltens des Prozesses. Formal wird dies erreicht, indem die Eingabe auf einen zweidimensionalen Vektor abgebildet wird . ${\displaystyle x}$${\displaystyle u(x)=\left(\cos(x),\sin(x)\right)}$

Übliche Kovarianzfunktionen

Die Auswirkung der Wahl verschiedener Kernel auf die Prior-Funktionsverteilung des Gauß'schen Prozesses. Links ist ein quadrierter Exponentialkern. Mitte ist Brownian. Rechts ist quadratisch.

Es gibt eine Reihe gängiger Kovarianzfunktionen:

• Konstante: ${\displaystyle K_{\operatorname {C} }(x,x')=C}$
• Linear: ${\displaystyle K_{\operatorname {L}}(x,x')=x^{T}x'}$
• weißes Gaußsches Rauschen: ${\displaystyle K_{\operatorname {GN}}(x,x')=\sigma ^{2}\delta _{x,x'}}$
• Quadratische Exponentialfunktion: ${\displaystyle K_{\operatorname {SE}}(x,x')=\exp {\Big (}-{\frac {|d|^{2}}{2\ell ^{2}}}{\ Groß )}}$
• Ornstein–Uhlenbeck: ${\displaystyle K_{\operatorname {OU}}(x,x')=\exp \left(-{\frac {|d|}{\ell}}\right)}$
• Matérn: ${\displaystyle K_{\operatorname {Matern}}(x,x')={\frac {2^{1-\nu}}{\Gamma (\nu)}}{\Big (}{\frac {{ \sqrt {2\nu}}|d|}{\ell}}{\Groß)}^{\nu}K_{\nu }{\Groß (}{\frac {{\sqrt {2\nu}} |d|}{\ell}}{\Groß)}}$
• Periodisch: ${\displaystyle K_{\operatorname {P}}(x,x')=\exp \left(-{\frac {2\sin^{2}\left({\frac {d}{2}}\right )}{\ell^{2}}}\right)}$
• Rational quadratisch: ${\displaystyle K_{\operatorname {RQ}}(x,x')=(1+|d|^{2})^{-\alpha},\quad\alpha\geq 0}$

Hier . Der Parameter ist die charakteristische Längenskala des Prozesses (praktisch, "wie nahe" zwei Punkte und müssen sich gegenseitig signifikant beeinflussen), ist das Kronecker-Delta und die Standardabweichung der Rauschschwankungen. Darüber hinaus ist die modifizierte Bessel-Funktion der Ordnung und ist die Gamma-Funktion ausgewertet bei . Wichtig ist, dass eine komplizierte Kovarianzfunktion als eine lineare Kombination anderer einfacherer Kovarianzfunktionen definiert werden kann, um unterschiedliche Erkenntnisse über den vorliegenden Datensatz zu berücksichtigen. ${\displaystyle d=x-x'}$${\displaystyle \ell}$${\displaystyle x}$${\displaystyle x'}$${\displaystyle\delta}$${\displaystyle \sigma}$${\displaystyle K_{\nu}}$${\displaystyle \nu}$${\displaystyle \Gamma (\nu)}$${\displaystyle \nu}$

Die Inferenzergebnisse hängen eindeutig von den Werten der Hyperparameter (zB und ) ab, die das Verhalten des Modells definieren. Eine beliebte Wahl dafür ist die Bereitstellung maximaler a posteriori (MAP)-Schätzungen davon mit einigen zuvor ausgewählten. Wenn der Prior nahezu gleichförmig ist, entspricht dies der Maximierung der Grenzwahrscheinlichkeit des Prozesses; die Marginalisierung erfolgt über die beobachteten Prozesswerte . Dieser Ansatz wird auch als Maximum Likelihood II , Evidenzmaximierung oder empirisches Bayes bezeichnet . ${\displaystyle\theta}$${\displaystyle \ell}$${\displaystyle \sigma}$${\displaystyle\theta}$${\displaystyle y}$

Kontinuität

Bei einem Gauß-Prozess ist die Kontinuität der Wahrscheinlichkeit äquivalent zur Mean-Square-Kontinuität , und die Kontinuität mit der Wahrscheinlichkeit eins ist äquivalent zur Stichprobenkontinuität . Letzteres impliziert, wird aber nicht durch Kontinuität in der Wahrscheinlichkeit impliziert. Stetigkeit in der Wahrscheinlichkeit gilt genau dann, wenn Mittelwert und Autokovarianz stetige Funktionen sind. Im Gegensatz dazu war die Stichprobenkontinuität selbst für stationäre Gauß-Prozesse eine Herausforderung (wie wahrscheinlich zuerst von Andrey Kolmogorov bemerkt wurde ) und für allgemeinere Prozesse eine größere Herausforderung. Wie üblich, durch eine Probe einer kontinuierlichen Verfahren bedeutet ein Verfahren , das eine kontinuierliche Probe zugibt Modifikation .

Stationäres Gehäuse

Für einen stationären Gauß-Prozess sind einige Bedingungen in seinem Spektrum für die Probenkontinuität ausreichend, aber nicht notwendig. Eine notwendige und hinreichende Bedingung, manchmal auch Dudley-Fernique-Theorem genannt, beinhaltet die Funktion definiert durch ${\displaystyle X=(X_{t})_{t\in\mathbb{R}},}$${\displaystyle \sigma}$

${\displaystyle \sigma(h)={\sqrt {\mathbb{E} {\big(}X(t+h)-X(t){\big)}^{2}}}}$

(die rechte Seite ist wegen der Stationarität nicht abhängig ). Die Stetigkeit der Wahrscheinlichkeit entspricht der Stetigkeit von at Wenn die Konvergenz von zu (as ) zu langsam ist, kann die Stichprobenkontinuität von fehlschlagen. Die Konvergenz der folgenden Integrale ist wichtig: ${\displaystyle t}$${\displaystyle X}$${\displaystyle \sigma}$${\displaystyle 0.}$${\displaystyle \sigma (h)}$${\displaystyle 0}$${\displaystyle h\to 0}$${\displaystyle X}$

${\displaystyle I(\sigma)=\int _{0}^{1}{\frac {\sigma (h)}{h{\sqrt {\log(1/h)}}}}\,dh= \int_{0}^{\infty}2\sigma (\mathbb{e}^{-x^{2}})\,dx,}$

diese beiden Integrale sind gemäß Integration durch Substitution gleich Der erste Integrand muss nicht beschränkt sein, da das Integral konvergieren ( ) oder divergieren kann ( ). Nimmt man zum Beispiel für groß, d. h. für klein , erhält man wann und wann In diesen beiden Fällen nimmt die Funktion zu, aber im Allgemeinen nicht. Außerdem ist die Bedingung ${\displaystyle h=\mathbb{e} ^{-x^{2}},}$ ${\displaystyle \textstyle x={\sqrt {\log(1/h)}}.}$${\displaystyle h\to 0+,}$${\displaystyle I(\sigma)<\infty}$${\displaystyle I(\sigma)=\infty}$${\displaystyle \sigma (\mathbb{e}^{-x^{2}})={\tfrac {1}{x^{a}}}}$${\displaystyle x,}$${\displaystyle \sigma(h)=(\log(1/h))^{-a/2}}$${\displaystyle h,}$${\displaystyle I(\sigma)<\infty}$${\displaystyle a>1,}$${\displaystyle I(\sigma)=\infty}$${\displaystyle 0<a\leq 1.}$${\displaystyle \sigma}$${\displaystyle [0,\infty ),}$

${\displaystyle (*)}$   es existiert ein solches, das monoton ist auf${\displaystyle \varepsilon >0}$${\displaystyle \sigma}$${\displaystyle [0,\varepsilon]}$

folgt nicht aus der Kontinuität von und den offensichtlichen Beziehungen (für alle ) und${\displaystyle \sigma}$${\displaystyle \sigma (h)\geq 0}$${\displaystyle h}$${\displaystyle \sigma (0)=0.}$

Satz 1.   Sei stetig und erfülle Dann ist die Bedingung notwendig und hinreichend für die Stichprobenstetigkeit von${\displaystyle \sigma}$${\displaystyle (*).}$${\displaystyle I(\sigma)<\infty}$${\displaystyle X.}$

Einige Geschichten. Die Angemessenheit wurde 1964 von Xavier Fernique verkündet , aber der erste Beweis wurde 1967 von Richard M. Dudley veröffentlicht. Die Notwendigkeit wurde 1970 von Michael B. Marcus und Lawrence Shepp bewiesen .

Es gibt kontinuierliche Stichprobenprozesse , die die Bedingung verletzen. Ein von Marcus und Shepp gefundenes Beispiel ist eine zufällige lakunäre Fourier-Reihe${\displaystyle X}$${\displaystyle I(\sigma)=\infty;}$${\displaystyle (*).}$

${\displaystyle X_{t}=\sum _{n=1}^{\infty}c_{n}(\xi_{n}\cos\lambda_{n}t+\eta_{n}\sin\ Lambda _{n}t),}$

wo sind unabhängige Zufallsvariablen mit Standardnormalverteilung ; Frequenzen sind eine schnell wachsende Sequenz; und Koeffizienten erfüllen Die letztgenannte Beziehung impliziert, woher fast sicher ist, was fast sicher eine gleichmäßige Konvergenz der Fourier-Reihe sicherstellt, und die Stichprobenkontinuität von${\displaystyle \xi_{1},\eta_{1},\xi_{2},\eta_{2},\dots}$${\displaystyle 0<\lambda_{1}<\lambda_{2}<\dots}$${\displaystyle c_{n}>0}$${\displaystyle \textstyle \sum _{n}c_{n}<\infty .}$${\displaystyle \textstyle \mathbb {E} \sum_{n}c_{n}(|\xi_{n}|+|\eta_{n}|)=\sum_{n}c_{n} \mathbb{E} (|\xi_{n}|+|\eta_{n}|)={\text{const}}\cdot \sum_{n}c_{n}<\infty,}$${\displaystyle \sum_{n}c_{n}(|\xi_{n}|+|\eta_{n}|)<\infty}$${\displaystyle X.}$

Autokorrelation einer zufälligen lakunären Fourier-Reihe

Seine Autokovariationsfunktion

${\displaystyle \mathbb{E} X_{t}X_{t+h}=\sum_{n=1}^{\infty}c_{n}^{2}\cos\lambda_{n}h}$

ist nirgendwo eintönig (siehe Bild), sowie die entsprechende Funktion ${\displaystyle \sigma,}$

${\displaystyle \sigma (h)={\sqrt {2\mathbb {E} X_{t}X_{t}-2\mathbb {E} X_{t}X_{t+h}}}=2{\ sqrt {\sum_{n=1}^{\infty}c_{n}^{2}\sin^{2}{\frac {\lambda_{n}h}{2}}}}.}$

Brownsche Bewegung als Integral der Gaußschen Prozesse

Ein Wiener-Prozess (auch bekannt als Brownsche Bewegung) ist das Integral eines verallgemeinerten Gauß-Prozesses mit weißem Rauschen . Es ist nicht stationär , hat aber stationäre Inkremente.

Der Ornstein-Uhlenbeck-Prozess ist ein stationärer Gauß-Prozess.

Die Brownsche Brücke ist (wie der Ornstein-Uhlenbeck-Prozess) ein Beispiel für einen Gauß-Prozess, dessen Inkremente nicht unabhängig sind .

Die fraktionierte Brownsche Bewegung ist ein Gaußscher Prozess, dessen Kovarianzfunktion eine Verallgemeinerung des Wiener Prozesses ist.

Driscolls Null-Eins-Gesetz

Das Null-Eins-Gesetz von Driscoll ist ein Ergebnis, das die durch einen Gauß-Prozess erzeugten Abtastfunktionen charakterisiert.

Sei ein Gauß-Prozess mit mittlerer Null und nicht-negativer definitiver Kovarianzfunktion . Sei ein reproduzierender Kernel-Hilbert-Raum mit positiv definitem Kern . ${\displaystyle f}$${\displaystyle \left\{X_{t};t\in T\right\}}$${\displaystyle K}$${\displaystyle {\mathcal{H}}(R)}$${\displaystyle R}$

Dann

${\displaystyle \lim_{n\to\infty}\operatorname {tr} [K_{n}R_{n}^{-1}]<\infty }$,

wo und sind die Kovarianzmatrizen aller möglichen Punktpaare , impliziert ${\displaystyle K_{n}}$${\displaystyle R_{n}}$${\displaystyle n}$

${\displaystyle \Pr[f\in {\mathcal{H}}(R)]=1}$.

Was ist mehr,

${\displaystyle \lim_{n\to\infty}\operatorname {tr} [K_{n}R_{n}^{-1}]=\infty}$

impliziert

${\displaystyle \Pr[f\in {\mathcal{H}}(R)]=0}$.

Dies hat erhebliche Auswirkungen, wenn , wie ${\displaystyle K=R}$

${\displaystyle \lim _{n\to \infty }\operatorname {tr} [R_{n}R_{n}^{-1}]=\lim _{n\to \infty }\operatorname {tr} [ I]=\lim_{n\to\infty}n=\infty}$.

Als solche liegen fast alle Abtastpfade eines Gauß'schen Prozesses mit mittlerem Nullpunkt und positiv-definitem Kern außerhalb des Hilbert-Raums . ${\displaystyle K}$${\displaystyle {\mathcal{H}}(K)}$

Linear beschränkte Gauß'sche Prozesse

Für viele interessante Anwendungen sind bereits Vorkenntnisse über das vorliegende System vorhanden. Betrachten wir zB den Fall, wo die Ausgabe des Gauß'schen Prozesses einem Magnetfeld entspricht; hier ist das reale Magnetfeld durch die Maxwell-Gleichungen gebunden und eine Möglichkeit, diese Einschränkung in den Gauß'schen Prozessformalismus zu integrieren, wäre wünschenswert, da dies wahrscheinlich die Genauigkeit des Algorithmus verbessern würde.

Es gibt bereits eine Methode, um lineare Nebenbedingungen in Gauß-Prozesse zu integrieren:

Betrachten Sie die (vektorwertige) Ausgabefunktion, von der bekannt ist, dass sie der linearen Einschränkung gehorcht (dh ein linearer Operator ist). ${\displaystyle f(x)}$${\displaystyle {\mathcal {F}}_{X}}$

${\displaystyle {\mathcal{F}}_{X}(f(x))=0.}$

Dann kann die Bedingung erfüllt werden, indem man , wobei als Gauß-Prozess modelliert wird, wählt und st . findet ${\displaystyle {\mathcal {F}}_{X}}$${\displaystyle f(x)={\mathcal{G}}_{X}(g(x))}$${\displaystyle g(x)\sim {\mathcal{GP}}(\mu_{g},K_{g})}$${\displaystyle {\mathcal {G}}_{X}}$

${\displaystyle {\mathcal{F}}_{X}({\mathcal{G}}_{X}(g))=0\qquad\forall g.}$

Gegeben und unter Verwendung der Tatsache, dass Gauß-Prozesse unter linearen Transformationen abgeschlossen sind, wird der Gauß-Prozess zur Befolgung der Beschränkung zu ${\displaystyle {\mathcal {G}}_{X}}$${\displaystyle f}$${\displaystyle {\mathcal {F}}_{X}}$

${\displaystyle f(x)={\mathcal{G}}_{X}g\sim {\mathcal{GP}}({\mathcal{G}}_{X}\mu_{g},{\ mathcal {G}}_{X}K_{g}{\mathcal {G}}_{X'}^{T}).}$

Daher können lineare Beschränkungen in die Mittelwert- und Kovarianzfunktion eines Gauß'schen Prozesses codiert werden.

Anwendungen

Ein Beispiel für die Gaußsche Prozessregression (Vorhersage) im Vergleich zu anderen Regressionsmodellen.

Ein Gauss-Prozess kann als eine A- priori-Wahrscheinlichkeitsverteilung über Funktionen in der Bayes-Inferenz verwendet werden . Gegeben jede Menge von N Punkten in der gewünschten Domäne Ihrer Funktionen nehmen eine multivariate Gaussian deren Kovarianz - Matrix Parameter ist die Gram - Matrix des N Punkte mit einem gewünschten kernel und Probe von dem Gaussian. Zur Lösung des Multi-Output-Prädiktionsproblems wurde die Gaußsche Prozessregression für vektorwertige Funktionen entwickelt. Bei dieser Methode wird eine „große“ Kovarianz konstruiert, die die Korrelationen zwischen allen Eingangs- und Ausgangsvariablen in N Punkten im gewünschten Bereich beschreibt. Dieser Ansatz wurde für die matrixbewerteten Gauß-Prozesse im Detail ausgearbeitet und auf Prozesse mit "schwereren Schwänzen" wie Student-t-Prozesse verallgemeinert .

Die Inferenz kontinuierlicher Werte mit einem Gauß-Prozess-Prior ist als Gauß-Prozess-Regression oder Kriging bekannt ; Die Erweiterung der Gauß'schen Prozessregression auf mehrere Zielvariablen wird als Cokriging bezeichnet . Gauss-Prozesse sind daher als leistungsstarkes nichtlineares multivariates Interpolationswerkzeug nützlich .

Gauss'sche Prozesse können beispielsweise auch im Rahmen von Mixed-of-Experts-Modellen verwendet werden. Das zugrunde liegende Grundprinzip eines solchen Lernrahmens besteht in der Annahme, dass eine gegebene Abbildung nicht gut durch ein einzelnes Gaußsches Prozessmodell erfasst werden kann. Stattdessen wird der Beobachtungsraum in Teilmengen unterteilt, von denen jede durch eine andere Abbildungsfunktion gekennzeichnet ist; jede davon wird über eine andere Gaußsche Prozesskomponente in der postulierten Mischung gelernt.

Gaußsche Prozessvorhersage oder Kriging

Gaußsche Prozessregression (Vorhersage) mit einem quadrierten exponentiellen Kernel. Das linke Diagramm sind Zeichnungen aus der vorherigen Funktionsverteilung. Mitte sind Züge von hinten. Rechts ist die mittlere Vorhersage mit einer schattierten Standardabweichung.

Bei einem allgemeinen Regressionsproblem des Gauß-Prozesses (Kriging) wird angenommen, dass für einen an den Koordinaten beobachteten Gauß-Prozess der Wertevektor nur eine Stichprobe aus einer multivariaten Gauß-Verteilung der Dimension gleich der Anzahl der beobachteten Koordinaten ist . Daher, unter der Annahme einer Null-Mittelwertverteilung, , wo ist die Kovarianzmatrix zwischen allen möglichen Paaren für einen gegebenen Satz von Hyperparametern θ . Als solche ist die logarithmische Grenzwahrscheinlichkeit: ${\displaystyle f}$${\displaystyle x}$${\displaystyle f(x)}$${\displaystyle n}$${\displaystyle f(x')\sim N(0,K(\theta,x,x'))}$${\displaystyle K(\theta,x,x')}$${\displaystyle (x,x')}$

${\displaystyle \log p(f(x')\mid \theta ,x)=-{\frac {1}{2}}f(x)^{T}K(\theta ,x,x')^ {-1}f(x')-{\frac {1}{2}}\log \det(K(\theta ,x,x'))-{\frac {n}{2}}\log 2 \pi}$

und das Maximieren dieser marginalen Wahrscheinlichkeit in Richtung θ liefert die vollständige Spezifikation des Gauß'schen Prozesses f . An dieser Stelle sei kurz angemerkt, dass der erste Term einem Strafterm für die Nichtanpassung beobachteter Werte eines Modells und der zweite Term einem proportional zur Komplexität des Modells ansteigenden Strafterm entspricht. Nachdem θ angegeben wurde, müssen Vorhersagen über unbeobachtete Werte an den Koordinaten x * nur noch durch das Ziehen von Stichproben aus der prädiktiven Verteilung gemacht werden, wobei die hintere Mittelwertschätzung A definiert ist als ${\displaystyle f(x^{*})}$${\displaystyle p(y^{*}\mid x^{*},f(x),x)=N(y^{*}\mid A,B)}$

${\displaystyle A=K(\theta,x^{*},x)K(\theta,x,x')^{-1}f(x)}$

und die Posterior-Varianz-Schätzung B ist definiert als:

${\displaystyle B=K(\theta,x^{*},x^{*})-K(\theta,x^{*},x)K(\theta,x,x')^{-1 }K(\theta,x^{*},x)^{T}}$

wo die Kovarianz zwischen den neuen Schätz Koordinate x * und alle anderen beobachteten Koordinaten x für einen bestimmten Hypervektor θ , und wie zuvor definiert sind und die Varianz am Punkt x * , wie durch diktierte θ . Es ist wichtig anzumerken, dass die hintere Mittelwertschätzung (die "Punktschätzung") praktisch nur eine lineare Kombination der Beobachtungen ist ; in ähnlicher Weise ist die Varianz von tatsächlich unabhängig von den Beobachtungen . Ein bekannter Engpass bei der Vorhersage von Gauß-Prozessen besteht darin, dass die Berechnungskomplexität der Inferenz- und Likelihood-Bewertung kubisch in der Anzahl der Punkte | . ist x | und kann daher bei größeren Datensätzen nicht mehr durchführbar sein. Arbeiten zu spärlichen Gaußschen Prozessen, die normalerweise auf der Idee basieren, eine repräsentative Menge für den gegebenen Prozess f zu bilden , versuchen dieses Problem zu umgehen. Die Kriging- Methode kann auf der latenten Ebene eines nichtlinearen Mixed-Effects-Modells für eine räumlich-funktionale Vorhersage verwendet werden: Diese Technik wird als latentes Kriging bezeichnet. ${\displaystyle K(\theta,x^{*},x)}$${\displaystyle K(\theta,x,x')}$${\displaystyle f(x)}$${\displaystyle K(\theta,x^{*},x^{*})}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$${\displaystyle f(x^{*})}$${\displaystyle f(x)}$

Bayes'sche neuronale Netze als Gauß'sche Prozesse

Bayes'sche neuronale Netze sind eine besondere Art von Bayes'schen Netzen , die sich aus der probabilistischen Behandlung von Deep-Learning- und künstlichen neuronalen Netzmodellen ergeben und ihren Parametern eine vorherige Verteilung zuweisen . Die Berechnung in künstlichen neuronalen Netzen ist normalerweise in sequentielle Schichten künstlicher Neuronen organisiert . Die Anzahl der Neuronen in einer Schicht wird als Schichtbreite bezeichnet. Wenn die Schichtbreite groß wird, reduzieren sich viele Bayes'sche neuronale Netze auf einen Gauß'schen Prozess mit einem geschlossenen Kompositionskern. Dieser Gauss-Prozess wird als Neural Network Gaussian Process (NNGP) bezeichnet. Es ermöglicht eine effizientere Auswertung von Vorhersagen aus Bayes'schen neuronalen Netzen und bietet ein Analysewerkzeug zum Verständnis von Deep-Learning- Modellen.

Rechenprobleme

In praktischen Anwendungen werden Gaußsche Prozessmodelle oft auf einem Gitter ausgewertet, was zu multivariaten Normalverteilungen führt. Die Verwendung dieser Modelle zur Vorhersage oder Parameterschätzung unter Verwendung der maximalen Wahrscheinlichkeit erfordert die Auswertung einer multivariaten Gaußschen Dichte, die die Berechnung der Determinante und der Inversen der Kovarianzmatrix beinhaltet. Beide Operationen haben eine kubische Rechenkomplexität, was bedeutet, dass selbst bei Gittern mit bescheidenen Größen beide Operationen einen unerschwinglichen Rechenaufwand haben können. Dieser Nachteil führte zur Entwicklung von multiplen Näherungsverfahren .

Siehe auch

• Lineare Statistik nach Bayes
• Bayessche Interpretation der Regularisierung
• Kriging
• Gaußsches Freifeld
• Gauss-Markov-Prozess
• Gradientengestütztes Kriging (GEK)
• T-Prozess des Schülers

Verweise

Externe Links

• Die Gaussian Processes-Website, einschließlich des Textes von Rasmussen und Williams' Gaussian Processes for Machine Learning
• Eine sanfte Einführung in die Gaußschen Prozesse
• Ein Überblick über Gaußsche Zufallsfelder und Korrelationsfunktionen
• Effizientes Bewehrungslernen mit Gaußschen Prozessen

Software

• GPML: Eine umfassende Matlab-Toolbox für die GP-Regression und -Klassifikation
• STK: eine kleine (Matlab/Octave) Toolbox für Kriging- und GP-Modellierung
• Kriging-Modul im UQLab-Framework (Matlab)
• Matlab/Oktave-Funktion für stationäre Gaußfelder
• Yelp MOE – Eine Black-Box-Optimierungs-Engine mit Gaussian Process Learning
• ooDACE – Eine flexible objektorientierte Kriging Matlab-Toolbox.
• GPstuff – Gaussian Process Toolbox für Matlab und Octave
• GPy – Ein Gaussian Process Framework in Python
• GSTools - Eine geostatistische Toolbox, einschließlich Gaußscher Prozessregression, geschrieben in Python
• Interaktive Demo zur Gauss'schen Prozessregression
• Grundlegende Gaußsche Prozessbibliothek, geschrieben in C++11
• scikit-learn – Eine Bibliothek für maschinelles Lernen für Python, die Gaußsche Prozessregression und -klassifizierung umfasst
• [1] - Das Kriging toolKit (KriKit) wird am Institut für Bio- und Geowissenschaften 1 (IBG-1) des Forschungszentrums Jülich (FZJ) entwickelt

Videoanleitungen

• Gaußsche Prozessgrundlagen von David MacKay
• Lernen mit Gaußschen Prozessen von Carl Edward Rasmussen
• Bayes'sche Inferenz und Gauß'sche Prozesse von Carl Edward Rasmussen