Bayes-Faktor - Bayes factor

Teil einer Serie über
Bayessche Statistik
Theorie
Zulässige Entscheidungsregel Bayes'scher Wirkungsgrad Bayessche Erkenntnistheorie Bayessche Wahrscheinlichkeit Wahrscheinlichkeitsinterpretationen Satz von Bayes Bayes-Faktor Bayes'sche Inferenz Bayes-Netzwerk Frühere Hintere Wahrscheinlichkeit Vorher konjugieren Posterior prädiktiv Hyperparameter Hyperprior Prinzip der Gleichgültigkeit Prinzip der maximalen Entropie Empirische Bayes-Methode Cromwells Regel Bernstein-von-Mises-Theorem Schwarz-Kriterium Glaubwürdiges Intervall Maximale a-posteriori-Schätzung Radikale Wahrscheinlichkeit
Techniken
Bayessche lineare Regression Bayes-Schätzer Ungefähre Bayes'sche Berechnung Markov-Kette Monte Carlo
Mathematikportal
v T e

In der Statistik ist die Verwendung von Bayes-Faktoren eine Bayessche Alternative zum klassischen Hypothesentesten . Der Bayes-Modellvergleich ist eine Methode zur Modellauswahl basierend auf Bayes-Faktoren. Die betrachteten Modelle sind statistische Modelle . Das Ziel des Bayes-Faktors besteht darin, die Unterstützung eines Modells gegenüber einem anderen zu quantifizieren, unabhängig davon, ob diese Modelle korrekt sind. Die technische Definition von "Unterstützung" im Kontext der Bayesschen Inferenz wird unten beschrieben.

Definition

Der Bayes-Faktor ist ein Wahrscheinlichkeitsverhältnis der Grenzwahrscheinlichkeit zweier konkurrierender Hypothesen, normalerweise einer Null und einer Alternative.

Die Posterior-Wahrscheinlichkeit eines Modells M gegebenen Daten D ist durch den Satz von Bayes gegeben : ${\displaystyle \Pr(M|D)}$

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Der schlüsseldatenabhängige Term stellt die Wahrscheinlichkeit dar, dass einige Daten unter der Annahme des Modells M erzeugt werden ; Die korrekte Bewertung ist der Schlüssel zum Bayes'schen Modellvergleich. ${\displaystyle \Pr(D|M)}$

Bei einem Modellauswahlproblem , bei dem wir auf Basis der beobachteten Daten D zwischen zwei Modellen wählen müssen , wird die Plausibilität der beiden unterschiedlichen Modelle M ₁ und M ₂ , parametrisiert durch Modellparametervektoren und , durch den Bayes-Faktor K gegeben von ${\displaystyle \theta_{1}}$${\displaystyle \theta_{2}}$

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta_{1}| M_{1})\Pr(D|\theta_{1},M_{1})\,d\theta_{1}}{\int \Pr(\theta_{2}|M_{2}) \Pr(D|\theta_{2},M_{2})\,d\theta_{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D )}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac { \Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Wenn die beiden Modelle die gleiche A- priori-Wahrscheinlichkeit haben, so dass der Bayes-Faktor gleich dem Verhältnis der A-posteriori-Wahrscheinlichkeiten von M ₁ und M _{2 ist} . Wenn anstelle des Bayes-Faktor-Integrals die Likelihood entsprechend der Maximum-Likelihood-Schätzung des Parameters für jedes statistische Modell verwendet wird, wird der Test zu einem klassischen Likelihood-Ratio-Test . Im Gegensatz zu einem Likelihood-Ratio-Test hängt dieser Bayes-Modellvergleich nicht von einem einzelnen Parametersatz ab, da er über alle Parameter in jedem Modell (in Bezug auf die jeweiligen Priors) integriert. Ein Vorteil der Verwendung von Bayes-Faktoren besteht jedoch darin, dass sie automatisch und ganz natürlich eine Strafe für die Einbeziehung von zu viel Modellstruktur beinhaltet. Es schützt somit vor Überanpassung . Bei Modellen, bei denen eine explizite Version der Wahrscheinlichkeit nicht verfügbar oder zu kostspielig für eine numerische Auswertung ist, kann eine approximative Bayes-Berechnung für die Modellauswahl in einem Bayes-Framework verwendet werden, mit dem Vorbehalt, dass approximative Bayes-Schätzungen von Bayes-Faktoren häufig verzerrt sind. ${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$

Andere Ansätze sind:

• den Modellvergleich als Entscheidungsproblem zu behandeln, indem der erwartete Wert oder die Kosten jeder Modellauswahl berechnet werden;
• verwenden minimale Nachrichtenlänge (MML).

Interpretation

Ein Wert von K > 1 bedeutet, dass M ₁ von den betrachteten Daten stärker unterstützt wird als M ₂ . Beachten Sie, dass das klassische Hypothesentesten einer Hypothese (oder einem Modell) den bevorzugten Status (der „Nullhypothese“) gibt und nur Beweise dagegen berücksichtigt . Harold Jeffreys gab eine Skala für die Interpretation von K :

Die zweite Spalte gibt die entsprechenden Beweisgewichte in Decihartleys (auch als Dezibanen bekannt ); Bits sind der Übersichtlichkeit halber in der dritten Spalte hinzugefügt. Laut IJ Good ist eine Änderung der Beweiskraft von 1 Deziban oder 1/3 eines Bits (dh eine Änderung des Odds Ratio von gerade auf etwa 5:4) ungefähr so ​​fein, wie Menschen ihren Glaubensgrad vernünftig wahrnehmen können in einer Hypothese im täglichen Gebrauch.

Eine häufig zitierte alternative Tabelle wird von Kass und Raftery (1995) bereitgestellt:

Beispiel

Angenommen, wir haben eine Zufallsvariable , die entweder zu einem Erfolg oder einem Misserfolg führt. Wir wollen ein Modell vergleichen M ₁ , wo die Wahrscheinlichkeit des Erfolgs ist q = ½, und ein anderes Modell M ₂ , wo q unbekannt ist und wir nehmen eine Vorbewertung für q , das ist einheitlich auf [0,1]. Wir nehmen eine Stichprobe von 200 und finden 115 Erfolge und 85 Misserfolge. Die Wahrscheinlichkeit kann nach der Binomialverteilung berechnet werden :

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Damit haben wir für M ₁

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0,006}$

wohingegen für M ₂ gilt

${\displaystyle P(X=115\mid M_{2})=\int_{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \über 201}\ungefähr 0,005}$

Das Verhältnis beträgt dann 1,2, was "kaum erwähnenswert" ist, auch wenn es ganz leicht in Richtung M ₁ weist .

Ein frequentistischer Hypothesentest von M ₁ (hier als Nullhypothese betrachtet ) hätte zu einem ganz anderen Ergebnis geführt. Ein solcher Test besagt, dass M ₁ auf dem Signifikanzniveau von 5% abgelehnt werden sollte, da die Wahrscheinlichkeit, bei einer Stichprobe von 200 bei q = ½ 115 oder mehr Erfolge zu erzielen, 0,02 beträgt, und als zweiseitiger Test, eine Zahl wie zu erhalten extrem oder extremer als 115 ist 0,04. Beachten Sie, dass 115 mehr als zwei Standardabweichungen von 100 entfernt ist. Während also ein frequentistischer Hypothesentest signifikante Ergebnisse auf dem 5%-Signifikanzniveau liefern würde , betrachtet der Bayes-Faktor dies kaum als extremes Ergebnis. Beachten Sie jedoch, dass ein ungleichmäßiger Prior (z. B. einer, der die Tatsache widerspiegelt, dass Sie erwarten, dass die Anzahl von Erfolgen und Misserfolgen in der gleichen Größenordnung liegt) zu einem Bayes-Faktor führen kann, der eher mit dem Frequentist . übereinstimmt Hypothesentest.

Ein klassischer Likelihood-Ratio-Test hätte die maximale Wahrscheinlichkeitsschätzung für q gefunden , nämlich ¹¹⁵ ⁄ ₂₀₀ = 0,575, woraus

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}\approx 0,06}$

(anstatt über alle möglichen q zu mitteln ). Das ergibt ein Likelihood-Verhältnis von 0,1 und weist auf M _{2 hin} .

M ₂ ist ein komplexeres Modell als M _{1 ,} da es einen freien Parameter hat, der es ermöglicht, die Daten genauer zu modellieren. Die Fähigkeit von Bayes-Faktoren, dies zu berücksichtigen, ist ein Grund, warum Bayes'sche Inferenz als theoretische Rechtfertigung und Verallgemeinerung von Occams Rasiermesser vorgebracht wurde , wodurch Typ-I-Fehler reduziert werden .

Andererseits berücksichtigt die moderne Methode der relativen Wahrscheinlichkeit im Gegensatz zur klassischen Likelihood-Ratio die Anzahl der freien Parameter in den Modellen. Die Methode der relativen Wahrscheinlichkeit könnte wie folgt angewendet werden. Das Modell M ₁ hat 0 Parameter, daher beträgt sein AIC- Wert 2·0 − 2·ln(0,005956) = 10,2467. Das Modell M ₂ hat 1 Parameter, daher beträgt sein AIC-Wert 2·1 − 2·ln(0,056991) = 7,7297. Daher ist M ₁ etwa exp((7,7297 − 10,2467)/2) = 0,284 mal so wahrscheinlich wie M _2, um den Informationsverlust zu minimieren. Somit ist M ₂ etwas bevorzugt, aber M ₁ kann nicht ausgeschlossen werden.

Siehe auch

• Akaike Informationskriterium
• Ungefähre Bayes'sche Berechnung
• Bayessches Informationskriterium
• Abweichungsinformationskriterium
• Lindleys Paradoxon
• Mindestnachrichtenlänge
• Modellauswahl

Statistische Kennzahlen

• Wahrscheinlichkeit
• Relatives Risiko

Verweise

Weiterlesen

• Bernardo, J.; Smith, AFM (1994). Bayessche Theorie . John Wiley. ISBN 0-471-92416-4.
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002). Bayessche Methoden zur nichtlinearen Klassifikation und Regression . John Wiley. ISBN 0-471-49036-9.
• Dienes, Z. (2019). Woher weiß ich, was meine Theorie vorhersagt? Fortschritte in Methoden und Praktiken in der psychologischen Wissenschaft doi : 10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Storch, David G. (2000). "Abschnitt 9.6.5". Musterklassifizierung (2. Aufl.). Wiley. S. 487–489. ISBN 0-471-05669-3.
• Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Bayessche Datenanalyse . London: Chapman & Halle . ISBN 0-412-03991-5.
• Jaynes, ET (1994), Wahrscheinlichkeitstheorie: die Logik der Wissenschaft , Kapitel 24.
• Lee, PM (2012). Bayessche Statistik: eine Einführung . Wiley. ISBN 9781118332573.
• Winkler, Robert (2003). Einführung in Bayes'sche Inferenz und Entscheidung (2. Aufl.). Wahrscheinlichkeitsrechnung. ISBN 0-9647938-4-9.

Externe Links

• BayesFactor —ein R-Paket zur Berechnung von Bayes-Faktoren in gängigen Forschungsdesigns
• Bayes-Faktor-Rechner — Online-Rechner für informierte Bayes-Faktoren
• Bayes Factor Calculators — webbasierte Version eines Großteils des BayesFactor-Pakets