Zulässige Entscheidungsregel - Admissible decision rule

Teil einer Serie über
Bayessche Statistik
Theorie
Zulässige Entscheidungsregel Bayes'scher Wirkungsgrad Bayessche Erkenntnistheorie Bayessche Wahrscheinlichkeit Wahrscheinlichkeitsinterpretationen Satz von Bayes Bayes-Faktor Bayes'sche Inferenz Bayes-Netzwerk Frühere Hintere Wahrscheinlichkeit Vorher konjugieren Posterior prädiktiv Hyperparameter Hyperprior Prinzip der Gleichgültigkeit Prinzip der maximalen Entropie Empirische Bayes-Methode Cromwells Regel Bernstein-von-Mises-Theorem Schwarz-Kriterium Glaubwürdiges Intervall Maximale a-posteriori-Schätzung Radikale Wahrscheinlichkeit
Techniken
Bayessche lineare Regression Bayes-Schätzer Ungefähre Bayes'sche Berechnung Markov-Kette Monte Carlo
Mathematikportal
v T e

In der statistischen Entscheidungstheorie ist eine zulässige Entscheidungsregel eine Regel, um eine Entscheidung so zu treffen , dass es keine andere Regel gibt, die immer "besser" ist (oder zumindest manchmal besser und nie schlechter), im genauen Sinne von "besser" unten definiert. Dieses Konzept ist analog zur Pareto-Effizienz .

Definition

Definieren Sie Mengen , und , wo sind die Naturzustände, die möglichen Beobachtungen und die Aktionen, die ergriffen werden können. Eine Beobachtung wird als verteilt und liefert somit Hinweise auf den Naturzustand . Eine Entscheidungsregel ist eine Funktion , bei der wir nach Beobachten entscheiden, Maßnahmen zu ergreifen . ${\displaystyle \Theta\,}$${\displaystyle {\mathcal{X}}}$${\displaystyle {\mathcal{A}}}$${\displaystyle \Theta\,}$${\displaystyle {\mathcal{X}}}$${\displaystyle {\mathcal{A}}}$${\displaystyle x\in {\mathcal{X}}\,\!}$${\displaystyle F(x\mid\theta)\,\!}$${\displaystyle \theta\in\Theta\,\!}$ ${\displaystyle \delta :{\mathcal{X}}\rightarrow {\mathcal{A}}}$${\displaystyle x\in {\mathcal {X}}}$${\displaystyle \delta(x)\in {\mathcal{A}}\,\!}$

Definieren Sie auch eine Verlustfunktion , die den Verlust angibt, den wir erleiden würden, wenn wir Maßnahmen ergreifen, wenn der wahre Zustand der Natur ist . In der Regel werden wir diese Aktion nach der Datenbeobachtung durchführen , damit der Verlust ausgeglichen ist . (Es ist möglich, wenn auch unkonventionell, die folgenden Definitionen in Bezug auf eine Nutzenfunktion umzuformulieren , die das Negative des Verlustes ist.) ${\displaystyle L:\Theta\times {\mathcal{A}}\rightarrow\mathbb{R}}$${\displaystyle a\in {\mathcal {A}}}$${\displaystyle\theta\in\theta}$${\displaystyle x\in {\mathcal {X}}}$${\displaystyle L(\theta,\delta(x))\,\!}$

Definieren Sie die Risikofunktion als Erwartung

${\displaystyle R(\theta ,\delta )=\operatorname {E} _{F(x\mid \theta )}[{L(\theta ,\delta (x))]}.\,\!}$

Ob eine Entscheidungsregel ein geringes Risiko hat, hängt vom wahren Naturzustand ab . Eine Entscheidungsregel dominiert eine Entscheidungsregel genau dann, wenn für alle , und die Ungleichung ist für einige streng . ${\displaystyle \delta\,\!}$${\displaystyle \theta\,\!}$${\displaystyle \delta ^{*}\,\!}$ ${\displaystyle \delta\,\!}$${\displaystyle R(\theta,\delta^{*})\leq R(\theta,\delta)}$${\displaystyle \theta\,\!}$${\displaystyle \theta\,\!}$

Eine Entscheidungsregel ist (in Bezug auf die Verlustfunktion) genau dann zulässig, wenn sie von keiner anderen Regel dominiert wird; andernfalls ist es unzulässig . Somit ist eine zulässige Entscheidungsregel ein maximales Element in Bezug auf die obige Teilordnung. Eine unzulässige Regel wird nicht bevorzugt (außer aus Gründen der Einfachheit oder der Recheneffizienz), da es definitionsgemäß eine andere Regel gibt, die für alle das gleiche oder ein geringeres Risiko erzielt . Aber nur weil eine Regel zulässig ist, heißt das nicht, dass sie eine gute Regel ist. Zulässig bedeutet, dass es keine andere Regel gibt, die immer so gut oder besser ist – aber andere zulässige Regeln könnten für die meisten in der Praxis auftretenden Risiken ein geringeres Risiko bewirken. (Das unten diskutierte Bayes-Risiko ist eine Möglichkeit, explizit zu berücksichtigen, welche in der Praxis auftreten.) ${\displaystyle \theta\,\!}$${\displaystyle \delta\,\!}$${\displaystyle \theta\,\!}$${\displaystyle \theta\,\!}$

Bayes-Regeln und verallgemeinerte Bayes-Regeln

Bayes-Regeln

Sei eine Wahrscheinlichkeitsverteilung über die Naturzustände. Aus bayesianischer Sicht würden wir es als Vorverteilung betrachten . Das heißt, es ist unsere angenommene Wahrscheinlichkeitsverteilung der Naturzustände vor der Beobachtung von Daten. Für einen Frequentisten ist es lediglich eine Funktion ohne eine solche spezielle Interpretation. Das Bayes-Risiko der Entscheidungsregel bzgl. ist die Erwartung ${\displaystyle \pi (\theta)\,\!}$${\displaystyle \Theta\,\!}$${\displaystyle \delta\,\!}$${\displaystyle \pi (\theta)\,\!}$

${\displaystyle r(\pi,\delta)=\operatorname {E} _{\pi(\theta)}[R(\theta,\delta)].\,\!}$

Eine Entscheidungsregel , die minimiert, heißt Bayes-Regel in Bezug auf . Es kann mehr als eine solche Bayes-Regel geben. Wenn das Bayes-Risiko für alle unendlich ist , ist keine Bayes-Regel definiert. ${\displaystyle \delta\,\!}$${\displaystyle r(\pi,\delta)\,\!}$${\displaystyle \pi (\theta)\,\!}$${\displaystyle \delta\,\!}$

Verallgemeinerte Bayes-Regeln

Im Bayesschen Ansatz der Entscheidungstheorie gilt das Beobachtete als fest . Während der frequentistische Ansatz (dh das Risiko) über mögliche Stichproben mittelt , würde der Bayesian die beobachtete Stichprobe fixieren und über Hypothesen mitteln . Daher ist der Bayessche Ansatz für unsere Beobachtungen den erwarteten Verlust zu berücksichtigen${\displaystyle x\,\!}$${\displaystyle x\in {\mathcal{X}}\,\!}$${\displaystyle x\,\!}$${\displaystyle \theta\in\Theta\,\!}$${\displaystyle x\,\!}$

${\displaystyle \rho (\pi ,\delta \mid x)=\operatorname {E} _{\pi (\theta \mid x)}[L(\theta ,\delta (x))].\,\ !}$

wobei der Erwartungswert über dem Posterior von gegeben liegt (erhalten aus und unter Verwendung des Bayes-Theorems ). ${\displaystyle \theta\,\!}$${\displaystyle x\,\!}$${\displaystyle \pi (\theta)\,\!}$${\displaystyle F(x\mid\theta)\,\!}$

Nachdem wir den erwarteten Verlust für jedes Gegebene separat explizit gemacht haben , können wir eine Entscheidungsregel definieren, indem wir für jede eine Aktion angeben , die den erwarteten Verlust minimiert. Dies ist als verallgemeinerte Bayes-Regel in Bezug auf bekannt . Es kann mehr als eine verallgemeinerte Bayes-Regel geben, da es mehrere Auswahlmöglichkeiten geben kann , die denselben erwarteten Verlust erzielen. ${\displaystyle x\,\!}$${\displaystyle \delta\,\!}$${\displaystyle x\,\!}$${\displaystyle \delta(x)\,\!}$${\displaystyle \pi (\theta)\,\!}$${\displaystyle \delta(x)\,\!}$

Auf den ersten Blick mag dies etwas anders erscheinen als der Ansatz der Bayes-Regel im vorherigen Abschnitt, keine Verallgemeinerung. Beachten Sie jedoch, dass sich das Bayes-Risiko bereits auf Bayessche Weise übermittelt und das Bayes-Risiko als Erwartung des erwarteten Verlustes (wo und ) wiederhergestellt werden kann . Grob gesagt, minimiert diese Erwartung des erwarteten Verlusts (dh ist eine Bayes-Regel) genau dann, wenn es den erwarteten Verlust für jeden einzeln minimiert (dh ist eine verallgemeinerte Bayes-Regel). ${\displaystyle \Theta\,\!}$${\displaystyle {\mathcal{X}}}$${\displaystyle x\sim\theta\,\!}$${\displaystyle \theta\sim\pi\,\!}$${\displaystyle \delta\,\!}$${\displaystyle x\in {\mathcal {X}}}$

Warum ist dann der Begriff der verallgemeinerten Bayes-Regel eine Verbesserung? Es ist in der Tat äquivalent zum Begriff der Bayes-Regel, wenn eine Bayes-Regel existiert und alle eine positive Wahrscheinlichkeit haben. Es existiert jedoch keine Bayes-Regel, wenn das Bayes-Risiko unendlich ist (für alle ). In diesem Fall ist es immer noch sinnvoll, eine verallgemeinerte Bayes-Regel zu definieren , die zumindest eine Aktion mit minimalem erwarteten Verlust für diejenigen auswählt, für die eine Aktion mit endlichem erwarteten Verlust existiert. Darüber hinaus kann eine verallgemeinerte Bayes-Regel wünschenswert sein, da sie für jede eine Aktion mit minimalem erwarteten Verlust auswählen muss , während eine Bayes-Regel von dieser Richtlinie bei einem Satz von Maß 0 abweichen darf, ohne das Bayes-Risiko zu beeinträchtigen. ${\displaystyle x\,\!}$${\displaystyle \delta\,\!}$${\displaystyle \delta\,\!}$${\displaystyle \delta(x)\!\,}$${\displaystyle x\,\!}$${\displaystyle \delta(x)\,\!}$ ${\displaystyle x\,\!}$${\displaystyle X\subseteq {\mathcal {X}}}$

Noch wichtiger ist, dass es manchmal praktisch ist, eine ungeeignete Voreinstellung zu verwenden . In diesem Fall ist weder das Bayes-Risiko noch eine genau definierte Verteilung über . Der posteriore – und damit der erwartete Verlust – kann jedoch für jede gut definiert sein , so dass es immer noch möglich ist, eine verallgemeinerte Bayes-Regel zu definieren. ${\displaystyle \pi (\theta)\,\!}$${\displaystyle x\,\!}$${\displaystyle \pi (\theta\mid x)\,\!}$${\displaystyle x\,\!}$

Zulässigkeit von (verallgemeinerten) Bayes-Regeln

Gemäß den vollständigen Klassensätzen ist jede zulässige Regel unter milden Bedingungen eine (verallgemeinerte) Bayes-Regel (in Bezug auf eine frühere – möglicherweise eine unpassende –, die Verteilungen bevorzugt, bei denen diese Regel ein geringes Risiko erreicht). In der frequentistischen Entscheidungstheorie reicht es also aus, nur (verallgemeinerte) Bayes-Regeln zu berücksichtigen. ${\displaystyle \pi (\theta)\,\!}$${\displaystyle \theta\,\!}$

Umgekehrt, während Bayes-Regeln in Bezug auf richtige Prioren praktisch immer zulässig sind, müssen verallgemeinerte Bayes-Regeln, die unpassenden Prioren entsprechen, keine zulässigen Prozeduren ergeben. Steins Beispiel ist eine solche berühmte Situation.

Beispiele

Der James-Stein-Schätzer ist ein nichtlinearer Schätzer des Mittelwerts von Gaußschen Zufallsvektoren, von dem gezeigt werden kann, dass er die gewöhnliche Methode der kleinsten Quadrate in Bezug auf eine mittlere Fehlerverlustfunktion dominiert oder übertrifft . Somit ist die Kleinste-Quadrate-Schätzung in diesem Zusammenhang kein zulässiges Schätzverfahren. Einige andere mit der Normalverteilung verbundene Standardschätzer sind ebenfalls unzulässig: zum Beispiel die Stichprobenschätzung der Varianz, wenn der Mittelwert und die Varianz der Grundgesamtheit unbekannt sind.

Anmerkungen

Verweise

• Cox, DR; Hinkley, DV (1974). Theoretische Statistik . Wiley. ISBN 0-412-12420-3.
• Berger, James O. (1980). Statistische Entscheidungstheorie und Bayes'sche Analyse (2. Aufl.). Springer-Verlag. ISBN 0-387-96098-8.
• DeGroot, Morris (2004) [1st. Kneipe. 1970]. Optimale statistische Entscheidungen . Wiley Classics-Bibliothek. ISBN 0-471-68029-X.
• Robert, Christian P. (1994). Die Bayessche Wahl . Springer-Verlag. ISBN 3-540-94296-3.