Jeffreys vor - Jeffreys prior

In der Bayesschen Wahrscheinlichkeit ist der Jeffreys-Prior , benannt nach Sir Harold Jeffreys , eine nicht-informative (objektive) Prior-Verteilung für einen Parameterraum; seine Dichtefunktion ist proportional zur Quadratwurzel der Determinante der Fisher-Informationsmatrix :

${\displaystyle p\left({\vec {\theta}}\right)\propto {\sqrt {\det {\mathcal {I}}\left({\vec {\theta}}\right)}}. \,}$

Es hat die Haupteigenschaft, dass es bei einer Änderung der Koordinaten für den Parametervektor invariant ist . Das heißt, die relative Wahrscheinlichkeit, die einem Volumen eines Wahrscheinlichkeitsraums unter Verwendung eines Jeffreys-Prior zugewiesen wird, ist unabhängig von der Parametrisierung, die verwendet wird, um den Jeffreys-Aprior zu definieren, dieselbe. Dies macht es für die Verwendung mit Skalenparametern besonders interessant . ${\displaystyle {\vec {\theta}}}$

Umparametrierung

Einparameterfall

Wenn und zwei mögliche Parametrisierungen eines statistischen Modells sind und eine stetig differenzierbare Funktion von ist , sagen wir, dass der Prior "invariant" unter einer Reparametrisierung ist, wenn ${\displaystyle\theta}$${\displaystyle\varphi}$${\displaystyle\theta}$${\displaystyle\varphi}$${\displaystyle p_{\theta}(\theta)}$

${\displaystyle p_{\varphi}(\varphi)=p_{\theta}(\theta)\left|{\frac {d\theta}{d\varphi}}\right|,}$

das heißt, wenn die Prioren und durch den üblichen Satz der Variablenänderung zusammenhängen . ${\displaystyle p_{\theta}(\theta)}$${\displaystyle p_{\varphi}(\varphi)}$

Da sich die Fisher-Informationen unter Reparametrisierung als

${\displaystyle I_{\varphi}(\varphi)=I_{\theta}(\theta)\left({\frac{d\theta}{d\varphi}}\right)^{2},}$

definiert die Prioren als und gibt uns die gewünschte "Invarianz". ${\displaystyle p_{\varphi}(\varphi)\propto {\sqrt {I_{\varphi}(\varphi)}}}$${\displaystyle p_{\theta}(\theta)\propto {\sqrt {I_{\theta}(\theta)}}}$

Fall mit mehreren Parametern

Analog zum einparametrigen Fall seien und seien zwei mögliche Parametrisierungen eines statistischen Modells mit einer stetig differenzierbaren Funktion von . Wir nennen den Prior "invariant" unter Reparametrisierung, wenn ${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\varphi}}}$${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\varphi}}}$${\displaystyle p_{\theta}({\vec{\theta}})}$

${\displaystyle p_{\varphi}({\vec {\varphi}})=p_{\theta}({\vec{\theta}})\det J,}$

wo ist die Jacobi-Matrix mit Einträgen ${\displaystyle J}$

${\displaystyle J_{ij}={\frac {\partial\theta_{i}}{\partial\varphi_{j}}}.}$

Da sich die Fisher-Informationsmatrix unter Umparametrierung als

${\displaystyle I_{\varphi}({\vec {\varphi}})=J^{T}I_{\theta}({\vec {\theta}})J,}$

wir haben das

${\displaystyle \det I_{\varphi}(\varphi)=\det I_{\theta}(\theta)(\det J)^{2}}$

und definiert somit die Prioren als und gibt uns die gewünschte "Invarianz". ${\displaystyle p_{\varphi}({\vec {\varphi}})\propto {\sqrt {\det I_{\varphi}({\vec {\varphi}})}}}$${\displaystyle p_{\theta}({\vec {\theta}})\propto {\sqrt {\det I_{\theta}({\vec {\theta}})}}}$

Attribute

Aus praktischer und mathematischer Sicht besteht ein triftiger Grund, diesen nicht-informativen Prior anstelle anderer zu verwenden, wie sie durch einen Grenzwert in konjugierten Verteilungsfamilien erhalten werden, darin, dass die relative Wahrscheinlichkeit eines Volumens des Wahrscheinlichkeitsraums nicht abhängig ist von der Satz von Parametervariablen, der ausgewählt wird, um den Parameterraum zu beschreiben.

Manchmal kann der Jeffreys-Prior nicht normalisiert werden und ist daher ein unpassender Prior . Beispielsweise ist der Jeffreys-Prior für den Verteilungsmittelwert im Fall einer Gauß-Verteilung bekannter Varianz über die gesamte reelle Gerade gleichförmig .

Die Verwendung des Jeffreys-Prior verletzt die starke Version des Likelihood-Prinzips , die von vielen, aber keineswegs allen Statistikern akzeptiert wird. Bei Verwendung des Jeffreys-Prior hängen Schlussfolgerungen über nicht nur von der Wahrscheinlichkeit der beobachteten Daten als Funktion von ab , sondern auch vom Universum aller möglichen experimentellen Ergebnisse, wie durch das experimentelle Design bestimmt, da die Fisher-Informationen aus einer Erwartung berechnet werden über dem auserwählten Universum. Dementsprechend können der Jeffreys-Prior und damit die daraus gezogenen Schlussfolgerungen für zwei Experimente mit demselben Parameter unterschiedlich sein, selbst wenn die Likelihood-Funktionen für die beiden Experimente gleich sind – eine Verletzung des starken Likelihood-Prinzips. ${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\theta}}}$

Mindestlänge der Beschreibung

Beim statistischen Ansatz mit minimaler Beschreibungslänge besteht das Ziel darin, Daten so kompakt wie möglich zu beschreiben, wobei die Länge einer Beschreibung in Bits des verwendeten Codes gemessen wird. Für eine parametrisierte Familie von Verteilungen vergleicht man einen Code mit dem besten Code basierend auf einer der Verteilungen in der parametrisierten Familie. Das Hauptergebnis ist, dass in exponentiellen Familien asymptotisch für große Stichproben der Code basierend auf der Verteilung, die eine Mischung der Elemente in der exponentiellen Familie mit dem Jeffreys-Prior ist, optimal ist. Dieses Ergebnis gilt, wenn man die Parametermenge auf eine kompakte Teilmenge im Inneren des vollen Parameterraums beschränkt. Wenn der vollständige Parameter verwendet wird, sollte eine modifizierte Version des Ergebnisses verwendet werden.

Beispiele

Der Jeffreys-Prior für einen Parameter (oder eine Menge von Parametern) hängt vom statistischen Modell ab.

Gaußsche Verteilung mit Mittelwertparameter

Für die Gaußsche Verteilung des reellen Wertes${\displaystyle x}$

${\displaystyle f(x\mid\mu)={\frac{e^{-(x-\mu)^{2}/2\sigma^{2}}}{\sqrt {2\pi\sigma^ {2}}}}}$

mit festen, die Jeffreys vor für den Mittelwert ist ${\displaystyle \sigma}$${\displaystyle\mu}$

${\displaystyle {\begin{ausgerichtet}p(\mu)&\propto {\sqrt {I(\mu)}}={\sqrt {\operatorname {E} \!\left[\left({\frac { d}{d\mu}}\log f(x\mid\mu)\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\ frac {x-\mu }{\sigma^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty}^{+\infty} f(x\mid\mu)\left({\frac {x-\mu}{\sigma^{2}}}\right)^{2}dx}}={\sqrt {1/\sigma^{ 2}}}\propto 1.\end{ausgerichtet}}}$

Das heißt, der Jeffreys-Prior hängt nicht von ab ; es ist die unnormierte Gleichverteilung auf der reellen Geraden – die Verteilung, die 1 (oder eine andere feste Konstante) für alle Punkte beträgt. Dies ist ein uneigentliches Prior und ist, bis auf die Wahl der Konstanten, die eindeutige translationsinvariante Verteilung auf den reellen Zahlen (das Haar-Maß in Bezug auf die Addition von reellen Zahlen), entsprechend dem Mittelwert, der ein Maß für die Lage und die Translationsinvarianz ist entsprechend keine Angaben zum Standort. ${\displaystyle\mu}$${\displaystyle\mu}$

Gaußsche Verteilung mit Standardabweichungsparameter

Für die Gaußsche Verteilung des reellen Wertes${\displaystyle x}$

${\displaystyle f(x\mid\sigma)={\frac{e^{-(x-\mu)^{2}/2\sigma^{2}}}{\sqrt {2\pi\sigma^ {2}}}},}$

mit festen, die Jeffreys vor für die Standardabweichung ist ,${\displaystyle\mu}$${\displaystyle \sigma >0}$

${\displaystyle {\begin{ausgerichtet}p(\sigma)&\propto {\sqrt {I(\sigma)}}={\sqrt {\operatorname {E} \!\left[\left({\frac { d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\ frac {(x-\mu)^{2}-\sigma^{2}}{\sigma^{3}}}\right)^{2}\right]}}\&={\sqrt {\ int _{-\infty}^{+\infty}f(x\mid \sigma)\left({\frac {(x-\mu)^{2}-\sigma^{2}}{\sigma^ {3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma}}.\ Ende{ausgerichtet}}}$

Äquivalent ist der Jeffreys-Prior für die unnormierte Gleichverteilung auf der reellen Geraden, und daher wird diese Verteilung auch als${\textstyle \log\sigma =\int d\sigma /\sigma }$ logarithmisch vor . Ebenso ist das Jeffreys-Prior fürebenfalls einheitlich. Es ist die einzigartige (bis zu einem mehrfachen) vor (auf den positiven reellen Zahlen) aufweistdieSkala-invariant (dasHaar Maßnahmebezüglich der Multiplikation der positiven reellen Zahlen), die Standardabweichung entsprichtein Maß für seineSkalaund Skaleninvarianz entspricht keine Angaben zum Maßstab. Wie bei der Gleichverteilung auf den Realen handelt es sich um einenunechten Prior. ${\displaystyle \log\sigma^{2}=2\log\sigma}$

Poissonverteilung mit Ratenparameter

Für die Poisson-Verteilung der nicht-negativen ganzen Zahl gilt ${\displaystyle n}$

${\displaystyle f(n\mid\lambda)=e^{-\lambda }{\frac {\lambda^{n}}{n!}},}$

die Jeffreys-Prior für den Geschwindigkeitsparameter ist ${\displaystyle \lambda\geq 0}$

${\displaystyle {\begin{ausgerichtet}p(\lambda)&\propto {\sqrt {I(\lambda)}}={\sqrt {\operatorname {E} \!\left[\left({\frac { d}{d\lambda}}\log f(n\mid \lambda)\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\ frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sqrt {\sum _{n=0}^{+\infty}f(n\ Mitte \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{ ausgerichtet}}}$

Äquivalent ist der Jeffreys-Prior für die unnormierte Gleichverteilung auf der nicht-negativen reellen Geraden. ${\textstyle {\sqrt {\lambda}}=\int d\lambda /{\sqrt {\lambda}}}$

Bernoulli-Prozess

Für eine Münze, die mit Wahrscheinlichkeit "Kopf" und mit Wahrscheinlichkeit "Zahl" ist , beträgt die Wahrscheinlichkeit für eine gegebene Münze . Die Jeffreys-Prior für den Parameter ist ${\displaystyle \gamma\in [0,1]}$${\displaystyle 1-\gamma}$${\displaystyle (H,T)\in \{(0,1),(1,0)\}}$${\displaystyle \gamma^{H}(1-\gamma)^{T}}$${\displaystyle\gamma}$

${\displaystyle {\begin{ausgerichtet}p(\gamma)&\propto {\sqrt {I(\gamma)}}={\sqrt {\operatorname {E} \!\left[\left({\frac { d}{d\gamma}}\log f(x\mid\gamma)\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\ frac {H}{\gamma}}-{\frac {T}{1-\gamma}}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\ frac {1}{\gamma}}-{\frac {0}{1-\gamma}}\right)^{2}+(1-\gamma)\left({\frac {0}{\gamma} }-{\frac {1}{1-\gamma}}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma)}}}\,.\ Ende{ausgerichtet}}}$

Dies ist die Arkussinus-Verteilung und ist eine Beta-Verteilung mit . Außerdem, wenn dann ${\displaystyle \alpha =\beta =1/2}$${\displaystyle \gamma =\sin^{2}(\theta)}$

${\displaystyle \Pr[\theta]=\Pr[\gamma]{\frac {d\gamma }{d\theta}}\propto {\frac {1}{\sqrt {(\sin ^{2}\ theta )(1-\sin^{2}\theta)}}}~2\sin\theta\cos\theta =2\,.}$

Das heißt, der Jeffreys-Prior für ist im Intervall gleichförmig . Äquivalent ist auf dem ganzen Kreis gleichförmig . ${\displaystyle\theta}$${\displaystyle [0,\pi /2]}$${\displaystyle\theta}$${\displaystyle [0,2\pi]}$

N- seitiger Würfel mit verzerrten Wahrscheinlichkeiten

In ähnlicher Weise ist für einen Wurf eines einseitigen Würfels mit Ergebniswahrscheinlichkeiten , die jeweils nicht negativ und befriedigend sind , der Jeffreys-Prior für die Dirichlet-Verteilung, wobei alle (Alpha-)Parameter auf die Hälfte gesetzt sind. Dies bedeutet, dass für jedes mögliche Ergebnis eine Pseudozählung von einer Hälfte verwendet wird. ${\displaystyle N}$${\displaystyle {\vec {\gamma}}=(\gamma_{1},\ldots,\gamma_{N})}$${\displaystyle \sum_{i=1}^{N}\gamma_{i}=1}$${\displaystyle {\vec {\gamma}}}$

Äquivalent, wenn wir für jedes schreiben , dann ist der Jeffreys-Prior für auf der ( N  − 1)-dimensionalen Einheitskugel gleichförmig ( dh er ist auf der Oberfläche einer N- dimensionalen Einheitskugel gleichförmig ). ${\displaystyle \gamma_{i}=\varphi_{i}^{2}}$${\displaystyle i}$${\displaystyle {\vec {\varphi}}}$

Verweise

Weiterlesen

• Jeffreys, H. (1946). „Eine invariante Form für die Prior-Wahrscheinlichkeit in Schätzproblemen“ . Verfahren der Royal Society of London. Reihe A, Mathematische und Physikalische Wissenschaften . 186 (1007): 453–461. doi : 10.1098/rspa.1946.0056 . JSTOR  97883 . PMID  20998741 .
• Jeffreys, H. (1939). Theorie der Wahrscheinlichkeit . Oxford University Press.
• Kass, Robert E.; Wassermann, Larry (1996). „Die Auswahl der vorherigen Verteilungen durch formale Regeln“. Zeitschrift der American Statistical Association . 91 (435): 1343–1370. doi : 10.1080/01621459.1996.10477003 .