Momenterzeugende Funktion - Moment-generating function

In der Wahrscheinlichkeitstheorie und Statistik ist die momenterzeugende Funktion einer reellwertigen Zufallsvariablen eine alternative Angabe ihrer Wahrscheinlichkeitsverteilung . Somit bietet es die Grundlage für einen alternativen Weg zu analytischen Ergebnissen im Vergleich zum direkten Arbeiten mit Wahrscheinlichkeitsdichtefunktionen oder kumulativen Verteilungsfunktionen . Besonders einfache Ergebnisse gibt es für die momenterzeugenden Funktionen von Verteilungen, die durch die gewichteten Summen von Zufallsvariablen definiert sind. Allerdings haben nicht alle Zufallsvariablen momenterzeugende Funktionen.

Wie der Name schon sagt, kann die momenterzeugende Funktion verwendet werden, um die Momente einer Verteilung zu berechnen : Das n- te Moment um 0 ist die n- te Ableitung der momenterzeugenden Funktion, bewertet bei 0.

Neben reellwertigen Verteilungen (univariate Verteilungen) können momenterzeugende Funktionen für vektor- oder matrixwertige Zufallsvariablen definiert und sogar auf allgemeinere Fälle ausgedehnt werden.

Die momenterzeugende Funktion einer reellwertigen Verteilung existiert im Gegensatz zur charakteristischen Funktion nicht immer . Es gibt Beziehungen zwischen dem Verhalten der momenterzeugenden Funktion einer Verteilung und Eigenschaften der Verteilung, wie zB der Existenz von Momenten.

Definition

Sei eine Zufallsvariable mit cdf . Die momenterzeugende Funktion (mgf) von (oder ), bezeichnet mit , ist ${\displaystyle X}$ ${\displaystyle F_{X}}$${\displaystyle X}$${\displaystyle F_{X}}$${\displaystyle M_{X}(t)}$

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]}$

vorausgesetzt, dieser Erwartungswert existiert für in einer Umgebung von 0. Das heißt, es gibt einen solchen, der für alle in , existiert. Existiert der Erwartungswert in einer Umgebung von 0 nicht, so sagen wir, dass die momenterzeugende Funktion nicht existiert. ${\displaystyle t}$${\displaystyle h>0}$${\displaystyle t}$${\displaystyle -h<t<h}$${\displaystyle \operatorname {E} \left[e^{tX}\right]}$

Mit anderen Worten, die momenterzeugende Funktion von X ist der Erwartungswert der Zufallsvariablen . Allgemeiner gesagt, wenn ein -dimensionaler Zufallsvektor und ein fester Vektor ist, verwendet man anstelle von  : ${\displaystyle e^{tX}}$${\displaystyle\mathbf{X} =(X_{1},\ldots,X_{n})^{\mathrm{T}}}$${\displaystyle n}$${\displaystyle\mathbf{t}}$${\displaystyle\mathbf{t}\cdot\mathbf{X} =\mathbf{t}^{\mathrm{T}}\mathbf{X}}$${\displaystyle tX}$

${\displaystyle M_{\mathbf {X}}(\mathbf {t}):=\operatorname {E} \left(e^{\mathbf {t} ^{\mathrm {T} }\mathbf {X} } \Rechts).}$

${\displaystyle M_{X}(0)}$existiert immer und ist gleich 1. Ein Hauptproblem bei momenterzeugenden Funktionen besteht jedoch darin, dass Momente und die momenterzeugende Funktion möglicherweise nicht existieren, da die Integrale nicht absolut konvergieren müssen. Im Gegensatz dazu existiert die charakteristische Funktion oder Fourier-Transformation immer (weil sie das Integral einer beschränkten Funktion auf einem Raum endlichen Maßes ist ) und kann für einige Zwecke stattdessen verwendet werden.

Die momenterzeugende Funktion wird so genannt, weil sie verwendet werden kann, um die Momente der Verteilung zu finden. Die Reihenentwicklung von is ${\displaystyle e^{tX}}$

${\displaystyle e^{t\,X}=1+t\,X+{\frac {t^{2}\,X^{2}}{2!}}+{\frac {t^{3} \,X^{3}}{3!}}+\cdots +{\frac {t^{n}\,X^{n}}{n!}}+\cdots .}$

Somit

${\displaystyle {\begin{ausgerichtet}M_{X}(t)=\operatorname {E} (e^{t\,X})&=1+t\operatorname {E} (X)+{\frac { t^{2}\operatorname {E} (X^{2})}{2!}}+{\frac {t^{3}\operatorname {E} (X^{3})}{3!} }+\cdots +{\frac {t^{n}\operatorname {E} (X^{n})}{n!}}+\cdots \\&=1+tm_{1}+{\frac { t^{2}m_{2}}{2!}}+{\frac {t^{3}m_{3}}{3!}}+\cdots +{\frac {t^{n}m_{ n}}{n!}}+\cdots ,\end{ausgerichtet}}}$

wo ist der te moment . Durch Differenzieren von Zeiten nach und Einstellung erhält man das te Moment über den Ursprung, ; siehe Berechnungen von Momenten unten. ${\displaystyle m_{n}}$${\displaystyle n}$${\displaystyle M_{X}(t)}$ ${\displaystyle i}$${\displaystyle t}$${\displaystyle t=0}$${\displaystyle i}$${\displaystyle m_{i}}$

Wenn eine stetige Zufallsvariable ist, gilt die folgende Beziehung zwischen ihrer momenterzeugenden Funktion und der zweiseitigen Laplace-Transformation ihrer Wahrscheinlichkeitsdichtefunktion : ${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle f_{X}(x)}$

${\displaystyle M_{X}(t)={\mathcal{L}}\{f_{X}\}(-t),}$

da die zweiseitige Laplace-Transformation des PDFs als

${\displaystyle {\mathcal {L}}\{f_{X}\}(s)=\int_{-\infty}^{\infty}e^{-sx}f_{X}(x)\, dx,}$

und die Definition der momenterzeugenden Funktion erweitert sich (nach dem Gesetz des unbewussten Statistikers ) zu

${\displaystyle M_{X}(t)=\operatorname {E} \left[e^{tX}\right]=\int _{-\infty }^{\infty }e^{tx}f_{X} (x)\,dx.}$

Dies stimmt mit der charakteristischen Funktion überein , eine Wick-Rotation zu sein, wenn die momenterzeugende Funktion existiert, da die charakteristische Funktion einer kontinuierlichen Zufallsvariablen die Fourier-Transformation ihrer Wahrscheinlichkeitsdichtefunktion ist , und im Allgemeinen, wenn eine Funktion von exponentieller Ordnung ist , die Fourier-Transformation von ist eine Wick-Rotation ihrer zweiseitigen Laplace-Transformation im Konvergenzbereich. Siehe die Beziehung der Fourier- und Laplace-Transformation für weitere Informationen. ${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle X}$${\displaystyle f_{X}(x)}$${\displaystyle f(x)}$${\displaystyle f}$

Beispiele

Hier sind einige Beispiele für die momenterzeugende Funktion und die charakteristische Funktion zum Vergleich. Es ist ersichtlich, dass die charakteristische Funktion eine Wick-Rotation der momenterzeugenden Funktion ist, wenn diese existiert. ${\displaystyle M_{X}(t)}$

Verteilung	Momenterzeugende Funktion ${\displaystyle M_{X}(t)}$	Charakteristische Funktion ${\displaystyle\varphi(t)}$
Degenerieren ${\displaystyle \delta_{a}}$	${\displaystyle e^{ta}}$	${\displaystyle e^{ita}}$
Bernoulli ${\displaystyle P(X=1)=p}$	${\displaystyle 1-p+pe^{t}}$	${\displaystyle 1-p+pe^{it}}$
Geometrisch ${\displaystyle (1-p)^{k-1}\,p}$	${\displaystyle {\frac {pe^{t}}{1-(1-p)e^{t}}}}$ ${\displaystyle \forall t<-\ln(1-p)}$	${\displaystyle {\frac {pe^{it}}{1-(1-p)\,e^{it}}}}$
Binomial ${\displaystyle B(n,p)}$	${\displaystyle \left(1-p+pe^{t}\right)^{n}}$	${\displaystyle \left(1-p+pe^{it}\right)^{n}}$
Negatives Binomial ${\displaystyle \operatorname {NB} (r,p)}$	${\displaystyle \left({\frac {pe^{t}}{1-e^{t}+pe^{t}}}\right)^{r}}$	${\displaystyle \left({\frac {pe^{it}}{1-e^{it}+pe^{it}}}\right)^{r}}$
Poisson ${\displaystyle \operatorname {Pois} (\lambda)}$	${\displaystyle e^{\lambda (e^{t}-1)}}$	${\displaystyle e^{\lambda (e^{it}-1)}}$
Einheitlich (kontinuierlich) ${\displaystyle \operatorname {U} (a,b)}$	${\displaystyle {\frac {e^{tb}-e^{ta}}{t(ba)}}}$	${\displaystyle {\frac {e^{itb}-e^{ita}}{it(ba)}}}$
Uniform (diskret) ${\displaystyle \operatorname {DU} (a,b)}$	${\displaystyle {\frac {e^{at}-e^{(b+1)t}}{(b-a+1)(1-e^{t})}}}$	${\displaystyle {\frac {e^{ait}-e^{(b+1)it}}{(b-a+1)(1-e^{it})}}}$
Laplace ${\displaystyle L(\mu,b)}$	${\displaystyle {\frac {e^{t\mu}}{1-b^{2}t^{2}}},~|t|<1/b}$	${\displaystyle {\frac {e^{it\mu}}{1+b^{2}t^{2}}}}$
Normal ${\displaystyle N(\mu,\sigma^{2})}$	${\displaystyle e^{t\mu +{\frac {1}{2}}\sigma^{2}t^{2}}}$	${\displaystyle e^{it\mu -{\frac {1}{2}}\sigma^{2}t^{2}}}$
Chi-Quadrat ${\displaystyle \chi_{k}^{2}}$	${\displaystyle (1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle (1-2it)^{-{\frac {k}{2}}}}$
Nicht zentrales Chi-Quadrat ${\displaystyle \chi_{k}^{2}(\lambda)}$	${\displaystyle e^{\lambda t/(1-2t)}(1-2t)^{-{\frac {k}{2}}}}$	${\displaystyle e^{i\lambda t/(1-2it)}(1-2it)^{-{\frac {k}{2}}}}$
Gamma ${\displaystyle \Gamma(k,\theta)}$	${\displaystyle (1-t\theta)^{-k},~\forall t<{\tfrac {1}{\theta}}}$	${\displaystyle (1-it\theta)^{-k}}$
Exponentiell ${\displaystyle \operatorname {Exp} (\lambda )}$	${\displaystyle \left(1-t\lambda^{-1}\right)^{-1},~t<\lambda}$	${\displaystyle \left(1-es\lambda^{-1}\right)^{-1}}$
Multivariat normal ${\displaystyle N(\mathbf{\mu} ,\mathbf{\Sigma})}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T}}\left({\boldsymbol {\mu}}+{\frac {1}{2}}\mathbf {\Sigma t} \right )}}$	${\displaystyle e^{\mathbf {t} ^{\mathrm {T}}\left(i{\boldsymbol {\mu}}-{\frac {1}{2}}{\boldsymbol {\Sigma}} \mathbf {t} \right)}}$
Cauchy ${\displaystyle \operatorname {Cauchy} (\mu,\theta)}$	Ist nicht vorhanden	${\displaystyle e^{it\mu -\theta |t|}}$
Multivariate Cauchy ${\displaystyle \operatorname {MultiCauchy} (\mu,\Sigma)}$	Ist nicht vorhanden	${\displaystyle \!\,e^{i\mathbf {t} ^{\mathrm {T} }{\boldsymbol {\mu}}-{\sqrt {\mathbf {t} ^{\mathrm {T} } {\boldsymbol {\Sigma}}\mathbf{t}}}}}$

Berechnung

Die momenterzeugende Funktion ist der Erwartungswert einer Funktion der Zufallsvariablen, sie kann geschrieben werden als:

• Für eine diskrete Wahrscheinlichkeits-Massenfunktion gilt${\displaystyle M_{X}(t)=\sum_{i=1}^{\infty}e^{tx_{i}}\,p_{i}}$
• Für eine stetige Wahrscheinlichkeitsdichtefunktion gilt${\displaystyle M_{X}(t)=\int_{-\infty}^{\infty}e^{tx}f(x)\,dx}$
• Im allgemeinen Fall: , unter Verwendung des Riemann-Stieltjes-Integrals , und wo ist die kumulative Verteilungsfunktion .${\displaystyle M_{X}(t)=\int_{-\infty}^{\infty}e^{tx}\,dF(x)}$${\displaystyle F}$

Beachten Sie, dass für den Fall, in dem eine kontinuierliche Wahrscheinlichkeitsdichtefunktion hat , die zweiseitige Laplace-Transformation von ist . ${\displaystyle X}$ ${\displaystyle f(x)}$${\displaystyle M_{X}(-t)}$${\displaystyle f(x)}$

${\displaystyle {\begin{ausgerichtet}M_{X}(t)&=\int _{-\infty }^{\infty }e^{tx}f(x)\,dx\\&=\int _ {-\infty}^{\infty}\left(1+tx+{\frac {t^{2}x^{2}}{2!}}+\cdots +{\frac {t^{n}x ^{n}}{n!}}+\cdots\right)f(x)\,dx\\&=1+tm_{1}+{\frac {t^{2}m_{2}}{2 !}}+\cdots +{\frac {t^{n}m_{n}}{n!}}+\cdots ,\end{ausgerichtet}}}$

wo ist der te moment . ${\displaystyle m_{n}}$${\displaystyle n}$

Lineare Transformationen von Zufallsvariablen

Wenn die Zufallsvariable eine momenterzeugende Funktion hat , dann hat sie eine momenterzeugende Funktion${\displaystyle X}$${\displaystyle M_{X}(t)}$${\displaystyle \alpha X+\beta}$${\displaystyle M_{\alpha X+\beta}(t)=e^{\beta t}M_{X}(\alpha t)}$

${\displaystyle M_{\alpha X+\beta}(t)=E[e^{(\alpha X+\beta)t}]=e^{\beta t}E[e^{\alpha Xt}]=e ^{\beta t}M_{X}(\alpha t)}$

Linearkombination unabhängiger Zufallsvariablen

Falls , wo die X _i unabhängige Zufallsvariablen und die a _i Konstanten sind, dann wird die Wahrscheinlichkeitsdichtefunktion für S _n ist die Faltung der Wahrscheinlichkeitsdichtefunktionen von jedem der X _i und die Moment-Erzeugungsfunktion für S _n ist , gegeben von ${\displaystyle S_{n}=\sum_{i=1}^{n}a_{i}X_{i}}$

${\displaystyle M_{S_{n}}(t)=M_{X_{1}}(a_{1}t)M_{X_{2}}(a_{2}t)\cdots M_{X_{n} }(Ameise)\,.}$

Vektorbewertete Zufallsvariablen

Für vektorwertige Zufallsvariablen mit reellen Komponenten ist die momenterzeugende Funktion gegeben durch ${\displaystyle\mathbf{X}}$

${\displaystyle M_{X}(\mathbf{t})=E\left(e^{\langle\mathbf{t},\mathbf{X}\rangle}\right)}$

wobei ein Vektor und das Skalarprodukt ist . ${\displaystyle\mathbf{t}}$${\displaystyle\langle\cdot,\cdot\rangle}$

Wichtige Eigenschaften

Momenterzeugende Funktionen sind positiv und log-konvex mit M (0) = 1.

Eine wichtige Eigenschaft der momenterzeugenden Funktion ist, dass sie die Verteilung eindeutig bestimmt. Mit anderen Worten, wenn und sind zwei Zufallsvariablen und für alle Werte von  t , ${\displaystyle X}$${\displaystyle Y}$

${\displaystyle M_{X}(t)=M_{Y}(t),\,}$

dann

${\displaystyle F_{X}(x)=F_{Y}(x)\,}$

für alle Werte von x (oder entsprechend haben X und Y die gleiche Verteilung). Diese Aussage ist nicht äquivalent zu der Aussage "Wenn zwei Verteilungen die gleichen Momente haben, dann sind sie an allen Punkten gleich". Dies liegt daran, dass in einigen Fällen die Momente existieren und die momenterzeugende Funktion jedoch nicht, da der Grenzwert

${\displaystyle \lim_{n\rightarrow\infty}\sum_{i=0}^{n}{\frac {t^{i}m_{i}}{i!}}}$

kann nicht existieren. Die Log-Normalverteilung ist ein Beispiel dafür, wann dies auftritt.

Berechnungen von Momenten

Die momenterzeugende Funktion wird so genannt, denn wenn sie auf einem offenen Intervall um t  = 0 existiert, dann ist sie die exponentielle erzeugende Funktion der Momente der Wahrscheinlichkeitsverteilung :

${\displaystyle m_{n}=E\left(X^{n}\right)=M_{X}^{(n)}(0)=\left.{\frac {d^{n}M_{X }}{dt^{n}}}\right|_{t=0}.}$

Das heißt, wenn n eine nicht negative ganze Zahl ist, ist das n- te Moment um 0 die n- te Ableitung der momenterzeugenden Funktion, ausgewertet bei t = 0.

Andere Eigenschaften

Die Jensen-Ungleichung liefert eine einfache untere Schranke für die momenterzeugende Funktion:

${\displaystyle M_{X}(t)\geq e^{\mu t},}$

wo ist der Mittelwert von X . ${\displaystyle\mu}$

Die obere Begrenzung der momenterzeugenden Funktion kann in Verbindung mit der Markovschen Ungleichung verwendet werden, um den oberen Rand einer reellen Zufallsvariablen X zu begrenzen . Diese Aussage wird auch Chernoff-Schwelle genannt . Da für monoton steigend ist , gilt ${\displaystyle x\mapsto e^{xt}}$${\displaystyle t>0}$

${\displaystyle P(X\geq a)=P(e^{tX}\geq e^{ta})\leq e^{-at}E[e^{tX}]=e^{-at}M_ {X}(t)}$

für alle und alle a , sofern vorhanden. Wenn beispielsweise X eine Standardnormalverteilung und ist , können wir das auswählen und uns daran erinnern . Dies ergibt , was innerhalb eines Faktors von 1+ a des genauen Wertes liegt. ${\displaystyle t>0}$${\displaystyle M_{X}(t)}$${\displaystyle a>0}$${\displaystyle t=a}$${\displaystyle M_{X}(t)=e^{t^{2}/2}}$${\displaystyle P(X\geq a)\leq e^{-a^{2}/2}}$

Verschiedene Lemmata, wie das Hoeffding-Lemma oder die Bennett-Ungleichung, liefern Schranken für die momenterzeugende Funktion im Fall einer beschränkten Zufallsvariablen mit Nullmittelwert.

Wenn nicht negativ ist, liefert die momenterzeugende Funktion eine einfache, nützliche Schranke für die Momente: ${\displaystyle X}$

${\displaystyle E[X^{m}]\leq \left({\frac {m}{te}}\right)^{m}M_{X}(t),}$

Für alle und . ${\displaystyle X,m\geq 0}$${\displaystyle t>0}$

Dies folgt aus der einfachen Ungleichung, in die wir implizite für jede einsetzen können . Nun, wenn und , kann dies in neu angeordnet werden . Wenn man die Erwartung auf beiden Seiten nimmt, ergibt sich die Grenze in Bezug auf . ${\displaystyle 1+x\leq e^{x}}$${\displaystyle x'=tx/m-1}$${\displaystyle tx/m\leq e^{tx/m-1}}$${\displaystyle x,t,m\in\mathbb{R}}$${\displaystyle t>0}$${\displaystyle x,m\geq 0}$${\displaystyle x^{m}\leq (m/(te))^{m}e^{tx}}$${\displaystyle E[X^{m}]}$${\displaystyle E[e^{tX}]}$

Betrachten Sie als Beispiel mit Freiheitsgraden. Dann wissen wir es . Picken und Einstecken in die Bindung, wir bekommen ${\displaystyle X\sim {\text{Chi-Quadrat}}}$${\displaystyle k}$ ${\displaystyle M_{X}(t)=(1-2t)^{-k/2}}$${\displaystyle t=m/(2m+k)}$

${\displaystyle E[X^{m}]\leq (1+2m/k)^{k/2}e^{-m}(k+2m)^{m}.}$

Wir wissen, dass in diesem Fall die richtige Schranke ist . Um die Schranken zu vergleichen, können wir die Asymptotik für große betrachten . Hier ist die Mgf-Schranke , wo die reale Schranke ist . Die Mgf-Grenze ist in diesem Fall also sehr stark. ${\displaystyle E[X^{m}]\leq 2^{m}\Gamma (m+k/2)/\Gamma (k/2)}$${\displaystyle k}$${\displaystyle k^{m}(1+m^{2}/k+O(1/k^{2}))}$${\displaystyle k^{m}(1+(m^{2}-m)/k+O(1/k^{2}))}$

Beziehung zu anderen Funktionen

Im Zusammenhang mit der momenterzeugenden Funktion gibt es eine Reihe anderer Transformationen , die in der Wahrscheinlichkeitstheorie üblich sind:

Charakteristische Funktion

Die charakteristische Funktion ist auf die momenterzeugende Funktion bezogen, indem die charakteristische Funktion die momenterzeugende Funktion von iX oder die momenterzeugende Funktion von X ist, die auf der imaginären Achse ausgewertet wird. Diese Funktion kann auch als Fourier-Transformation der Wahrscheinlichkeitsdichtefunktion angesehen werden , die daher durch inverse Fourier-Transformation daraus abgeleitet werden kann.${\displaystyle \varphi_{X}(t)}$${\displaystyle \varphi_{X}(t)=M_{iX}(t)=M_{X}(it):}$

Cumulant-erzeugende Funktion

Die kumulative Funktion ist definiert als der Logarithmus der momenterzeugenden Funktion; einige definieren stattdessen die kumulierte erzeugende Funktion als den Logarithmus der charakteristischen Funktion , während andere letztere die zweite kumulierte erzeugende Funktion nennen.

Wahrscheinlichkeitserzeugende Funktion

Die wahrscheinlichkeitserzeugende Funktion ist definiert als Dies impliziert sofort, dass${\displaystyle G(z)=E\left[z^{X}\right].\,}$${\displaystyle G(e^{t})=E\left[e^{tX}\right]=M_{X}(t).\,}$

Siehe auch

• Entropischer Risikowert
• Faktorielle momenterzeugende Funktion
• Bewertungsfunktion
• Hamburger-Moment-Problem

Verweise

Zitate

Quellen