Zentraler Grenzwertsatz - Central limit theorem

In der Wahrscheinlichkeitstheorie stellt der zentrale Grenzwertsatz ( CLT ) fest, dass in vielen Situationen, wenn unabhängige Zufallsvariablen summiert werden, ihre ordnungsgemäß normalisierte Summe in Richtung einer Normalverteilung (informell einer Glockenkurve ) tendiert, selbst wenn die ursprünglichen Variablen selbst nicht normal sind verteilt. Das Theorem ist ein Schlüsselkonzept der Wahrscheinlichkeitstheorie, da es impliziert, dass probabilistische und statistische Methoden, die für Normalverteilungen funktionieren, auf viele Probleme mit anderen Verteilungstypen anwendbar sind. Dieser Satz hat während der formalen Entwicklung der Wahrscheinlichkeitstheorie viele Änderungen erfahren. Frühere Versionen des Theorems stammen aus dem Jahr 1811, aber in seiner modernen allgemeinen Form wurde dieses grundlegende Ergebnis der Wahrscheinlichkeitstheorie erst 1920 präzise formuliert und diente damit als Brücke zwischen der klassischen und der modernen Wahrscheinlichkeitstheorie.

Wenn sind Stichproben aus einer Population gezogen mit insgesamt mittlerer und endlichen Varianz , und wenn das ist Probe Mittelwert , dann ist die Grenzform der Verteilung , ist eine Standardnormalverteilung.

Nehmen Sie beispielsweise an, dass eine Stichprobe mit vielen Beobachtungen gewonnen wird , wobei jede Beobachtung auf eine Weise zufällig generiert wird, die nicht von den Werten der anderen Beobachtungen abhängt, und dass das arithmetische Mittel der beobachteten Werte berechnet wird. Wenn dieses Verfahren viele Male durchgeführt wird, sagt der zentrale Grenzwertsatz, dass die Wahrscheinlichkeitsverteilung des Mittelwerts einer Normalverteilung sehr nahe kommt. Ein einfaches Beispiel dafür ist, dass, wenn man eine Münze viele Male wirft , die Wahrscheinlichkeit, eine bestimmte Anzahl von Köpfen zu bekommen, sich einer Normalverteilung annähert, wobei der Mittelwert der Hälfte der Gesamtzahl der Würfe entspricht. An der Grenze einer unendlichen Anzahl von Flips entspricht es einer Normalverteilung.

Der zentrale Grenzwertsatz hat mehrere Varianten. In seiner üblichen Form müssen die Zufallsvariablen gleich verteilt sein. Bei Varianten kommt es auch bei nicht identischen Verteilungen oder bei nicht unabhängigen Beobachtungen zu einer Konvergenz des Mittelwertes zur Normalverteilung, wenn sie bestimmte Bedingungen erfüllen.

Die früheste Version dieses Satzes, dass die Normalverteilung als Annäherung an die Binomialverteilung verwendet werden kann , ist der Satz von de Moivre-Laplace .

Unabhängige Sequenzen

Eine Verteilung, die durch Summation "geglättet" wird , zeigt die ursprüngliche Verteilungsdichte und drei nachfolgende Summationen; siehe Abbildung des zentralen Grenzwertsatzes für weitere Details.
Unabhängig von der Form der Populationsverteilung tendiert die Stichprobenverteilung zu einer Gaußschen Verteilung, und ihre Streuung wird durch den zentralen Grenzwertsatz gegeben.

Klassisches CLT

Sei eine Zufallsstichprobe der Größe – d. h. eine Folge unabhängiger und identisch verteilter (iid) Zufallsvariablen, die aus einer Verteilung des Erwartungswerts gegeben durch und der endlichen Varianz durch gegeben werden . Angenommen, wir interessieren uns für den Stichprobendurchschnitt

dieser Zufallsvariablen. Nach dem Gesetz der großen Zahlen konvergieren die Stichprobenmittelwerte fast sicher (und daher auch in der Wahrscheinlichkeit ) gegen den Erwartungswert als . Der klassische zentrale Grenzwertsatz beschreibt die Größe und die Verteilungsform der stochastischen Fluktuationen um die deterministische Zahl während dieser Konvergenz. Genauer gesagt, heißt es , dass so größer wird, die Verteilung der Differenz zwischen dem Probendurchschnitt und seiner Grenze , wenn multipliziert mit dem Faktor ( das ist ) , die in etwa Normalverteilung mit Mittelwert 0 und Varianz . Wenn n groß genug ist , liegt die Verteilung von nahe bei der Normalverteilung mit Mittelwert und Varianz . Der Nutzen des Theorems besteht darin, dass sich die Verteilung der Normalität unabhängig von der Form der Verteilung des Individuums annähert . Formal lässt sich das Theorem wie folgt formulieren:

Lindeberg–Lévy CLT. Angenommen, es handelt sich um eine Folge von iid- Zufallsvariablen mit und . Dann, wenn sich Unendlich nähert, konvergieren die Zufallsvariablen in der Verteilung zu einer Normalen :

Im Fall , Verteilungskonvergenz bedeutet , dass die kumulativen Verteilungsfunktionen von Converge punktuellen auf die CDF der Verteilung: für jede reelle Zahl ,

wo ist die normale normale cdf ausgewertet bei . Die Konvergenz ist in dem Sinne einheitlich, dass

wobei bezeichnet die kleinste obere Grenze (oder das Supremum ) der Menge.

Lyapunov CLT

Der Satz ist nach dem russischen Mathematiker Aleksandr Lyapunov benannt . Bei dieser Variante des zentralen Grenzwertsatzes müssen die Zufallsvariablen unabhängig, aber nicht unbedingt gleich verteilt sein. Der Satz erfordert auch , dass Zufallsvariablen haben Momente von einer bestimmten Reihenfolge , und dass die Wachstumsrate dieser Momente wird durch den Lyapunov Zustand weiter unten begrenzt.

Lyapunov CLT. Angenommen, es handelt sich um eine Folge unabhängiger Zufallsvariablen mit jeweils endlichem Erwartungswert und endlicher Varianz . Definieren

Wenn für einige , Lyapunov Zustand

erfüllt ist, dann konvergiert eine Summe von Verteilungen gegen eine normale normale Zufallsvariable, wie sie ins Unendliche geht:

In der Praxis ist es normalerweise am einfachsten, den Zustand von Lyapunov auf zu überprüfen .

Erfüllt eine Folge von Zufallsvariablen die Lyapunov-Bedingung, so erfüllt sie auch die Lindeberg-Bedingung. Die umgekehrte Implikation gilt jedoch nicht.

Lindeberg CLT

In der gleichen Einstellung und mit der gleichen Notation wie oben kann die Lyapunov-Bedingung durch die folgende schwächere ersetzt werden (von Lindeberg 1920).

Angenommen, für alle

wo ist die anzeigefunktion . Dann ist die Verteilung der normierten Summen

konvergiert gegen die Standardnormalverteilung .

Mehrdimensionales CLT

Beweise, die charakteristische Funktionen verwenden, können auf Fälle ausgedehnt werden, in denen jedes Individuum ein Zufallsvektor in ist , mit mittlerem Vektor und Kovarianzmatrix (unter den Komponenten des Vektors), und diese Zufallsvektoren sind unabhängig und identisch verteilt. Die Summation dieser Vektoren erfolgt komponentenweise. Der mehrdimensionale zentrale Grenzwertsatz besagt, dass Summen, wenn sie skaliert werden, zu einer multivariaten Normalverteilung konvergieren .

Lassen

sei der k- Vektor. Fett gedruckt bedeutet, dass es sich um einen Zufallsvektor handelt, nicht um eine zufällige (univariate) Variable. Dann ist die Summe der Zufallsvektoren

und der Durchschnitt ist

und deshalb

Der multivariate zentrale Grenzwertsatz besagt, dass

wobei die Kovarianzmatrix gleich ist

Die Konvergenzrate wird durch das folgende Ergebnis vom Berry-Essen- Typ gegeben:

Satz. Seien unabhängige -wertige Zufallsvektoren, von denen jeder den Mittelwert Null hat. Schreiben und annehmen ist invertierbar. Sei ein -dimensionaler Gauß mit dem gleichen Mittelwert und der gleichen Kovarianzmatrix wie . Dann gilt für alle konvexen Mengen ,

wobei eine universelle Konstante, , und bezeichnet die euklidische Norm auf .

Es ist nicht bekannt, ob der Faktor notwendig ist.

Verallgemeinerter Satz

Der zentrale Grenzwertsatz besagt, dass die Summe einer Anzahl unabhängiger und gleich verteilter Zufallsvariablen mit endlichen Varianzen mit wachsender Variablenanzahl zu einer Normalverteilung tendiert . Eine Verallgemeinerung von Gnedenko und Kolmogorov besagt, dass die Summe einer Anzahl von Zufallsvariablen mit einem Potenzgesetz-Schwanz ( Paretian Tail ) Verteilungen abnimmt, wenn (und daher unendliche Varianz hat) zu einer stabilen Verteilung tendiert, wenn die Anzahl der Summanden wächst . Wenn dann die Summe gegen eine stabile Verteilung mit einem Stabilitätsparameter gleich 2 konvergiert , dh eine Gaußsche Verteilung.

Abhängige Prozesse

CLT unter schwacher Abhängigkeit

Eine sinnvolle Verallgemeinerung einer Folge unabhängiger, identisch verteilter Zufallsvariablen ist ein mischender Zufallsprozess in diskreter Zeit; "Mischen" bedeutet grob, dass zeitlich weit voneinander entfernte Zufallsvariablen nahezu unabhängig sind. In der Ergodentheorie und Wahrscheinlichkeitstheorie werden verschiedene Arten von Mischungen verwendet. Siehe besonders starke Mischung (auch α-Mischung genannt), definiert durch wobei der sogenannte starke Mischungskoeffizient ist .

Eine vereinfachte Formulierung des zentralen Grenzwertsatzes unter starker Mischung lautet:

Satz. Angenommen, das ist stationär und mischt sich mit und das und . Bezeichne , dann die Grenze

existiert, und wenn dann in der Verteilung gegen konvergiert .

Eigentlich,

wobei die Reihe absolut konvergiert.

Die Annahme kann nicht weggelassen werden, da die asymptotische Normalität dort versagt, wo eine weitere stationäre Folge ist .

Es ist eine stärkere Version des Satzes: die Annahme , mit ersetzt wird , und die Annahme , wird ersetzt durch

Das Vorhandensein solcher sichert den Schluss. Zur enzyklopädischen Behandlung von Grenzwertsätzen unter Mischbedingungen siehe ( Bradley 2007 ).

Martingaldifferenz CLT

Satz . Lass ein Martingal befriedigen

  • mit Wahrscheinlichkeit als n → ∞ ,
  • für jedes ε > 0 , da n → ∞ ,

dann konvergiert in der Verteilung zu as .

Achtung: Der eingeschränkte Erwartungswert darf nicht mit dem bedingten Erwartungswert verwechselt werden .

Bemerkungen

Nachweis klassischer CLT

Der zentrale Grenzwertsatz hat einen Beweis mit charakteristischen Funktionen . Es ist vergleichbar mit dem Beweis des (schwachen) Gesetzes der großen Zahlen .

Angenommen, es handelt sich um unabhängige und identisch verteilte Zufallsvariablen mit jeweils mittlerer und endlicher Varianz . Die Summe hat Mittelwert und Varianz . Betrachten Sie die Zufallsvariable

wobei wir im letzten Schritt die neuen Zufallsvariablen definiert haben , jede mit Nullmittelwert und Einheitsvarianz ( ). Die charakteristische Funktion von ist gegeben durch

wobei wir im letzten Schritt die Tatsache genutzt haben, dass alle gleich verteilt sind. Die charakteristische Funktion ist, die von Taylor-Theorem ,

wo ist " kleine o- Notation " für eine Funktion , die schneller auf Null geht als . Durch den Grenzwert der Exponentialfunktion ( ) ist die charakteristische Funktion von gleich

Alle Terme höherer Ordnung verschwinden im Limit . Die rechte Seite ist gleich die charakteristische Funktion einer Standardnormalverteilung , die durch impliziert Lévys Stetigkeitssatz , dass die Verteilung des Ansatz wird als . Daher ist der Stichprobendurchschnitt

ist so

konvergiert gegen die Normalverteilung , woraus der zentrale Grenzwertsatz folgt.

Konvergenz am Limit

Der zentrale Grenzwertsatz liefert nur eine asymptotische Verteilung . Als Näherung für eine endliche Anzahl von Beobachtungen liefert sie nur dann eine vernünftige Näherung, wenn sie sich nahe der Spitze der Normalverteilung befindet; es erfordert eine sehr große Anzahl von Beobachtungen, um sich in die Schwänze hinein zu erstrecken.

Die Konvergenz im zentralen Grenzwertsatz ist gleichmäßig, da die begrenzende kumulative Verteilungsfunktion stetig ist. Wenn der dritte zentrale Moment vorhanden ist, und endlich ist , dann ist die Geschwindigkeit der Konvergenz mindestens in der Größenordnung von (siehe Berry-Esseen Theorem ). Die Methode von Stein kann nicht nur verwendet werden, um den zentralen Grenzwertsatz zu beweisen, sondern auch, um die Konvergenzraten für ausgewählte Metriken zu begrenzen.

Die Konvergenz zur Normalverteilung ist monoton, in dem Sinne, dass die Entropie von monoton auf die der Normalverteilung ansteigt .

Der zentrale Grenzwertsatz gilt insbesondere für Summen unabhängiger und gleichverteilter diskreter Zufallsvariablen . Eine Summe diskreter Zufallsvariablen ist immer noch eine diskrete Zufallsvariable , so dass wir es mit einer Folge von diskreten Zufallsvariablen zu tun haben, deren kumulative Wahrscheinlichkeitsverteilungsfunktion gegen eine kumulative Wahrscheinlichkeitsverteilungsfunktion konvergiert, die einer stetigen Variablen (nämlich der der Normalverteilung ) entspricht. . Dies bedeutet, dass, wenn wir ein Histogramm der Realisierungen der Summe von n unabhängigen identischen diskreten Variablen erstellen , die Kurve, die die Mittelpunkte der oberen Flächen der das Histogramm bildenden Rechtecke verbindet, in Richtung einer Gaußschen Kurve konvergiert, wenn n sich der Unendlichkeit nähert, diese Beziehung ist bekannt als De-Moivre-Laplace-Theorem . Der Artikel zur Binomialverteilung beschreibt eine solche Anwendung des zentralen Grenzwertsatzes im einfachen Fall einer diskreten Variablen, die nur zwei mögliche Werte annimmt.

Verhältnis zum Gesetz der großen Zahlen

Das Gesetz der großen Zahlen sowie der zentrale Grenzwertsatz sind Teillösungen eines allgemeinen Problems: "Was ist das Grenzverhalten von S n, wenn n gegen Unendlich geht?" In der mathematischen Analyse sind asymptotische Reihen eines der beliebtesten Werkzeuge, um sich solchen Fragen zu nähern.

Angenommen, wir haben eine asymptotische Entwicklung von :

Wenn man beide Teile durch 1 ( n ) teilt und den Grenzwert nimmt, erhält man a 1 , den Koeffizienten des Termes höchster Ordnung in der Entwicklung, der die Geschwindigkeit darstellt, mit der sich f ( n ) in seinem führenden Term ändert.

Formlos, kann man sagen: " f ( n ) wächst etwa wie ein 1 φ 1 ( n ) ". Wenn wir die Differenz zwischen f ( n ) und seiner Näherung nehmen und dann durch den nächsten Term in der Entwicklung dividieren, erhalten wir eine verfeinerte Aussage über f ( n ) :

Hier kann man sagen , dass die Differenz zwischen der Funktion und ihrer Annäherung wie etwa wächst ein 2 φ 2 ( n ) . Die Idee ist, dass das Teilen der Funktion durch geeignete Normalisierungsfunktionen und das Betrachten des Grenzverhaltens des Ergebnisses uns viel über das Grenzverhalten der ursprünglichen Funktion selbst sagen können.

Informell geschieht etwas in diese Richtung, wenn man die Summe S n von unabhängigen, gleichverteilten Zufallsvariablen X 1 , …, X n in der klassischen Wahrscheinlichkeitstheorie untersucht. Wenn jedes X i einen endlichen Mittelwert μ hat , dann gilt nach dem Gesetz der großen Zahlen S nein/nμ . Hat zusätzlich jedes X i endliche Varianz σ 2 , dann gilt nach dem zentralen Grenzwertsatz

wobei ξ als N (0, σ 2 ) verteilt ist . Dies liefert Werte der ersten beiden Konstanten in der informellen Expansion

Für den Fall, dass die X i keinen endlichen Mittelwert oder keine endliche Varianz haben, kann eine Konvergenz der verschobenen und neu skalierten Summe auch mit unterschiedlichen Zentrierungs- und Skalierungsfaktoren auftreten:

oder informell

Verteilungen Ξ, die auf diese Weise entstehen können, heißen stabil . Natürlich ist die Normalverteilung stabil, aber es gibt auch andere stabile Verteilungen, wie die Cauchy-Verteilung , für die der Mittelwert oder die Varianz nicht definiert sind. Der Skalierungsfaktor b n kann proportional zu n c sein , für jedes c1/2; sie kann auch mit einer sich langsam ändernden Funktion von n multipliziert werden .

Das Gesetz des iterierten Logarithmus gibt an, was "zwischen" dem Gesetz der großen Zahlen und dem zentralen Grenzwertsatz passiert . Konkret heißt es, dass die Normalisierungsfunktion n log log n , deren Größe zwischen n des Gesetzes der großen Zahlen und n des zentralen Grenzwertsatzes liegt, ein nichttriviales Grenzverhalten liefert.

Alternative Aussagen des Theorems

Dichtefunktionen

Die Dichte der Summe von zwei oder mehr unabhängigen Variablen ist die Faltung ihrer Dichten (sofern diese Dichten existieren). Somit kann der zentrale Grenzwertsatz als Aussage über die Eigenschaften von Dichtefunktionen unter Faltung interpretiert werden: Die Faltung einer Anzahl von Dichtefunktionen tendiert zur Normaldichte, wenn die Anzahl der Dichtefunktionen unbegrenzt zunimmt. Diese Sätze erfordern stärkere Hypothesen als die oben angegebenen Formen des zentralen Grenzwertsatzes. Sätze dieser Art werden oft als lokale Grenzwertsätze bezeichnet. Siehe Petrov für einen bestimmten lokalen Grenzwertsatz für Summen unabhängiger und identisch verteilter Zufallsvariablen .

Charakteristische Funktionen

Da die charakteristische Funktion einer Faltung das Produkt der charakteristischen Funktionen der beteiligten Dichten ist, hat der zentrale Grenzwertsatz noch eine weitere Umformulierung: Das Produkt der charakteristischen Funktionen mehrerer Dichtefunktionen nähert sich der charakteristischen Funktion der Normaldichte mit steigender Zahl der Dichtefunktionen unter den oben genannten Bedingungen. Insbesondere muss ein geeigneter Skalierungsfaktor auf das Argument der charakteristischen Funktion angewendet werden.

Eine äquivalente Aussage kann über Fourier-Transformationen gemacht werden , da die charakteristische Funktion im Wesentlichen eine Fourier-Transformation ist.

Berechnung der Varianz

Sei S n die Summe von n Zufallsvariablen. Viele zentrale Grenzwertsätze liefern Bedingungen, so dass S n / Var( S n ) in der Verteilung gegen N (0,1) (die Normalverteilung mit Mittelwert 0, Varianz 1) als n → ∞ konvergiert . In einigen Fällen ist es möglich , eine Konstante zu finden , σ 2 und die Funktion f (n) , so daß S n / (σ n⋅f ( n ) ) konvergiert in Verteilung N (0,1) als n → ∞ .

Lemma. Angenommen, es handelt sich um eine Folge reellwertiger und streng stationärer Zufallsvariablen mit für alle , , und . Konstruieren

  1. If ist absolut konvergent, , und dann als where .
  2. Wenn zusätzlich und in der Verteilung gegen as konvergiert, dann konvergiert auch in der Verteilung gegen as .

Erweiterungen

Produkte positiver Zufallsvariablen

Der Logarithmus eines Produkts ist einfach die Summe der Logarithmen der Faktoren. Wenn sich daher der Logarithmus eines Produkts von Zufallsvariablen, die nur positive Werte annehmen, einer Normalverteilung nähert, nähert sich das Produkt selbst einer logarithmischen Normalverteilung . Viele physikalische Größen (insbesondere Masse oder Länge, die eine Maßstabssache sind und nicht negativ sein können) sind das Produkt verschiedener Zufallsfaktoren , folgen also einer logarithmischen Normalverteilung. Diese multiplikative Version des zentralen Grenzwertsatzes wird manchmal als Gibrats-Gesetz bezeichnet .

Während der zentrale Grenzwertsatz für Summen von Zufallsvariablen die Bedingung der endlichen Varianz erfordert, erfordert der entsprechende Satz für Produkte die entsprechende Bedingung, dass die Dichtefunktion quadratintegrierbar ist.

Jenseits des klassischen Rahmens

Asymptotische Normalität, dh Konvergenz zur Normalverteilung nach entsprechender Verschiebung und Neuskalierung, ist ein viel allgemeineres Phänomen als das oben behandelte klassische Framework, nämlich Summen unabhängiger Zufallsvariablen (oder Vektoren). Von Zeit zu Zeit werden neue Frameworks enthüllt; Derzeit ist kein einziges vereinheitlichendes Framework verfügbar.

Konvexer Körper

Satz. Es gibt eine Folge ε n 0 ↓ für die gilt. Lassen n ≥ 1 , und lassen Zufallsvariablen X 1 , ..., X n eine log-konkave Gelenk Dichte f , so daß f ( x 1 , ..., x n ) = f (| x 1 |, ..., | x n | ) für alle x 1 , …, x n und E( X2
k
) = 1
für alle k = 1, …, n . Dann ist die Verteilung von

ist ε n -Schließen bis N (0,1) in der gesamten Variation Abstand .

Diese beiden ε n -nahen Verteilungen haben Dichten (tatsächlich log-konkave Dichten), daher ist der Gesamtvarianzabstand zwischen ihnen das Integral des Absolutwerts der Differenz zwischen den Dichten. Die Konvergenz der Gesamtvariation ist stärker als die schwache Konvergenz.

Ein wichtiges Beispiel für eine log-konkave Dichte ist eine Funktionskonstante innerhalb eines gegebenen konvexen Körpers und verschwindet außerhalb; sie entspricht der Gleichverteilung auf dem konvexen Körper, was den Begriff "zentraler Grenzwertsatz für konvexe Körper" erklärt.

Ein weiteres Beispiel: f ( x 1 , …, x n ) = const · exp(−(| x 1 | α + ⋯ + | x n | α ) β ) wobei α > 1 und αβ > 1 . Wenn β = 1 dann wird f ( x 1 , …, x n ) in const · exp (−| x 1 | α ) … exp(−| x n | α ) zerlegt , was bedeutet, dass X 1 , …, X n unabhängig sind . Im Allgemeinen sind sie jedoch abhängig.

Die Bedingung f ( x 1 , …, x n ) = f (| x 1 |, …, | x n |) stellt sicher, dass X 1 , …, X n vom Mittelwert null und unkorreliert sind ; dennoch müssen sie weder unabhängig noch paarweise unabhängig sein . Übrigens kann die paarweise Unabhängigkeit die Unabhängigkeit im klassischen zentralen Grenzwertsatz nicht ersetzen.

Hier ist ein Ergebnis vom Typ Berry–Essen .

Satz. Seien X 1 , …, X n die Voraussetzungen des vorherigen Satzes, dann

für alle a < b ; hier ist C eine universelle (absolute) Konstante . Darüber hinaus wird für jeden c 1 , ..., c nr so dass c2
1
+ ⋯ + c2
n
= 1
,

Die Verteilung von X 1 + ⋯ + X n/neinmuss nicht ungefähr normal sein (eigentlich kann es einheitlich sein). Allerdings liegt die Verteilung von c 1 X 1 + ⋯ + c n X n nahe bei N (0,1) (im gesamten Variationsabstand) für die meisten Vektoren ( c 1 , …, c n ) gemäß der Gleichverteilung auf die Kugel c2
1
+ … + c2
n
= 1
.

Lakunäre trigonometrische Reihen

Satz ( SalemZygmund ): Sei U eine gleichmäßig auf (0,2π) verteilte Zufallsvariable und X k = r k cos( n k U + a k ) , wobei

  • n k die Lakunarität Bedingung erfüllen: es existiert q > 1 ist, so dass n k + 1qn k für alle k ,
  • r k sind so, dass
  • 0 a k < 2π .

Dann

konvergiert in der Verteilung gegen N (0,1/2) .

Gaußsche Polytope

Satz: Seien A 1 , …, A n unabhängige zufällige Punkte auf der Ebene 2 mit jeweils zweidimensionaler Standardnormalverteilung. Sei K n die konvexe Hülle dieser Punkte und X n der Flächeninhalt von K n Dann

konvergiert in der Verteilung gegen N (0,1), da n gegen Unendlich strebt.

Das gleiche gilt auch in allen Dimensionen größer als 2.

Das Polytop K n wird als Gaußsches Zufallspolytop bezeichnet.

Ein ähnliches Ergebnis gilt für die Anzahl der Ecken (des Gaußschen Polytops), die Anzahl der Kanten und tatsächlich Flächen aller Dimensionen.

Lineare Funktionen orthogonaler Matrizen

Eine lineare Funktion einer Matrix M ist eine Linearkombination ihrer Elemente (mit gegebenen Koeffizienten), M ↦ tr( AM ) wobei A die Matrix der Koeffizienten ist; siehe Trace (lineare Algebra)#Inneres Produkt .

Eine zufällige orthogonale Matrix heißt gleichmäßig verteilt, wenn ihre Verteilung das normalisierte Haar-Maß auf der orthogonalen Gruppe O( n , ) ist ; siehe Rotationsmatrix#Einheitliche zufällige Rotationsmatrizen .

Satz. Sei M eine zufällig verteilte orthogonale n × n- Matrix und A eine feste n × n- Matrix mit tr( AA *) = n , und sei X = tr( AM ) . Dann liegt die Verteilung von X nahe bei N (0,1) in der Gesamtvariationsmetrik bis zu2 3/n − 1.

Unterfolgen

Satz. Seien Zufallsvariablen X 1 , X 2 , … ∈ L 2 (Ω) so, dass X n → 0 schwach in L 2 (Ω) und X
n
→ 1
schwach in L 1 (Ω) . Dann gibt es ganze Zahlen n 1 < n 2 < ⋯ mit

konvergiert in der Verteilung gegen N (0,1), da k gegen Unendlich strebt.

Random Walk auf einem Kristallgitter

Der zentrale Grenzwertsatz kann für den einfachen Random Walk auf einem Kristallgitter (ein unendlich-faltiger abelscher überdeckender Graph über einem endlichen Graphen) aufgestellt werden und wird für das Design von Kristallstrukturen verwendet.

Anwendungen und Beispiele

Einfaches Beispiel

Diese Abbildung demonstriert den zentralen Grenzwertsatz. Die Stichprobenmittelwerte werden mit einem Zufallszahlengenerator erzeugt, der Zahlen zwischen 0 und 100 aus einer gleichmäßigen Wahrscheinlichkeitsverteilung zieht. Es zeigt, dass steigende Stichprobengrößen dazu führen, dass die 500 gemessenen Stichprobenmittelwerte enger um den Mittelwert der Grundgesamtheit (in diesem Fall 50) verteilt sind. Es vergleicht auch die beobachteten Verteilungen mit den Verteilungen, die für eine normalisierte Gaußsche Verteilung zu erwarten wären, und zeigt die Chi-Quadrat- Werte an, die die Güte der Anpassung quantifizieren (die Anpassung ist gut, wenn der reduzierte Chi-Quadrat- Wert kleiner oder ungefähr gleich eins). Die Eingabe in die normalisierte Gaußsche Funktion ist der Mittelwert der Stichprobenmittelwerte (~50) und die mittlere Stichprobenstandardabweichung geteilt durch die Quadratwurzel der Stichprobengröße (~28,87/ n ), die als Standardabweichung des Mittelwerts bezeichnet wird ( da es sich auf die Streuung der Stichprobenmittelwerte bezieht).

Ein einfaches Beispiel für den zentralen Grenzwertsatz ist das Rollen vieler identischer, unvoreingenommener Würfel. Die Verteilung der Summe (oder des Durchschnitts) der gewürfelten Zahlen wird durch eine Normalverteilung gut angenähert. Da reale Größen oft die ausgeglichene Summe vieler unbeobachteter Zufallsereignisse sind, liefert der zentrale Grenzwertsatz auch eine teilweise Erklärung für die Prävalenz der normalen Wahrscheinlichkeitsverteilung. Dies rechtfertigt auch die Annäherung von Statistiken großer Stichproben an die Normalverteilung in kontrollierten Experimenten.

Vergleich von Wahrscheinlichkeitsdichtefunktionen, ** p ( k ) für die Summe von n fairen 6-seitigen Würfeln, um ihre Konvergenz zu einer Normalverteilung mit zunehmendem n gemäß dem zentralen Grenzwertsatz zu zeigen. Im unteren rechten Graphen werden geglättete Profile der vorherigen Graphen neu skaliert, überlagert und mit einer Normalverteilung (schwarze Kurve) verglichen.
Eine andere Simulation unter Verwendung der Binomialverteilung. Zufällige Nullen und Einsen wurden generiert und dann ihre Mittelwerte für Stichprobengrößen im Bereich von 1 bis 512 berechnet. Beachten Sie, dass mit zunehmender Stichprobengröße die Ausläufer dünner werden und sich die Verteilung um den Mittelwert konzentriert.

Echte Anwendungen

Die veröffentlichte Literatur enthält eine Reihe nützlicher und interessanter Beispiele und Anwendungen zum zentralen Grenzwertsatz. Eine Quelle nennt folgende Beispiele:

  • Die Wahrscheinlichkeitsverteilung für die bei einem Random Walk zurückgelegte Gesamtstrecke (verzerrt oder unverzerrt) tendiert zu einer Normalverteilung .
  • Das Werfen vieler Münzen führt zu einer normalen Verteilung der Gesamtzahl der Köpfe (oder entsprechend der Gesamtzahl der Zahl).

Von einem anderen Standpunkt aus erklärt der zentrale Grenzwertsatz das übliche Auftreten der "Glockenkurve" in Dichteschätzungen, die auf Daten der realen Welt angewendet werden. In Fällen wie elektronischem Rauschen, Prüfungsnoten usw. können wir einen einzelnen Messwert oft als gewichteten Durchschnitt vieler kleiner Effekte betrachten. Unter Verwendung von Verallgemeinerungen des zentralen Grenzwertsatzes können wir dann sehen, dass dies oft (wenn auch nicht immer) eine Endverteilung ergibt, die näherungsweise normal ist.

Generell gilt: Je mehr eine Messung wie die Summe unabhängiger Variablen mit gleichem Einfluss auf das Ergebnis ist, desto mehr Normalität weist sie auf. Dies rechtfertigt die übliche Verwendung dieser Verteilung, um die Auswirkungen unbeobachteter Variablen in Modellen wie dem linearen Modell zu vertreten .

Rückschritt

Die Regressionsanalyse und insbesondere die gewöhnlichen kleinsten Quadrate geben an, dass eine abhängige Variable gemäß einer Funktion von einer oder mehreren unabhängigen Variablen mit einem additiven Fehlerterm abhängt . Verschiedene Arten der statistischen Inferenz der Regression gehen davon aus, dass der Fehlerterm normalverteilt ist. Diese Annahme kann durch die Annahme begründet werden, dass der Fehlerterm tatsächlich die Summe vieler unabhängiger Fehlerterme ist; selbst wenn die einzelnen Fehlerterme nicht normalverteilt sind, kann ihre Summe nach dem zentralen Grenzwertsatz gut normalverteilt angenähert werden.

Andere Abbildungen

Aufgrund seiner Bedeutung für die Statistik sind eine Reihe von Aufsätzen und Computerpaketen verfügbar, die die Konvergenz des zentralen Grenzwertsatzes demonstrieren.

Geschichte

Der niederländische Mathematiker Henk Tijms schreibt:

Der zentrale Grenzwertsatz hat eine interessante Geschichte. Die erste Version dieses Theorems wurde von dem in Frankreich geborenen Mathematiker Abraham de Moivre postuliert , der in einem bemerkenswerten Artikel aus dem Jahr 1733 die Normalverteilung benutzte, um die Verteilung der Anzahl der Köpfe, die sich aus vielen Würfen einer fairen Münze ergibt, zu approximieren. Dieser Befund war seiner Zeit weit voraus und geriet fast in Vergessenheit, bis ihn der berühmte französische Mathematiker Pierre-Simon Laplace in seinem monumentalen Werk Théorie analytique des probabilités , das 1812 veröffentlicht wurde, aus der Dunkelheit rettete. Laplace erweiterte De Moivres Befund um die Annäherung an das Binomial Verteilung mit der Normalverteilung. Aber wie bei De Moivre fand Laplaces Entdeckung zu seiner Zeit wenig Beachtung. Erst am Ende des 19. Jahrhunderts wurde die Bedeutung des zentralen Grenzwertsatzes erkannt, als der russische Mathematiker Aleksandr Lyapunov 1901 ihn allgemein definierte und seine mathematische Funktionsweise genau bewies. Der zentrale Grenzwertsatz gilt heute als inoffizieller Souverän der Wahrscheinlichkeitstheorie.

Sir Francis Galton hat den zentralen Grenzwertsatz folgendermaßen beschrieben:

Ich kenne kaum etwas, das die Vorstellungskraft so beeindrucken könnte, wie die wunderbare Form der kosmischen Ordnung, die durch das "Gesetz der Fehlerhäufigkeit" ausgedrückt wird. Das Gesetz wäre von den Griechen personifiziert und vergöttlicht worden, wenn sie davon gewusst hätten. Es regiert mit Gelassenheit und in völliger Selbstauslöschung inmitten der wildesten Verwirrung. Je größer der Mob und je größer die scheinbare Anarchie, desto perfekter ist seine Herrschaft. Es ist das höchste Gesetz der Unvernunft. Immer wenn eine große Stichprobe chaotischer Elemente in die Hand genommen und der Größenordnung nach geordnet wird, erweist sich eine ungeahnte und schönste Form der Regelmäßigkeit als latent vorhanden.

Der eigentliche Begriff „zentraler Grenzwertsatz“ wurde erstmals 1920 von George Pólya im Titel einer Arbeit verwendet. Pólya bezeichnete den Satz aufgrund seiner Bedeutung in der Wahrscheinlichkeitstheorie als "zentral". Laut Le Cam interpretiert die französische Wahrscheinlichkeitsschule das Wort zentral in dem Sinne, dass "es das Verhalten des Zentrums der Verteilung im Gegensatz zu seinen Schwänzen beschreibt". Die Zusammenfassung des Aufsatzes Über den zentralen Grenzwertsatz der Wahrscheinlichkeitsrechnung und das Momentenproblem von Pólya aus dem Jahr 1920 lautet wie folgt.

Das Auftreten der Gaußschen Wahrscheinlichkeitsdichte 1 = e x 2 bei wiederholten Experimenten, bei Messfehlern, die zur Kombination von sehr vielen und sehr kleinen Elementarfehlern führen, bei Diffusionsprozessen etc. durch den gleichen Grenzwertsatz bekannt, der in der Wahrscheinlichkeitsrechnung eine zentrale Rolle spielt. Der eigentliche Entdecker dieses Grenzwertsatzes soll Laplace heißen; es ist wahrscheinlich, dass sein strenger Beweis zuerst von Tschebyscheff gegeben wurde und seine schärfste Formulierung, soweit mir bekannt ist, in einem Artikel von Liapounoff gefunden wird . ...

Hald liefert eine gründliche Darstellung der Geschichte des Theorems, in der Laplaces grundlegende Arbeit sowie die Beiträge von Cauchy , Bessel und Poisson detailliert beschrieben werden . Zwei historische Berichte, einer über die Entwicklung von Laplace bis Cauchy, der zweite die Beiträge von Mises , Pólya , Lindeberg , Lévy und Cramér während der 1920er Jahre, werden von Hans Fischer gegeben. Le Cam beschreibt eine Zeit um 1935. Bernstein präsentiert eine historische Diskussion, die sich auf das Werk von Pafnuty Chebyshev und seinen Schülern Andrey Markov und Aleksandr Lyapunov konzentriert , das zu den ersten Beweisen des CLT in einem allgemeinen Rahmen führte.

Eine merkwürdige Fußnote zur Geschichte des Zentralen Grenzwertsatzes ist, dass ein Beweis für ein ähnliches Ergebnis wie das Lindeberg CLT von 1922 Gegenstand von Alan Turings 1934 Fellowship Dissertation für das King's College an der University of Cambridge war . Erst nach Abgabe der Arbeit erfuhr Turing, dass sie bereits bewiesen war. Folglich wurde Turings Dissertation nicht veröffentlicht.

Siehe auch

Anmerkungen

Verweise

Externe Links