Unabhängigkeit (Wahrscheinlichkeitstheorie) - Independence (probability theory)

Unabhängigkeit ist ein grundlegender Begriff in der Wahrscheinlichkeitstheorie , ebenso wie in der Statistik und der Theorie stochastischer Prozesse .

Zwei Ereignisse sind unabhängig , statistisch unabhängig , oder stochastisch unabhängig , wenn das Auftreten eines nicht die Wahrscheinlichkeit des Auftretens des anderen beeinflussen (äquivalent beeinflusst nicht die Gewinnchancen ). Ebenso sind zwei Zufallsvariablen unabhängig, wenn die Realisierung der einen die Wahrscheinlichkeitsverteilung der anderen nicht beeinflusst .

Bei Sammlungen von mehr als zwei Ereignissen muss zwischen einem schwachen und einem starken Unabhängigkeitsbegriff unterschieden werden. Die Ereignisse werden paarweise unabhängig genannt, wenn zwei beliebige Ereignisse in der Sammlung voneinander unabhängig sind, während die Aussage, dass die Ereignisse gegenseitig unabhängig (oder kollektiv unabhängig ) sind, intuitiv bedeutet, dass jedes Ereignis unabhängig von jeder Kombination anderer Ereignisse in der Sammlung ist. Ein ähnlicher Begriff existiert für Sammlungen von Zufallsvariablen.

Der Name "gegenseitige Unabhängigkeit" (wie "kollektive Unabhängigkeit") scheint das Ergebnis einer Bildungsentscheidung zu sein, nur um den stärkeren Begriff von "paarweiser Unabhängigkeit" zu unterscheiden, der ein schwächerer Begriff ist. In der fortgeschrittenen Literatur der Wahrscheinlichkeitstheorie, Statistik und stochastischen Prozesse wird der stärkere Begriff einfach als Unabhängigkeit ohne Modifikator bezeichnet. Sie ist stärker, da Unabhängigkeit paarweise Unabhängigkeit impliziert, aber nicht umgekehrt.

Definition

Für Veranstaltungen

Zwei Veranstaltungen

Zwei Ereignisse und sind unabhängig (oft als oder geschrieben ) genau dann, wenn ihre gemeinsame Wahrscheinlichkeit gleich dem Produkt ihrer Wahrscheinlichkeiten ist:

 

 

 

 

( Gl.1 )

Warum dies Unabhängigkeit definiert, wird durch Umschreiben mit bedingten Wahrscheinlichkeiten deutlich :

und ähnlich

Somit beeinflusst das Auftreten von nicht die Wahrscheinlichkeit von und umgekehrt. Obwohl die abgeleitete Ausdrücke intuitive erscheinen mag, sie nicht die bevorzugte Definition ist, wie die bedingten Wahrscheinlichkeiten , wenn seine undefiniert können oder 0 ist Weiterhin macht es die bevorzugte Definition klar durch Symmetrie , dass , wenn unabhängig von ist , ist auch unabhängig von .

Log-Wahrscheinlichkeit und Informationsgehalt

Bezogen auf die Log-Wahrscheinlichkeit sind zwei Ereignisse genau dann unabhängig, wenn die Log-Wahrscheinlichkeit des gemeinsamen Ereignisses die Summe der Log-Wahrscheinlichkeit der einzelnen Ereignisse ist:

In der Informationstheorie wird die negative Log-Wahrscheinlichkeit als Informationsgehalt interpretiert , und somit sind zwei Ereignisse genau dann unabhängig, wenn der Informationsgehalt des kombinierten Ereignisses gleich der Summe des Informationsgehalts der einzelnen Ereignisse ist:

Siehe Informationsinhalt § Additivität unabhängiger Ereignisse für Details.

Chancen

In Bezug auf die Quoten ausgedrückt sind zwei Ereignisse genau dann unabhängig, wenn das Quotenverhältnis von und eins ist (1). Analog zur Wahrscheinlichkeit ist dies gleichbedeutend damit, dass die bedingten Quoten gleich den unbedingten Quoten sind:

oder dass die Quoten eines Ereignisses, sofern das andere Ereignis gleich den Quoten des Ereignisses ist, wenn das andere Ereignis nicht eintritt:

Das Odds Ratio kann definiert werden als

oder symmetrisch für Quoten von gegeben , und ist somit 1 genau dann, wenn die Ereignisse unabhängig sind.

Mehr als zwei Veranstaltungen

Eine endliche Menge von Ereignissen ist paarweise unabhängig , wenn jedes Paar von Ereignissen ist unabhängig, das heißt, wenn und nur dann , wenn für alle verschiedenen Paare von Indizes ,

 

 

 

 

( Gl.2 )

Eine endliche Menge von Ereignissen ist wechselseitig unabhängig, wenn jedes Ereignis unabhängig von jedem Schnittpunkt der anderen Ereignisse ist – d. h. genau dann, wenn für jede und für jede Teilmenge von Ereignissen von ,

 

 

 

 

( Gl.3 )

Dies wird als Multiplikationsregel für unabhängige Ereignisse bezeichnet. Beachten Sie, dass es sich nicht um eine einzelne Bedingung handelt, die nur das Produkt aller Wahrscheinlichkeiten aller Einzelereignisse umfasst; sie muss für alle Teilmengen von Ereignissen gelten.

Bei mehr als zwei Ereignissen ist eine voneinander unabhängige Menge von Ereignissen (per Definition) paarweise unabhängig; aber das Umgekehrte ist nicht unbedingt wahr .

Für reellwertige Zufallsvariablen

Zwei Zufallsvariablen

Zwei Zufallsvariablen und sind genau dann unabhängig, wenn (iff) die von ihnen erzeugten Elemente des π-Systems unabhängig sind; das heißt, für jedes und sind die Ereignisse und unabhängige Ereignisse (wie oben in Gleichung 1 definiert ). Das heißt, und bei kumulativen Verteilungsfunktionen sind und unabhängig genau dann , wenn die kombinierte Zufallsvariable eine gemeinsame kumulative Verteilungsfunktion hat

 

 

 

 

( Gl.4 )

oder äquivalent, wenn die Wahrscheinlichkeitsdichten und und die gemeinsame Wahrscheinlichkeitsdichte existieren,

Mehr als zwei Zufallsvariablen

Eine endliche Menge von Zufallsvariablen ist genau dann paarweise unabhängig, wenn jedes Paar von Zufallsvariablen unabhängig ist. Auch wenn die Menge der Zufallsvariablen paarweise unabhängig ist, ist sie nicht notwendigerweise voneinander unabhängig, wie im Folgenden definiert.

Eine endliche Menge von Zufallsvariablen ist genau dann voneinander unabhängig, wenn für eine beliebige Zahlenfolge die Ereignisse voneinander unabhängige Ereignisse sind (wie oben in Gleichung 3 definiert ). Dies entspricht der folgenden Bedingung für die gemeinsame kumulative Verteilungsfunktion . Eine endliche Menge von Zufallsvariablen ist genau dann unabhängig voneinander, wenn

 

 

 

 

( Gl. 5 )

Beachten Sie, dass es hier nicht notwendig ist zu verlangen, dass die Wahrscheinlichkeitsverteilung für alle möglichen -elementigen Teilmengen faktorisiert wird, wie dies bei Ereignissen der Fall ist . Dies ist nicht erforderlich, da zB impliziert .

Der maßtheoretisch Veranlagte mag es vorziehen, Ereignisse durch Ereignisse in der obigen Definition zu ersetzen , wobei eine beliebige Borel-Menge ist . Diese Definition entspricht genau der obigen, wenn die Werte der Zufallsvariablen reelle Zahlen sind . Es hat den Vorteil, dass es auch für komplexwertige Zufallsvariablen funktioniert oder für Zufallsvariablen, die Werte in jedem messbaren Raum annehmen (einschließlich topologischer Räume, die durch geeignete σ-Algebren ausgestattet sind).

Für reellwertige Zufallsvektoren

Zwei Zufallsvektoren und heißen unabhängig, wenn

 

 

 

 

( Gl.6 )

wo und bezeichnen die kumulativen Verteilungsfunktionen und und zeigt ihre gemeinsame kumulative Verteilungsfunktion. Unabhängigkeit von und wird oft mit bezeichnet . Komponentenweise geschrieben und heißen unabhängig, wenn

Für stochastische Prozesse

Für einen stochastischen Prozess

Die Definition der Unabhängigkeit kann von zufälligen Vektoren auf einen stochastischen Prozess erweitert werden . Daher ist es für einen unabhängigen stochastischen Prozess erforderlich, dass die Zufallsvariablen, die durch Abtasten des Prozesses zu jedem Zeitpunkt erhalten werden, unabhängige Zufallsvariablen für alle sind .

Formal heißt ein stochastischer Prozess unabhängig, genau dann, wenn für alle und für alle

 

 

 

 

( Gl.7 )

wo . Die Unabhängigkeit eines stochastischen Prozesses ist eine Eigenschaft innerhalb eines stochastischen Prozesses, nicht zwischen zwei stochastischen Prozessen.

Für zwei stochastische Prozesse

Unabhängigkeit der zwei stochastischer Prozesse ist eine Eigenschaft zwischen zwei stochastischen Prozessen und daß auf dem gleichen Wahrscheinlichkeitsraum definiert . Formal heißen zwei stochastische Prozesse und unabhängig, wenn für alle und für alle die Zufallsvektoren und unabhängig sind, dh wenn

 

 

 

 

( Gl.8 )

Unabhängige σ-Algebren

Die obigen Definitionen ( Gl.1 und Gl.2 ) werden beide durch die folgende Definition der Unabhängigkeit für σ-Algebren verallgemeinert . Sei ein Wahrscheinlichkeitsraum und seien und zwei Sub-σ-Algebren von . und werden als unabhängig bezeichnet, wenn, wann immer und ,

Ebenso heißt eine endliche Familie von σ-Algebren mit einer Indexmenge genau dann unabhängig, wenn

und eine unendliche Familie von σ-Algebren heißt unabhängig, wenn alle ihre endlichen Unterfamilien unabhängig sind.

Die neue Definition bezieht sich sehr direkt auf die vorherigen:

  • Zwei Ereignisse sind (im alten Sinne) genau dann unabhängig, wenn die von ihnen erzeugten σ-Algebren unabhängig (im neuen Sinne) sind. Die durch ein Ereignis erzeugte σ-Algebra ist per Definition
  • Zwei Zufallsvariablen und darüber definiert sind unabhängig (im alten Sinne) genau dann, wenn die von ihnen erzeugten σ-Algebren unabhängig (im neuen Sinne) sind. Die σ-Algebra, die von einer Zufallsvariablen erzeugt wird, die Werte in einem messbaren Raum annimmt, besteht per Definition aus allen Teilmengen der Form , wobei jede messbare Teilmenge von ist .

Mit dieser Definition lässt sich leicht zeigen, dass, wenn und Zufallsvariablen und konstant sind, und unabhängig sind, da die von einer konstanten Zufallsvariable erzeugte σ-Algebra die triviale σ-Algebra ist . Ereignisse mit Wahrscheinlichkeit Null können die Unabhängigkeit nicht beeinflussen, daher gilt die Unabhängigkeit auch, wenn nur Pr- fast sicher konstant ist.

Eigenschaften

Selbstständigkeit

Beachten Sie, dass ein Ereignis genau dann unabhängig von sich selbst ist, wenn

Somit ist ein Ereignis genau dann unabhängig von sich selbst, wenn es fast sicher auftritt oder sein Komplement fast sicher auftritt; diese Tatsache ist nützlich, um Null-Eins-Gesetze zu beweisen .

Erwartung und Kovarianz

Wenn und unabhängige Zufallsvariablen sind, dann hat der Erwartungsoperator die Eigenschaft

und die Kovarianz ist null, wie folgt aus

Das Umgekehrte gilt nicht: Wenn zwei Zufallsvariablen eine Kovarianz von 0 haben, sind sie möglicherweise immer noch nicht unabhängig. Siehe unkorreliert .

Ähnlich für zwei stochastische Prozesse und : Wenn sie unabhängig sind, dann sind sie unkorreliert.

Charakteristische Funktion

Zwei Zufallsvariablen und sind genau dann unabhängig, wenn die charakteristische Funktion des Zufallsvektors erfüllt

Insbesondere ist die charakteristische Funktion ihrer Summe das Produkt ihrer marginalen charakteristischen Funktionen:

obwohl die umgekehrte Implikation nicht wahr ist. Zufallsvariablen, die letztere Bedingung erfüllen, werden als subunabhängig bezeichnet .

Beispiele

Würfeln

Der Fall einer 6 beim ersten Würfelwurf und der Fall einer 6 beim zweiten Mal sind unabhängig voneinander . Im Gegensatz dazu sind das Ereignis, bei dem zum ersten Mal ein Würfel geworfen wird, eine 6 zu erhalten und das Ereignis, dass die Summe der Zahlen im ersten und zweiten Versuch 8 ist, nicht unabhängig.

Karten ziehen

Wenn zwei Karten mit Ersatz aus einem Kartenspiel gezogen werden, sind das Ereignis des Ziehens einer roten Karte beim ersten Versuch und das Ziehen einer roten Karte beim zweiten Versuch unabhängig . Im Gegensatz dazu , wenn zwei Karten gezogen werden , ohne Ersatz aus einem Kartenspiel , den Fall mit einer roten Karte auf dem ersten Versuch Zeichnung und dem von einer roten Karte auf dem zweiten Versuch Zeichnung ist nicht unabhängig, weil ein Deck , das eine rotes hatte Karte entfernt hat proportional weniger rote Karten.

Paarweise und gegenseitige Unabhängigkeit

Paarweise unabhängige, aber nicht gegenseitig unabhängige Ereignisse.
Gegenseitig unabhängige Veranstaltungen.

Betrachten Sie die beiden gezeigten Wahrscheinlichkeitsräume. In beiden Fällen und . Die Zufallsvariablen im ersten Raum sind paarweise unabhängig, weil , , und ; aber die drei Zufallsvariablen sind nicht voneinander unabhängig. Die Zufallsvariablen im zweiten Raum sind sowohl paarweise unabhängig als auch voneinander unabhängig. Um den Unterschied zu veranschaulichen, betrachten Sie die Konditionierung auf zwei Ereignisse. Im paarweisen unabhängigen Fall ist jedes Ereignis zwar unabhängig von jedem der anderen beiden unabhängig, aber nicht unabhängig vom Schnittpunkt der anderen beiden:

Im voneinander unabhängigen Fall jedoch

Gegenseitige Unabhängigkeit

Es ist möglich, ein Beispiel mit drei Ereignissen zu erstellen, in dem

und dennoch sind keine zwei der drei Ereignisse paarweise unabhängig (und daher ist die Menge der Ereignisse nicht voneinander unabhängig). Dieses Beispiel zeigt, dass die gegenseitige Unabhängigkeit Anforderungen an die Wahrscheinlichkeitsprodukte aller Ereigniskombinationen beinhaltet, nicht nur die einzelnen Ereignisse wie in diesem Beispiel.

Bedingte Unabhängigkeit

Für Veranstaltungen

Die Ereignisse und sind bedingt unabhängig, wenn ein Ereignis gegeben ist, wenn

.

Für Zufallsvariablen

Intuitiv sind zwei Zufallsvariablen und bedingt unabhängig gegeben, wenn der Wert von , sobald er bekannt ist, keine zusätzlichen Informationen über hinzufügt . Zum Beispiel sind zwei Messungen und derselben zugrunde liegenden Größe nicht unabhängig, aber sie sind bedingt unabhängig (es sei denn, die Fehler in den beiden Messungen hängen irgendwie zusammen).

Die formale Definition der bedingten Unabhängigkeit basiert auf der Idee der bedingten Verteilungen . Wenn , und sind diskrete Zufallsvariablen , dann definieren wir und werden bedingt unabhängig gegeben , wenn

für alle , und so . Auf der anderen Seite, wenn die Zufallsvariablen sind kontinuierlich und haben eine gemeinsame Funktion Wahrscheinlichkeitsdichte , dann und sind bedingt unabhängig gegeben , wenn

für alle reellen Zahlen , und so , dass .

Wenn diskret und bedingt unabhängig gegeben sind , dann

für alle , und mit . Das heißt, die bedingte Verteilung für gegeben und ist dieselbe wie die allein gegebene . Eine ähnliche Gleichung gilt für die bedingten Wahrscheinlichkeitsdichtefunktionen im kontinuierlichen Fall.

Unabhängigkeit kann als eine besondere Art der bedingten Unabhängigkeit angesehen werden, da die Wahrscheinlichkeit als eine Art bedingte Wahrscheinlichkeit ohne Ereignisse angesehen werden kann.

Siehe auch

Verweise

Externe Links