Effizienz (Statistik) - Efficiency (statistics)

Beim Vergleich verschiedener statistischer Verfahren ist die Effizienz ein Maß für die Qualität eines Schätzers , eines Versuchsdesigns oder eines Hypothesentestverfahrens . Im Wesentlichen benötigt ein effizienterer Schätzer, ein effizienteres Experiment oder ein effizienterer Test weniger Beobachtungen als ein weniger effizienter, um eine bestimmte Leistung zu erzielen. Dieser Artikel befasst sich hauptsächlich mit der Effizienz von Schätzern.

Die relative Effizienz zweier Verfahren ist das Verhältnis ihrer Effizienzen, obwohl dieses Konzept häufig verwendet wird, wenn zwischen einem gegebenen Verfahren und einem fiktiven "bestmöglichen" Verfahren verglichen wird. Die Effizienzen und die relative Effizienz zweier Verfahren hängen theoretisch von der für das jeweilige Verfahren verfügbaren Stichprobengröße ab, aber es ist oft möglich, die asymptotische relative Effizienz (definiert als die Grenze der relativen Effizienzen mit wachsender Stichprobengröße) als Hauptprinzip zu verwenden Vergleich messen.

Ein effizienter Schätzer ist durch eine kleine Varianz oder einen mittleren quadratischen Fehler gekennzeichnet , was anzeigt, dass zwischen dem geschätzten Wert und dem "wahren" Wert eine kleine Abweichung besteht.

Schätzer

Die Effizienz eines unverzerrten Schätzers , T , eines Parameters θ ist definiert als

${\displaystyle e(T)={\frac{1/{\mathcal{I}}(\theta)}{\mathrm {var} (T)}}}$

wo sind die Fisher-Informationen der Stichprobe. Somit ist e ( T ) die minimal mögliche Varianz für einen unverzerrten Schätzer geteilt durch seine tatsächliche Varianz. Mit der Cramér-Rao-Schranke kann man beweisen, dass e ( T ) 1 ist. ${\displaystyle {\mathcal{I}}(\theta)}$

Effiziente Schätzer

Ein effizienter Schätzer ist ein Schätzer , der die interessierende Menge auf eine „bestmögliche“ Weise schätzt. Der Begriff „bestmöglich“ beruht auf der Wahl einer bestimmten Verlustfunktion – der Funktion, die den relativen Grad der Unerwünschtheit von Schätzfehlern unterschiedlicher Größenordnung quantifiziert. Die gebräuchlichste Wahl der Verlustfunktion ist quadratisch , was zu dem mittleren quadratischen Fehlerkriterium der Optimalität führt.

Im Allgemeinen ist die Streuung eines Schätzers um den Parameter θ ein Maß für die Effizienz und Leistung des Schätzers. Diese Leistung kann berechnet werden, indem der mittlere quadratische Fehler ermittelt wird:

Sei T ein Schätzer für den Parameter θ . Der mittlere quadratische Fehler von T ist der Wert . ${\displaystyle \operatorname {MSE} (T)=E[(T-\theta)^{2}]}$

Hier

${\displaystyle {\begin{aligned}\operatorname {MSE} (T)&=E[(T-\theta)^{2}]=E[(TE[T]+E[T]-\theta)^ {2}]\\[5pt]&=E[(TE[T])^{2}]+2E[TE[T]](E[T]-\theta)+(E[T]-\theta ))^{2}\\[5pt]&=\operatorname {Var} (T)+(E[T]-\theta )^{2}\end{aligned}}}$

Daher schneidet ein Schätzer T ₁ besser ab als ein Schätzer T ₂ wenn . ' Für einen spezifischeren Fall, wenn T ₁ und T' ₂ zwei unverzerrte Schätzer für denselben Parameter θ sind , kann die Varianz verglichen werden, um die Leistung zu bestimmen.${\displaystyle MSE(T_{1})<MSE(T_{2})}$

T ₂ ist effizienter , als T ₁ , wenn die Varianz von T ₂ ist kleiner als die Varianz von T ₁ , das heißt für alle Werte von θ . ${\displaystyleVar(T_{1})>Var(T_{2})}$

Diese Beziehung kann bestimmt werden, indem der allgemeinere Fall oben für den mittleren quadratischen Fehler vereinfacht wird. Da der Erwartungswert eines unverzerrten Schätzers gleich dem Parameterwert ist, . ${\displaystyle E[T]=\theta}$

Daher, wenn der Term von 0 abfällt. ${\displaystyle MSE(T)=Var(T)}$${\displaystyle (E[T]-\theta)^{2}}$

Wenn ein unvoreingenommenen Schätzer eines Parameters θ Attalos für alle Werte des Parameters, so wird der Schätzer effizient bezeichnet. ${\displaystyle e(T)=1}$

Äquivalent erreicht der Schätzer Gleichheit in der Cramér-Rao-Ungleichung für alle θ . Die Cramér-Rao-Untergrenze ist eine untere Grenze der Varianz eines unverzerrten Schätzers, die das "Beste" darstellt, das ein unverzerrter Schätzer sein kann.

Ein effizienter Schätzer ist auch der erwartungstreue Schätzer mit minimaler Varianz (MVUE). Dies liegt daran, dass ein effizienter Schätzer die Gleichheit der Cramér-Rao-Ungleichung für alle Parameterwerte beibehält, was bedeutet, dass er die minimale Varianz für alle Parameter (die Definition des MVUE) erreicht. Der MVUE-Schätzer ist, selbst wenn er existiert, nicht unbedingt effizient, da "Minimum" nicht bedeutet, dass die Cramér-Rao-Ungleichung gleich ist.

Somit muss kein effizienter Schätzer existieren, aber wenn doch, ist es das MVUE.

Endliche Stichprobeneffizienz

Angenommen { P _θ | θ ∈ Θ } ist ein parametrisches Modell und X = ( X ₁ , …, X _n ) sind die von diesem Modell abgetasteten Daten. Sei T = T ( X ) ein Schätzer für den Parameter θ . Wenn dieser Schätzer unverzerrt ist (d. h. E[  T  ] = θ ), dann besagt die Cramér-Rao-Ungleichung , dass die Varianz dieses Schätzers nach unten beschränkt ist:

${\displaystyle \operatorname {Var} [\,T\,]\ \geq \ {\mathcal {I}}_{\theta}^{-1},}$

wo ist die Fisher-Informationsmatrix des Modells am Punkt θ . Im Allgemeinen misst die Varianz den Streuungsgrad einer Zufallsvariablen um ihren Mittelwert. Dadurch sind Schätzer mit kleinen Varianzen konzentrierter, sie schätzen die Parameter genauer. Wir sagen, dass der Schätzer ein endlicher effizienter Schätzer (in der Klasse der erwartungsfreien Schätzer) ist, wenn er für alle bound ∈ Θ die untere Schranke in der Cramér-Rao-Ungleichung oben erreicht . Effiziente Schätzer sind immer unverzerrte Schätzer mit minimaler Varianz . Das Gegenteil ist jedoch falsch: Es gibt Punktschätzungsprobleme, für die der erwartungstreue Schätzer mit minimaler Varianz ineffizient ist. ${\displaystyle \scriptstyle {\mathcal {I}}_{\theta}}$

Historisch gesehen war die Effizienz bei endlichen Stichproben ein frühes Optimalitätskriterium. Dieses Kriterium hat jedoch einige Einschränkungen:

• Effiziente Schätzer für endliche Stichproben sind äußerst selten. Tatsächlich wurde bewiesen, dass eine effiziente Schätzung nur in einer exponentiellen Familie möglich ist und nur für die natürlichen Parameter dieser Familie.
• Dieser Begriff der Effizienz ist manchmal auf die Klasse der unverzerrten Schätzer beschränkt. (Oft ist dies nicht der Fall.) Da es keine guten theoretischen Gründe dafür gibt, dass Schätzer unverzerrt sind, ist diese Einschränkung unbequem. Tatsächlich werden viele verzerrte Schätzer , wenn wir den mittleren quadratischen Fehler als Auswahlkriterium verwenden, die „besten“ unverzerrten Schätzer leicht übertreffen. Beispielsweise ist in multivariaten Statistiken für Dimension drei oder mehr der erwartungstreue Mittelwertschätzer, Stichprobenmittelwert , unzulässig : Unabhängig vom Ergebnis ist seine Leistung schlechter als beispielsweise der James-Stein-Schätzer .
• Die Effizienz bei endlichen Stichproben basiert auf der Varianz, als Kriterium, nach dem die Schätzer beurteilt werden. Ein allgemeinerer Ansatz besteht darin, andere als quadratische Verlustfunktionen zu verwenden, in diesem Fall kann die Effizienz bei endlichen Stichproben nicht mehr formuliert werden.

Als Beispiel gibt es unter den in der Praxis anzutreffenden Modellen effiziente Schätzer für: den Mittelwert μ der Normalverteilung (aber nicht die Varianz σ ² ), den Parameter λ der Poisson-Verteilung , die Wahrscheinlichkeit p in der Binomial- oder Multinomialverteilung .

Betrachten Sie das Modell einer Normalverteilung mit unbekanntem Mittelwert, aber bekannter Varianz: { P _θ = N ( θ , σ ² ) | & thgr; ∈ R }. Die Daten bestehen aus n unabhängigen und identisch verteilten Beobachtungen aus diesem Modell: X = ( x ₁ , …, x _n ) . Wir schätzen den Parameter θ mit dem Stichprobenmittelwert aller Beobachtungen:

${\displaystyle T(X)={\frac {1}{n}}\sum _{i=1}^{n}x_{i}\ .}$

Dieser Schätzer hat einen Mittelwert θ und eine Varianz von σ ²  /  n , was gleich dem Kehrwert der Fisher-Informationen aus der Stichprobe ist. Somit ist der Stichprobenmittelwert ein effizienter Schätzer für endliche Stichproben für den Mittelwert der Normalverteilung.

Asymptotische Effizienz

Einige Schätzer kann die Effizienz erreichen asymptotisch und sind daher aufgerufen asymptotisch effizient Schätzer . Dies kann bei einigen Maximum-Likelihood- Schätzern oder bei allen Schätzern der Fall sein , die asymptotisch die Gleichheit der Cramér-Rao-Bindung erreichen.

Beispiel: Median

Betrachten wir eine Stichprobe der Größe gezogen von einer Normalverteilung der mittleren und Einheitsvarianz , das heißt,${\displaystyle N}$${\displaystyle\mu}$${\displaystyle X_{n}\sim {\mathcal{N}}(\mu,1).}$

Der Stichprobenmittelwert , , der Stichprobe , definiert als ${\displaystyle {\overline {X}}}$${\displaystyle X_{1},X_{2},\ldots,X_{N}}$

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\ mu,{\frac{1}{N}}\right).}$

Die Varianz des Mittelwerts, 1/ N (das Quadrat des Standardfehlers ) ist gleich dem Kehrwert der Fisher-Informationen aus der Stichprobe und somit ist der Stichprobenmittelwert nach der Cramér-Rao-Ungleichung effizient in dem Sinne, dass seine Effizienz ist Einheit (100%).

Betrachten Sie nun den Stichprobenmedian , . Dies ist ein unvoreingenommener und konsistenter Schätzer für . Für große Stichproben ist der Median der Stichprobe ungefähr normalverteilt mit Mittelwert und Varianz${\displaystyle {\widetilde {X}}}$${\displaystyle\mu}$${\displaystyle N}$${\displaystyle\mu}$${\displaystyle {\pi}/{2N},}$

${\displaystyle {\widetilde{X}}\sim {\mathcal{N}}\left(\mu,{\frac{\pi}{2N}}\right).}$

Die Effizienz des Medians für große ist somit ${\displaystyle N}$

${\displaystyle e\left({\widetilde{X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right )^{-1}=2/\pi \approx 0.64.}$

Mit anderen Worten, die relative Varianz des Medians ist , oder 57 % größer als die Varianz des Mittelwerts – der Standardfehler des Medians ist 25 % größer als der des Mittelwerts. ${\displaystyle \pi/2\approx 1,57}$

Beachten Sie, dass dies die asymptotische Effizienz ist, d. h. die Effizienz im Grenzbereich, da die Stichprobengröße gegen unendlich tendiert. Bei endlichen Werten ist die Effizienz höher (zum Beispiel ergibt eine Stichprobengröße von 3 eine Effizienz von etwa 74%). ${\displaystyle N}$${\displaystyle N,}$

Der Stichprobenmittelwert ist daher in diesem Beispiel effizienter als der Stichprobenmedian. Es kann jedoch Messgrößen geben, bei denen der Median besser abschneidet. Zum Beispiel ist der Median viel robuster gegenüber Ausreißern , so dass, wenn das Gauß-Modell fragwürdig oder approximativ ist, die Verwendung des Medians Vorteile haben kann (siehe Robuste Statistik ).

Dominante Schätzer

Wenn und Schätzer für den Parameter sind , dann gilt als dominierend, wenn: ${\displaystyle T_{1}}$${\displaystyle T_{2}}$${\displaystyle\theta}$${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. sein mittlerer quadratischer Fehler (MSE) ist für mindestens einen Wert von . kleiner${\displaystyle\theta}$
2. der MSE überschreitet den von für keinen Wert von θ.${\displaystyle T_{2}}$

Formal dominiert, wenn ${\displaystyle T_{1}}$${\displaystyle T_{2}}$

${\displaystyle \operatorname {E} [(T_{1}-\theta )^{2}]\leq \operatorname {E} [(T_{2}-\theta )^{2}]}$

gilt für alle , mit strikter Ungleichheit, die irgendwo gilt. ${\displaystyle\theta}$

Relativer Wirkungsgrad

Die relative Effizienz zweier Schätzer ist definiert als

${\displaystyle e(T_{1},T_{2})={\frac {\operatorname {E} [(T_{2}-\theta )^{2}]}{\operatorname {E} [(T_ {1}-\theta)^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Obwohl im Allgemeinen eine Funktion von ist , fällt die Abhängigkeit in vielen Fällen ab; Wenn dies der Fall ist, würde ein Wert größer als eins anzeigen, dass dies vorzuziehen ist, unabhängig vom wahren Wert von . ${\displaystyle e}$${\displaystyle\theta}$${\displaystyle e}$${\displaystyle T_{1}}$${\displaystyle\theta}$

Eine Alternative zur relativen Effizienz zum Vergleichen von Schätzern ist das Pitman-Nahheitskriterium . Dies ersetzt den Vergleich der mittleren quadratischen Fehler durch den Vergleich, wie oft ein Schätzer Schätzungen erzeugt, die näher am wahren Wert liegen als ein anderer Schätzer.

Wenn und Schätzer für den Parameter sind , dann gilt als dominierend, wenn: ${\displaystyle T_{1}}$${\displaystyle T_{2}}$${\displaystyle\theta}$${\displaystyle T_{1}}$ ${\displaystyle T_{2}}$

1. sein mittlerer quadratischer Fehler (MSE) ist für mindestens einen Wert von . kleiner${\displaystyle\theta}$
2. der MSE überschreitet den von für keinen Wert von θ.${\displaystyle T_{2}}$

Formal dominiert, wenn ${\displaystyle T_{1}}$${\displaystyle T_{2}}$

${\displaystyle \mathrm {E} \left[(T_{1}-\theta)^{2}\right]\leq \mathrm {E} \left[(T_{2}-\theta)^{2} \Recht]}$

gilt für alle , mit strikter Ungleichheit, die irgendwo gilt. ${\displaystyle\theta}$

Schätzer des Mittelwerts der uid-Variablen

Bei der Schätzung des Mittelwerts unkorrelierter, gleichverteilter Variablen können wir uns die Tatsache zunutze machen, dass die Varianz der Summe die Summe der Varianzen ist . In diesem Fall kann die Effizienz als das Quadrat des Variationskoeffizienten definiert werden , dh

${\displaystyle e\equiv \left({\frac {\sigma }{\mu}}\right)^{2}}$

Die relative Effizienz zweier solcher Schätzer kann somit als die relative Stichprobengröße des einen interpretiert werden, die erforderlich ist, um die Gewissheit des anderen zu erreichen. Beweis:

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Da wir nun haben , drückt die relative Effizienz die relative Stichprobengröße des ersten Schätzers aus, die benötigt wird, um der Varianz des zweiten zu entsprechen. ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$

Robustheit

Die Effizienz eines Schätzers kann sich erheblich ändern, wenn sich die Verteilung ändert und oft sinkt. Dies ist eine der Motivationen für robuste Statistiken – ein Schätzer wie der Stichprobenmittelwert ist beispielsweise ein effizienter Schätzer des Populationsmittelwertes einer Normalverteilung, kann jedoch ein ineffizienter Schätzer einer gemischten Verteilung von zwei Normalverteilungen mit gleichem . sein mittlere und unterschiedliche Varianzen. Wenn eine Verteilung beispielsweise eine Kombination aus 98 % N ( μ, σ ) und 2 % N ( μ, 10 σ ) ist, verringert das Vorhandensein von Extremwerten aus der letztgenannten Verteilung (oft „verunreinigende Ausreißer“) die Effizienz von der Stichprobenmittelwert als Schätzer von μ. Im Gegensatz dazu ist der getrimmte Mittelwert für eine Normalverteilung weniger effizient, aber robuster (weniger beeinflusst) durch Änderungen der Verteilung und kann daher für eine Gemischverteilung effizienter sein. Ebenso kann die Form einer Verteilung, wie Schiefe oder starke Ausläufer, die Effizienz von Schätzern, die eine symmetrische Verteilung oder dünne Ausläufer annehmen, erheblich reduzieren.

Verwendung ineffizienter Schätzer

Obwohl die Effizienz eine wünschenswerte Qualität eines Schätzers ist, muss sie gegen andere Überlegungen abgewogen werden, und ein Schätzer, der für bestimmte Verteilungen effizient ist, kann für andere Verteilungen durchaus ineffizient sein. Am wichtigsten ist, dass Schätzer, die für saubere Daten aus einer einfachen Verteilung effizient sind, wie der Normalverteilung (die symmetrisch, unimodal und dünne Ausläufer hat) möglicherweise nicht robust gegenüber einer Kontamination durch Ausreißer und für kompliziertere Verteilungen ineffizient sein können. In robusten Statistiken wird der Robustheit und Anwendbarkeit auf eine Vielzahl von Verteilungen mehr Bedeutung beigemessen als der Effizienz einer einzelnen Verteilung. M-Schätzer sind eine allgemeine Klasse von Lösungen, die durch diese Bedenken motiviert sind und sowohl Robustheit als auch eine hohe relative Effizienz ergeben, obwohl in einigen Fällen möglicherweise eine geringere Effizienz als herkömmliche Schätzer. Diese sind jedoch potentiell sehr rechentechnisch kompliziert.

Eine traditionellere Alternative sind L-Schätzer , sehr einfache Statistiken, die leicht zu berechnen und zu interpretieren sind, in vielen Fällen robust und oft ausreichend effizient für erste Schätzungen sind. Siehe Anwendungen von L-Schätzern für weitere Diskussionen.

Effizienz in der Statistik

Die Effizienz der Statistik ist wichtig, da sie es ermöglicht, die Leistung verschiedener Schätzer zu vergleichen. Obwohl ein erwartungstreuer Schätzer normalerweise einem verzerrten Schätzer vorgezogen wird, kann ein effizienterer verzerrter Schätzer manchmal wertvoller sein als ein weniger effizienter erwartungsfreier Schätzer. Dies kann beispielsweise auftreten, wenn sich die Werte des verzerrten Schätzers um eine Zahl nähern, die näher am wahren Wert liegt. Somit kann die Leistung des Schätzers leicht vorhergesagt werden, indem ihre mittleren quadratischen Fehler oder Varianzen verglichen werden.

Hypothesentests

Für den Vergleich Signifikanztests kann eine sinnvolle Maß für die Effizienz auf der Grundlage der Stichprobengröße für den Test eine bestimmte Aufgabe zu erreichen , die erforderlich definiert wird Leistung .

Pitman-Effizienz und Bahadur-Effizienz (oder Hodges-Lehmann-Effizienz ) beziehen sich auf den Vergleich der Leistung statistischer Hypothesentestverfahren . Die Enzyklopädie der Mathematik bietet eine kurze Darstellung dieser drei Kriterien.

Experimentelles Design

Bei experimentellen Designs bezieht sich Effizienz auf die Fähigkeit eines Designs, das Ziel der Studie mit minimalem Aufwand an Ressourcen wie Zeit und Geld zu erreichen. In einfachen Fällen kann die relative Effizienz von Designs als Verhältnis der Stichprobenumfänge ausgedrückt werden, die zum Erreichen eines bestimmten Ziels erforderlich sind.

Siehe auch

• Bayes-Schätzer
• Konsistenter Schätzer
• Hodges-Schätzer
• Optimale Instrumente

Anmerkungen

Verweise

Weiterlesen

• Lehmann, EL ; Casella, G. (1998). Theorie der Punktschätzung (2. Aufl.). Springer. ISBN 0-387-98502-6.
• Pfanzagl, Johann ; mit Unterstützung von R. Hamböker (1994). Parametrische statistische Theorie . Berlin: Walter de Gruyter. ISBN 3-11-013863-8. MR  1.291.393 .