Unsicherheitskoeffizient - Uncertainty coefficient

In Statistiken , die Unsicherheit Koeffizient , auch genannt Tüchtigkeit , Entropie Koeffizient oder Theil des U ist ein Maß für Nenn Verein . Sie wurde erstmals von Henri Theil eingeführt und basiert auf dem Konzept der Informationsentropie .

Definition

Angenommen, wir haben Stichproben von zwei diskreten Zufallsvariablen, X und Y . Durch die gemeinsame Verteilung der Konstruktion, P _{X, Y} ( x ,  y ) , aus dem wir die Berechnung können bedingte Verteilungen , P _{X | Y} ( x | y ) =  P _{X, Y} ( x ,  y )/ P _Y ( y ) und P _{Y |X} ( y | x ) =  P _{X, Y} ( x ,  y ) / P _X ( x ) und Wenn wir die verschiedenen Entropien berechnen, können wir den Grad der Assoziation zwischen den beiden Variablen bestimmen.

Die Entropie einer einzelnen Verteilung ist gegeben als:

${\displaystyle H(X)=-\sum_{x}P_{X}(x)\log P_{X}(x),}$

während die bedingte Entropie gegeben ist als:

${\displaystyle H(X|Y)=-\sum_{x,~y}P_{X,Y}(x,~y)\log P_{X|Y}(x|y).}$

Der Unsicherheitskoeffizient oder die Leistungsfähigkeit ist definiert als:

${\displaystyle U(X|Y)={\frac {H(X)-H(X|Y)}{H(X)}}={\frac {I(X;Y)}{H(X) }},}$

und sagt uns: Welchen Bruchteil der Bits von X können wir bei gegebenem Y vorhersagen? In diesem Fall können wir uns X so vorstellen, dass er die gesamte Information enthält, und Y als erlaubt, einen Teil dieser Information vorherzusagen.

Der obige Ausdruck macht deutlich, dass der Unsicherheitskoeffizient eine normalisierte gegenseitige Information I(X;Y) ist . Insbesondere reicht der Unsicherheitskoeffizient in [0, 1] als I(X;Y) < H(X) und sowohl I(X,Y) als auch H(X) sind positiv oder null.

Man beachte , dass der Wert von U (aber nicht H !) Ist unabhängig von der Basis des Log da alle Logarithmen proportional sind.

Der Unsicherheitskoeffizient ist nützlich, um die Gültigkeit eines statistischen Klassifikationsalgorithmus zu messen und hat gegenüber einfacheren Genauigkeitsmessungen wie Präzision und Wiedererkennung den Vorteil, dass er nicht von den relativen Anteilen der verschiedenen Klassen, dh P ( x ), beeinflusst wird. Es hat auch die einzigartige Eigenschaft, dass es einen Algorithmus für die Vorhersage der falschen Klassen nicht bestraft, solange er dies konsequent tut (dh es ordnet die Klassen einfach neu an). Dies ist beim Auswerten von Clustering-Algorithmen nützlich, da Cluster-Labels normalerweise keine bestimmte Reihenfolge haben.

Variationen

Der Unsicherheitskoeffizient ist bezüglich der Rollen von X und Y nicht symmetrisch . Die Rollen können vertauscht und somit ein symmetrisches Maß als gewichteter Durchschnitt zwischen den beiden definiert werden:

${\displaystyle {\begin{ausgerichtet}U(X,~Y)&={\frac {H(X)U(X|Y)+H(Y)U(Y|X)}{H(X)+ H(Y)}}\\[8pt]&=2\links[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)} }\right].\end{ausgerichtet}}}$

Obwohl er normalerweise auf diskrete Variablen angewendet wird, kann der Unsicherheitskoeffizient durch Dichteschätzung auf kontinuierliche Variablen ausgedehnt werden .

Siehe auch

• Gegenseitige Information
• Randindex
• F-Score
• Binäre Klassifizierung

Verweise

Externe Links

• libagf Enthält Software zur Berechnung von Unsicherheitskoeffizienten.