Wiener Filter - Wiener filter

Bei der Signalverarbeitung ist das Wiener-Filter ein Filter, das verwendet wird, um eine Schätzung eines gewünschten oder zufälligen Zielprozesses durch lineare zeitinvariante ( LTI ) Filterung eines beobachteten verrauschten Prozesses unter Annahme bekannter stationärer Signal- und Rauschspektren und additiven Rauschens zu erzeugen. Das Wiener-Filter minimiert den mittleren quadratischen Fehler zwischen dem geschätzten Zufallsprozess und dem gewünschten Prozess.

Beschreibung

Das Ziel des Wiener-Filters besteht darin, eine statistische Schätzung eines unbekannten Signals unter Verwendung eines verwandten Signals als Eingabe zu berechnen und dieses bekannte Signal zu filtern, um die Schätzung als Ausgabe zu erzeugen. Beispielsweise könnte das bekannte Signal aus einem unbekannten interessierenden Signal bestehen, das durch additives Rauschen verfälscht wurde . Das Wiener-Filter kann verwendet werden, um das Rauschen aus dem verfälschten Signal herauszufiltern und eine Schätzung des zugrunde liegenden interessierenden Signals bereitzustellen. Der Wiener-Filter basiert auf einem statistischen Ansatz, und eine statistischere Darstellung der Theorie findet sich im Artikel über den Schätzer des minimalen mittleren quadratischen Fehlers (MMSE) .

Typische deterministische Filter sind für einen gewünschten Frequenzgang ausgelegt . Das Design des Wiener Filters verfolgt jedoch einen anderen Ansatz. Es wird angenommen, dass man die spektralen Eigenschaften des ursprünglichen Signals und des Rauschens kennt, und man sucht das lineare zeitinvariante Filter, dessen Ausgabe dem ursprünglichen Signal so nahe wie möglich kommen würde. Wiener Filter zeichnen sich durch Folgendes aus:

1. Annahme: Signal und (additives) Rauschen sind stationäre lineare stochastische Prozesse mit bekannten spektralen Eigenschaften oder bekannter Autokorrelation und Kreuzkorrelation
2. Anforderung: Der Filter muss physisch realisierbar / kausal sein (diese Anforderung kann fallengelassen werden, was zu einer nicht kausalen Lösung führt).
3. Leistungskriterium: minimaler mittlerer quadratischer Fehler (MMSE)

Dieser Filter wird häufig bei der Entfaltung verwendet . Für diese Anwendung siehe Wiener Entfaltung .

Wiener Filterlösungen

Sei ein unbekanntes Signal, das aus einem Messsignal geschätzt werden muss . Das Wiener Filterproblem hat Lösungen für drei mögliche Fälle: einen, in dem ein nicht kausaler Filter akzeptabel ist (der eine unendliche Menge vergangener und zukünftiger Daten erfordert), den Fall, in dem ein kausaler Filter gewünscht wird (unter Verwendung einer unendlichen Menge vergangener Daten), und der Fall der endlichen Impulsantwort (FIR), in dem nur Eingabedaten verwendet werden (dh das Ergebnis oder die Ausgabe wird nicht wie im IIR-Fall in den Filter zurückgeführt). Der erste Fall ist einfach zu lösen, eignet sich jedoch nicht für Echtzeitanwendungen. Wieners Hauptleistung bestand darin, den Fall zu lösen, in dem die Kausalitätsanforderung in Kraft ist; Norman Levinson gab die FIR-Lösung in einem Anhang von Wieners Buch an. ${\ displaystyle s (t)}$${\ displaystyle x (t)}$

Nicht kausale Lösung

${\ displaystyle G (s) = {\ frac {S_ {x, s} (s)} {S_ {x} (s)}} e ^ {\ alpha s},}$

wo sind spektrale Dichten . Vorausgesetzt, dass dies optimal ist, reduziert sich die minimale mittlere quadratische Fehlergleichung auf ${\ displaystyle S}$${\ displaystyle g (t)}$

${\ displaystyle E (e ^ {2}) = R_ {s} (0) - \ int _ {- \ infty} ^ {\ infty} g (\ tau) R_ {x, s} (\ tau + \ alpha ) \, d \ tau,}$

und die Lösung ist die inverse zweiseitige Laplace-Transformation von . ${\ displaystyle g (t)}$${\ displaystyle G (s)}$

Kausale Lösung

${\ displaystyle G (s) = {\ frac {H (s)} {S_ {x} ^ {+} (s)}},}$

wo

• ${\ displaystyle H (s)}$ besteht aus dem kausalen Teil von (dh dem Teil dieser Fraktion, der eine positive Zeitlösung unter der inversen Laplace-Transformation aufweist) ${\ displaystyle {\ frac {S_ {x, s} (s)} {S_ {x} ^ {-} (s)}} e ^ {\ alpha s}}$
• ${\ displaystyle S_ {x} ^ {+} (s)}$ ist die kausale Komponente von (dh die inverse Laplace-Transformation von ist nur für nicht ungleich Null ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ displaystyle t \ geq 0}$
• ${\ displaystyle S_ {x} ^ {-} (s)}$ ist die antikausale Komponente von (dh die inverse Laplace-Transformation von ist nur für nicht ungleich Null ) ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} ^ {-} (s)}$${\ displaystyle t <0}$

Diese allgemeine Formel ist kompliziert und verdient eine detailliertere Erklärung. Um die Lösung in einem bestimmten Fall aufzuschreiben , sollten Sie die folgenden Schritte ausführen: ${\ displaystyle G (s)}$

1. Beginnen Sie mit dem Spektrum in rationaler Form und zerlegen Sie es in kausale und antikausale Komponenten: wobei alle Nullen und Pole in der linken Halbebene (LHP) und die Nullen und Pole in der rechten Halbebene (RHP) enthalten sind. Dies nennt man die Wiener-Hopf-Faktorisierung . ${\ displaystyle S_ {x} (s)}$${\ displaystyle S_ {x} (s) = S_ {x} ^ {+} (s) S_ {x} ^ {-} (s)}$${\ displaystyle S ^ {+}}$${\ displaystyle S ^ {-}}$
2. Teilen Sie das Ergebnis durch und schreiben Sie es als Teilfraktionsexpansion aus . ${\ displaystyle S_ {x, s} (s) e ^ {\ alpha s}}$${\ displaystyle S_ {x} ^ {-} (s)}$
3. Wählen Sie in dieser Erweiterung nur die Begriffe mit Polen im LHP aus. Nennen Sie diese Begriffe . ${\ displaystyle H (s)}$
4. Teilen durch . Das Ergebnis ist die gewünschte Filterübertragungsfunktion . ${\ displaystyle H (s)}$${\ displaystyle S_ {x} ^ {+} (s)}$${\ displaystyle G (s)}$

Wiener Filter mit endlicher Impulsantwort für diskrete Reihen

Blockdiagrammansicht des FIR Wiener Filters für diskrete Serien. Ein Eingangssignal w [ n ] wird mit dem Wiener Filter g [ n ] gefaltet und das Ergebnis mit einem Referenzsignal s [ n ] verglichen , um den Filterfehler e [ n ] zu erhalten.

Das Wiener-Filter mit kausaler endlicher Impulsantwort (FIR) findet anstelle einer gegebenen Datenmatrix X und eines Ausgangsvektors Y optimale Abgriffgewichte unter Verwendung der Statistik der Eingangs- und Ausgangssignale. Es füllt die Eingangsmatrix X mit Schätzungen der Autokorrelation des Eingangssignals (T) und füllt den Ausgangsvektor Y mit Schätzungen der Kreuzkorrelation zwischen dem Ausgangs- und dem Eingangssignal (V).

Um die Koeffizienten des Wiener-Filters abzuleiten, betrachten Sie das Signal w [ n ], das einem Wiener-Filter der Ordnung (Anzahl der vergangenen Abgriffe) N und mit Koeffizienten zugeführt wird . Die Ausgabe des Filters wird mit x [ n ] bezeichnet, was durch den Ausdruck gegeben ist ${\ displaystyle \ {a_ {0}, \ cdots, a_ {N} \}}$

${\ displaystyle x [n] = \ sum _ {i = 0} ^ {N} a_ {i} w [ni].}$

Der Restfehler wird mit e [ n ] bezeichnet und ist definiert als e [ n ] = x [ n ] -  s [ n ] (siehe entsprechendes Blockschaltbild). Der Wiener Filter ist so ausgelegt, dass der mittlere quadratische Fehler ( MMSE- Kriterien) minimiert wird, der wie folgt präzise angegeben werden kann:

${\ displaystyle a_ {i} = \ arg \ min E \ left [e ^ {2} [n] \ right],}$

Dabei bezeichnet der Erwartungsoperator. Im allgemeinen Fall können die Koeffizienten komplex sein und können für den Fall abgeleitet werden, dass w [ n ] und s [ n ] ebenfalls komplex sind. Bei einem komplexen Signal ist die zu lösende Matrix eher eine hermitische Toeplitz-Matrix als eine symmetrische Toeplitz-Matrix . Der Einfachheit halber wird im Folgenden nur der Fall betrachtet, in dem alle diese Größen real sind. Der mittlere quadratische Fehler (MSE) kann wie folgt umgeschrieben werden: ${\ displaystyle E [\ cdot]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} E \ left [e ^ {2} [n] \ right] & = E \ left [(x [n] -s [n]) ^ {2} \ right] \\ & = E \ left [x ^ {2} [n] \ right] + E \ left [s ^ {2} [n] \ right] -2E [x [n] s [n]] \\ & = E. \ left [\ left (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ right) ^ {2} \ right] + E \ left [s ^ {2} [n] \ rechts] -2E \ links [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ rechts] \ end {align}}}$

Um den Vektor zu finden, der den obigen Ausdruck minimiert, berechnen Sie seine Ableitung in Bezug auf jeden ${\ displaystyle [a_ {0}, \, \ ldots, \, a_ {N}]}$${\ displaystyle a_ {i}}$

${\ displaystyle {\ begin {align} {\ frac {\ partiell} {\ partiell a_ {i}}} E \ left [e ^ {2} [n] \ right] & = {\ frac {\ partiell} { \ partiell a_ {i}}} \ links \ {E \ links [\ links (\ sum _ {i = 0} ^ {N} a_ {i} w [ni] \ rechts) ^ {2} \ rechts] + E \ left [s ^ {2} [n] \ right] -2E \ left [\ sum _ {i = 0} ^ {N} a_ {i} w [ni] s [n] \ right] \ right \ } \\ & = 2E \ left [\ left (\ sum _ {j = 0} ^ {N} a_ {j} w [nj] \ right) w [ni] \ right] -2E [w [ni] s [n]] \\ & = 2 \ left (\ sum _ {j = 0} ^ {N} E [w [nj] w [ni]] a_ {j} \ right) -2E [w [ni] s [n]] \ end {align}}}$

Unter der Annahme, dass w [ n ] und s [ n ] jeweils stationär und gemeinsam stationär sind, können die Sequenzen und als Autokorrelation von w [ n ] bzw. die Kreuzkorrelation zwischen w [ n ] und s [ n ] definiert werden als folgt: ${\ displaystyle R_ {w} [m]}$${\ displaystyle R_ {ws} [m]}$

${\ displaystyle {\ begin {align} R_ {w} [m] & = E \ {w [n] w [n + m] \} \\ R_ {ws} [m] & = E \ {w [n ] s [n + m] \} \ end {align}}}$

Die Ableitung der MSE kann daher wie folgt umgeschrieben werden:

${\ displaystyle {\ frac {\ partiell} {\ partiell a_ {i}}} E \ left [e ^ {2} [n] \ right] = 2 \ left (\ sum _ {j = 0} ^ {N. } R_ {w} [ji] a_ {j} \ right) -2R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

Beachten Sie, dass die Autokorrelation in Wirklichkeit symmetrisch ist: ${\ displaystyle w [n]}$

$${\ displaystyle R_ {w} [ji] = R_ {w} [ij]}$$

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

die (unter Verwendung der obigen symmetrischen Eigenschaft) in Matrixform umgeschrieben werden kann

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} [1] & \ cdots & R_ {w} [N] \\ R_ {w} [1] & R_ {w} [0 ] & \ cdots & R_ {w} [N-1] \\\ vdots & \ vdots & \ ddots & \ vdots \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w } [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} \\ a_ {1} \\\ vdots \\ a_ {N} \ end {bmatrix }} _ {\ mathbf {a}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [1] \\\ vdots \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Diese Gleichungen sind als Wiener-Hopf-Gleichungen bekannt . Die in der Gleichung erscheinende Matrix T ist eine symmetrische Toeplitz-Matrix . Es ist bekannt, dass diese Matrizen unter geeigneten Bedingungen positiv definit und daher nicht singulär sind, was eine einzigartige Lösung für die Bestimmung des Wiener Filterkoeffizientenvektors ergibt . Darüber hinaus gibt es einen effizienten Algorithmus zur Lösung solcher Wiener-Hopf-Gleichungen, der als Levinson-Durbin- Algorithmus bekannt ist, sodass eine explizite Inversion von T nicht erforderlich ist. ${\ displaystyle R}$${\ displaystyle \ mathbf {a} = \ mathbf {T} ^ {- 1} \ mathbf {v}}$

In einigen Artikeln wird die Kreuzkorrelationsfunktion umgekehrt definiert:

$${\ displaystyle R_ {sw} [m] = E \ {w [n] s [n + m] \}}$$

${\ displaystyle \ mathbf {v}}$

${\ displaystyle R_ {sw} [0] \ ldots R_ {sw} [N]}$

Unabhängig davon, welche Notation verwendet wird, beachten Sie Folgendes : ${\ displaystyle w [n], s [n]}$

$${\ displaystyle R_ {sw} [k] = R_ {ws} [- k]}$$

Beziehung zum Filter der kleinsten Quadrate

Die Realisierung des kausalen Wiener-Filters ähnelt stark der Lösung der Schätzung der kleinsten Quadrate , außer im Bereich der Signalverarbeitung. Die Lösung der kleinsten Quadrate für die Eingabematrix und den Ausgabevektor ist ${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {y}}$

${\ displaystyle {\ boldsymbol {\ hat {\ beta}}} = (\ mathbf {X} ^ {\ mathbf {T}} \ mathbf {X}) ^ {- 1} \ mathbf {X} ^ {\ mathbf {T}} {\ boldsymbol {y}}.}$

Das FIR-Wiener-Filter ist mit dem Filter der kleinsten mittleren Quadrate verwandt , aber die Minimierung des Fehlerkriteriums des letzteren beruht nicht auf Kreuzkorrelationen oder Autokorrelationen. Seine Lösung konvergiert zur Wiener Filterlösung.

Komplexe Signale

Bei komplexen Signalen erfolgt die Ableitung des komplexen Wiener-Filters durch Minimierung von = . Dies beinhaltet das Berechnen partieller Ableitungen sowohl in Bezug auf den Real- als auch den Imaginärteil von und das Erfordernis, dass beide Null sind. ${\ displaystyle E \ left [| e [n] | ^ {2} \ right]}$${\ displaystyle E \ left [e [n] e ^ {*} [n] \ right]}$${\ displaystyle a_ {i}}$

Die resultierenden Wiener-Hopf-Gleichungen sind:

${\ displaystyle \ sum _ {j = 0} ^ {N} R_ {w} [ji] a_ {j} ^ {*} = R_ {ws} [i] \ qquad i = 0, \ cdots, N.}$

die in Matrixform umgeschrieben werden kann:

${\ displaystyle \ underbrace {\ begin {bmatrix} R_ {w} [0] & R_ {w} ^ {*} [1] & \ cdots & R_ {w} ^ {*} [N-1] & R_ {w} ^ {*} [N] \\ R_ {w} [1] & R_ {w} [0] & \ cdots & R_ {w} ^ {*} [N-2] & R_ {w} ^ {*} [N-1 ] \\\ vdots & \ vdots & \ ddots & \ vdots & \ vdots \\ R_ {w} [N-1] & R_ {w} [N-2] & \ cdots & R_ {w} [0] & R_ {w } ^ {*} [1] \\ R_ {w} [N] & R_ {w} [N-1] & \ cdots & R_ {w} [1] & R_ {w} [0] \ end {bmatrix}} _ {\ mathbf {T}} \ underbrace {\ begin {bmatrix} a_ {0} ^ {*} \\ a_ {1} ^ {*} \\\ vdots \\ a_ {N-1} ^ {*} \ \ a_ {N} ^ {*} \ end {bmatrix}} _ {\ mathbf {a ^ {*}}} = \ underbrace {\ begin {bmatrix} R_ {ws} [0] \\ R_ {ws} [ 1] \\\ vdots \\ R_ {ws} [N-1] \\ R_ {ws} [N] \ end {bmatrix}} _ {\ mathbf {v}}}$

Beachten Sie hier, dass:

$${\ displaystyle {\ begin {align} R_ {w} [- k] & = R_ {w} ^ {*} [k] \\ R_ {sw} [k] & = R_ {ws} ^ {*} [ -k] \ end {align}}}$$

Der Wiener Koeffizientenvektor wird dann berechnet als:

$${\ displaystyle \ mathbf {a} = {(\ mathbf {T} ^ {- 1} \ mathbf {v})} ^ {*}}$$

Anwendungen

Der Wiener Filter hat eine Vielzahl von Anwendungen in der Signalverarbeitung, Bildverarbeitung, Steuerungssystemen und digitalen Kommunikation. Diese Anwendungen fallen im Allgemeinen in eine von vier Hauptkategorien:

• Systemidentifikation
• Entfaltung
• Lärmreduzierung
• Signalerkennung

Beispielsweise kann der Wiener Filter bei der Bildverarbeitung verwendet werden, um Bildrauschen zu entfernen. Verwenden Sie beispielsweise die Mathematica-Funktion: WienerFilter[image,2] Im ersten Bild rechts wird das gefilterte Bild darunter erzeugt.

Lautes Bild des Astronauten.

Rauschbild des Astronauten nach Wiener Filter angewendet.

Es wird üblicherweise verwendet, um Audiosignale, insbesondere Sprache, als Präprozessor vor der Spracherkennung zu entstören .

Geschichte

Der Filter wurde von Norbert Wiener in den 1940er Jahren vorgeschlagen und 1949 veröffentlicht. Das zeitdiskrete Äquivalent von Wieners Werk wurde von Andrey Kolmogorov unabhängig abgeleitet und 1941 veröffentlicht. Daher wird die Theorie häufig als Wiener-Kolmogorov- Filtertheorie bezeichnet ( vgl. Kriging) ). Der Wiener Filter war der erste statistisch entworfene Filter, der vorgeschlagen wurde, und führte anschließend zu vielen anderen, einschließlich des Kalman-Filters .

Siehe auch

• Norbert Wiener
• Eberhard Hopf
• Wiener Entfaltung
• Filter der kleinsten mittleren Quadrate
• Ähnlichkeiten zwischen Wiener und LMS
• lineare Vorhersage
• MMSE-Schätzer
• Kalman-Filter
• verallgemeinerter Wiener Filter
• passender Filter
• Informationsfeldtheorie

Verweise

• Thomas Kailath , Ali H. Sayed und Babak Hassibi , Linear Estimation, Prentice-Hall, NJ, 2000, ISBN   978-0-13-022464-4 .
• Wiener N: Die Interpolation, Extrapolation und Glättung stationärer Zeitreihen ', Report of the Services 19, Forschungsprojekt DIC-6037 MIT, Februar 1942
• Kolmogorov AN: 'Stationäre Sequenzen im Hilbert-Raum', (in russischer Sprache) Bull. Moskau Univ. 1941, Band 2, Nr. 6, 1-40. Englische Übersetzung in Kailath T. (Hrsg.) Lineare Schätzung der kleinsten Quadrate Dowden, Hutchinson & Ross 1977

Externe Links

• Mathematica WienerFilter Funktion