Kern der radialen Basisfunktion - Radial basis function kernel

Beim maschinellen Lernen ist der Kernel der radialen Basisfunktion oder der RBF-Kernel eine beliebte Kernelfunktion, die in verschiedenen kernelisierten Lernalgorithmen verwendet wird. Insbesondere wird es üblicherweise bei der Klassifizierung von Unterstützungsvektormaschinen verwendet .

Der RBF-Kernel auf zwei Abtastwerten x und x ' , dargestellt als Merkmalsvektoren in einem Eingaberaum , ist definiert als

${\ displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp \ left (- {\ frac {\ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2}} {2 \ sigma ^ {2}}} \ right)}$

${\ displaystyle \ textstyle \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2}}$ kann als der quadratische euklidische Abstand zwischen den beiden Merkmalsvektoren erkannt werden. ist ein freier Parameter. Eine äquivalente Definition beinhaltet einen Parameter : ${\ displaystyle \ sigma}$${\ displaystyle \ textstyle \ gamma = {\ tfrac {1} {2 \ sigma ^ {2}}}$

${\ displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp (- \ gamma \ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2})}$

Da der Wert des RBF-Kernels mit der Entfernung abnimmt und zwischen Null (im Grenzwert) und Eins (wenn x = x ' ) liegt, kann er als Ähnlichkeitsmaß interpretiert werden . Der Merkmalsraum des Kernels hat eine unendliche Anzahl von Dimensionen; denn seine Erweiterung ist: ${\ displaystyle \ sigma = 1}$

${\ displaystyle {\ begin {alignat} {2} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2} \ right ) & = \ exp ({\ frac {2} {2}} \ mathbf {x} ^ {\ top} \ mathbf {x '} - {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} - {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ exp (\ mathbf {x} ^ {\ top} \ mathbf {x '}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ sum _ {j = 0} ^ {\ infty} {\ frac {(\ mathbf {x} ^ {\ top} \ mathbf {x' }) ^ {j}} {j!}} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2} \ right) \\ & = \ sum _ {j = 0} ^ {\ infty} \ sum _ {\ sum n_ {i} = j} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) {\ frac {x_ {1} ^ {n_ {1}} \ cdots x_ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ Cdots n_ {k}!}} \ Exp \ left (- {\ frac {1} { 2}} \ | \ mathbf {x '} \ | ^ {2} \ right) {\ frac {{x'} _ {1} ^ {n_ {1}} \ cdots {x '} _ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ cdots n_ {k}!}}} \ end {alignat}}}$

Annäherungen

Da Support-Vektor-Maschinen und andere Modelle, die den Kernel-Trick verwenden, nicht gut auf eine große Anzahl von Trainingsmustern oder eine große Anzahl von Merkmalen im Eingaberaum skaliert werden können, wurden verschiedene Annäherungen an den RBF-Kernel (und ähnliche Kernel) eingeführt. Typischerweise haben diese die Form einer Funktion z , die einen einzelnen Vektor auf einen Vektor höherer Dimensionalität abbildet und sich dem Kernel annähert:

${\ displaystyle \ langle z (\ mathbf {x}), z (\ mathbf {x '}) \ rangle \ approx \ langle \ varphi (\ mathbf {x}), \ varphi (\ mathbf {x'}) \ rangle = K (\ mathbf {x}, \ mathbf {x '})}$

Wo ist die implizite Zuordnung in den RBF-Kernel eingebettet? ${\ displaystyle \ textstyle \ varphi}$

Eine Möglichkeit, ein solches z zu konstruieren, besteht darin, eine zufällige Stichprobe aus der Fourier-Transformation des Kernels zu ziehen. Ein anderer Ansatz verwendet die Nyström-Methode, um die Eigenzersetzung der Gram-Matrix K zu approximieren , wobei nur eine Zufallsstichprobe des Trainingssatzes verwendet wird.

Siehe auch

• Gaußsche Funktion
• Kernel (Statistik)
• Polynomkern
• Radialbasisfunktion
• Radiales Basisfunktionsnetzwerk
• Obst Kernel Netzwerk

Verweise