Beschränkte kleinste Quadrate - Constrained least squares

Bei beschränkten kleinsten Quadraten löst man ein lineares Problem der kleinsten Quadrate mit einer zusätzlichen Beschränkung der Lösung. Das heißt, die uneingeschränkte Gleichung muss so genau wie möglich (im Sinne der kleinsten Quadrate) angepasst werden, während sichergestellt wird, dass eine andere Eigenschaft von beibehalten wird. ${\displaystyle \mathbf{X} {\boldsymbol {\beta}}=\mathbf{y}}$${\displaystyle {\boldsymbol {\beta}}}$

Es gibt oft spezielle Algorithmen, um solche Probleme effizient zu lösen. Nachfolgend sind einige Beispiele für Einschränkungen aufgeführt:

• Gleichheitsbeschränkte kleinste Quadrate: Die Elemente von müssen genau erfüllen (siehe Gewöhnliche kleinste Quadrate ).${\displaystyle {\boldsymbol {\beta}}}$${\displaystyle \mathbf{L} {\boldsymbol {\beta}}=\mathbf{d}}$
• Regularisierte kleinste Quadrate: die Elemente von müssen erfüllen (eine Auswahl im Verhältnis zur Rauschstandardabweichung von y verhindert eine Überanpassung).${\displaystyle {\boldsymbol {\beta}}}$${\displaystyle \|\mathbf {L} {\boldsymbol {\beta}}-\mathbf {y} \|\leq \alpha}$${\displaystyle\alpha}$
• Nicht negative kleinste Quadrate (NNLS): Der Vektor muss genügen Vektor Ungleichung definiert komponentenweise , das heißt, muss jede Komponente entweder positiv oder Null sein.${\displaystyle {\boldsymbol {\beta}}}$ ${\displaystyle {\boldsymbol {\beta}}\geq {\boldsymbol {0}}}$
• Box-beschränkte kleinste Quadrate: Der Vektor muss die Vektorungleichungen erfüllen , von denen jede komponentenweise definiert ist.${\displaystyle {\boldsymbol {\beta}}}$ ${\displaystyle {\boldsymbol {b}}_{\ell}\leq {\boldsymbol {\beta}}\leq {\boldsymbol {b}}_{u}}$
• Integer-beschränkte kleinste Quadrate: Alle Elemente von müssen ganze Zahlen sein (anstelle von reellen Zahlen ).${\displaystyle {\boldsymbol {\beta}}}$
• Phasenabhängige kleinste Quadrate: Alle Elemente von müssen reelle Zahlen sein oder mit derselben komplexen Zahl des Einheitsmoduls multipliziert werden.${\displaystyle {\boldsymbol {\beta}}}$

Wenn die Beschränkung nur auf einige der Variablen gilt, kann das gemischte Problem gelöst unter Verwendung von trennbaren kleinsten Quadraten , indem man und stellt die unbeschränkte (1) und begrenzt (2) Komponenten. Dann Ersetzen der Lösung der kleinsten Quadrate für , dh ${\displaystyle \mathbf {X} =[\mathbf {X_{1}} \mathbf {X_{2}} ]}$${\displaystyle \mathbf {\beta} ^{\rm {T}}=[\mathbf {\beta_{1}} ^{\rm {T}}\mathbf {\beta_{2}} ^{\ rm {T}}]}$${\displaystyle \mathbf {\beta_{1}} }$

${\displaystyle {\hat {\boldsymbol {\beta}}}_{1}=\mathbf {X} _{1}^{+}(\mathbf {y} -\mathbf {X} _{2}{ \boldsymbol {\beta}}_{2})}$

(wobei ⁺ die Moore-Penrose-Pseudoinverse bezeichnet ) zurück in den ursprünglichen Ausdruck ergibt (nach einer gewissen Neuordnung) eine Gleichung, die als rein beschränktes Problem in gelöst werden kann . ${\displaystyle \mathbf {\beta} _{2}}$

${\displaystyle \mathbf {P} \mathbf {X} _{2}{\boldsymbol {\beta}}_{2}=\mathbf {P} \mathbf {y} ,}$

wo ist eine Projektionsmatrix . Das Folgen der eingeschränkten Schätzung des Vektors wird aus dem obigen Ausdruck erhalten. ${\displaystyle \mathbf {P} :=\mathbf {I} -\mathbf {X} _{1}\mathbf {X} _{1}^{+}}$${\displaystyle {\hat {\boldsymbol {\beta}}}_{2}}$${\displaystyle {\hat {\boldsymbol {\beta}}}_{1}}$

Siehe auch

• Optimierungsprobleme
• Integer-Programmierung

Verweise