Karush–Kuhn–Tucker-Bedingungen - Karush–Kuhn–Tucker conditions
In mathematischer Optimierung , die Karush-Kuhn-Tucker (KKT) Bedingungen , die auch als die bekannten Kuhn-Tucker - Bedingungen sind erster Ableitung Tests (manchmal erste Ordnung genannt notwendige Bedingungen für eine Lösung in) nicht - linearer Programmierung sein optimal , dass ein Teil vorgesehen Regelmäßigkeitsbedingungen erfüllt sind.
Unter Zulassen von Ungleichheitsbeschränkungen verallgemeinert der KKT-Ansatz zur nichtlinearen Programmierung die Methode der Lagrange-Multiplikatoren , die nur Gleichheitsbeschränkungen zulässt. Ähnlich dem Lagrange-Ansatz wird das eingeschränkte Maximierungs-(Minimierungs-)Problem in eine Lagrange-Funktion umgeschrieben, deren optimaler Punkt ein Sattelpunkt ist , dh ein globales Maximum (Minimum) über dem Bereich der Auswahlvariablen und ein globales Minimum (Maximum) über die Multiplikatoren, weshalb das Karush-Kuhn-Tucker-Theorem manchmal auch als Sattelpunkt-Theorem bezeichnet wird.
Die KKT-Bedingungen wurden ursprünglich nach Harold W. Kuhn und Albert W. Tucker benannt , die die Bedingungen erstmals 1951 veröffentlichten. Spätere Wissenschaftler entdeckten, dass William Karush die notwendigen Bedingungen für dieses Problem 1939 in seiner Masterarbeit formuliert hatte .
Nichtlineares Optimierungsproblem
Betrachten Sie das folgende nichtlineare Minimierungs- oder Maximierungsproblem :
- optimieren
- unterliegt
wobei die Optimierungsvariablen von einer gewählten konvexen Teilmenge von , sind die Ziel oder Utility - Funktion sind die Ungleichheits Constraint - Funktionen und sind die Gleichheit Constraint - Funktionen. Die Zahlen von Ungleichheiten und Gleichheiten werden durch bezeichnet und jeweils. Entsprechend dem eingeschränkten Optimierungsproblem kann man die Lagrangesche Funktion bilden
wo , . Der Satz von Karush-Kuhn-Tucker besagt dann Folgendes.
Satz. Wenn ein Sattelpunkt von in ist , dann ist ein optimaler Vektor für das obige Optimierungsproblem. Nehmen wir an , und , sind konvex in und , dass es existiert , so dass . Dann wird einem optimalen Vektor für das obige Optimierungsproblem ein nicht negativer Vektor zugeordnet , der ein Sattelpunkt von ist .
Da die Idee dieses Ansatzes darin besteht, eine unterstützende Hyperebene auf der zulässigen Menge zu finden , verwendet der Beweis des Karush-Kuhn-Tucker-Theorems den Hyperebenen-Separationssatz .
Das den KKT-Bedingungen entsprechende Gleichungs- und Ungleichungssystem wird in der Regel nicht direkt gelöst, außer in den wenigen Spezialfällen, in denen analytisch eine geschlossene Lösung hergeleitet werden kann. Im Allgemeinen können viele Optimierungsalgorithmen als Methoden zur numerischen Lösung des KKT-Gleichungs- und Ungleichungssystems interpretiert werden.
Notwendige Bedingungen
Nehmen Sie an, dass die Zielfunktion und die Randbedingungsfunktionen und an einem Punkt stetig differenzierbar sind . Ist ein lokales Optimum und das Optimierungsproblem erfüllt einige Regularitätsbedingungen (siehe unten), dann existieren Konstanten und , sogenannte KKT-Multiplikatoren, sodass die folgenden vier Gruppen von Bedingungen gelten:
- Stationarität
- Zur Minimierung :
- Zur Maximierung :
- Erste Machbarkeit
- Doppelte Machbarkeit
- Komplementäre Schlaffheit
Die letzte Bedingung wird manchmal in der entsprechenden Form geschrieben:
Im speziellen Fall , dh wenn keine Ungleichheitsbeschränkungen vorliegen, werden die KKT-Bedingungen zu Lagrange-Bedingungen und die KKT-Multiplikatoren werden Lagrange-Multiplikatoren genannt .
Wenn einige der Funktionen nicht differenzierbar sind, stehen subdifferentielle Versionen von Karush-Kuhn-Tucker (KKT)-Bedingungen zur Verfügung.
Matrixdarstellung
Die notwendigen Bedingungen können mit Jacobi-Matrizen der Constraint-Funktionen geschrieben werden. Sei definiert als und sei definiert als . Lassen Sie und . Dann können die notwendigen Bedingungen geschrieben werden als:
- Stationarität
- Zur Maximierung :
- Zur Minimierung :
- Erste Machbarkeit
- Doppelte Machbarkeit
- Komplementäre Schlaffheit
Regelmäßigkeitsbedingungen (oder Einschränkungsqualifikationen)
Man kann fragen, ob ein Minimiererpunkt des ursprünglichen, eingeschränkten Optimierungsproblems (sofern vorhanden) die obigen KKT-Bedingungen erfüllen muss. Dies ist vergleichbar mit der Frage, unter welchen Bedingungen der Minimierer einer Funktion in einem unbeschränkten Problem die Bedingung erfüllen muss . Für den eingeschränkten Fall ist die Situation komplizierter, und man kann eine Vielzahl von (zunehmend komplizierteren) "Regularität"-Bedingungen angeben, unter denen ein eingeschränkter Minimierer auch die KKT-Bedingungen erfüllt. Einige gängige Beispiele für Bedingungen, die dies garantieren, sind im Folgenden tabellarisch aufgeführt, wobei der LICQ am häufigsten verwendet wird:
Zwang | Akronym | Aussage |
---|---|---|
Qualifizierung von Linearitätsbeschränkungen | LCQ | Wenn und sind affine Funktionen , dann keine andere Bedingung benötigt wird. |
Qualifizierung der linearen Unabhängigkeitsbeschränkung | LICQ | Die Gradienten der aktiven Ungleichheitsbedingungen und die Gradienten der Gleichheitsbedingungen sind linear unabhängig bei . |
Mangasarian-Fromovitz-Beschränkungsqualifizierung | MFCQ | Die Gradienten der Gleichheitsbeschränkungen sind bei linear unabhängig und es existiert ein Vektor derart, dass für alle aktiven Ungleichheitsbeschränkungen und für alle Gleichheitsbeschränkungen. |
Konstante Rangbeschränkungsqualifizierung | CRCQ | Für jede Teilmenge der Gradienten der aktiven Ungleichheitsbeschränkungen und der Gradienten der Gleichheitsbeschränkungen ist der Rang in der Nähe von konstant. |
Konstante positive lineare Abhängigkeitsbeschränkungsqualifizierung | CPLD | Für jede Teilmenge von Gradienten aktiver Ungleichheitsbeschränkungen und Gradienten von Gleichheitsbeschränkungen bleibt die Teilmenge von Vektoren, wenn sie mit den Ungleichheitsbeschränkungen assoziierten nicht-negativen Skalaren linear abhängig ist, in einer Umgebung von linear abhängig . |
Quasi-Normalitätsbeschränkungsqualifizierung | QNCQ | Wenn die Gradienten der aktiven Ungleichheitsbedingungen und die Gradienten der Gleichheitsbedingungen linear abhängig sind mit zugeordneten Multiplizierern für Gleichheiten und für Ungleichheiten, dann gibt es keine Sequenz , so dass und |
Zustand von Slater | SC | Für ein konvexes Problem (dh unter der Annahme , Minimierung, sind konvex und ist affiner), gibt es einen Punkt , so dass und |
Die strengen Implikationen lassen sich zeigen
- LICQ MFCQ ⇒ CPLD ⇒ QNCQ
und
- LICQ CRCQ ⇒ CPLD ⇒ QNCQ
In der Praxis werden schwächere Beschränkungsqualifikationen bevorzugt, da sie für eine breitere Auswahl von Problemen gelten.
Ausreichende Bedingungen
In manchen Fällen reichen auch die notwendigen Bedingungen für die Optimalität aus. Im Allgemeinen reichen die notwendigen Bedingungen für eine Optimalität nicht aus und es werden zusätzliche Informationen benötigt, wie beispielsweise die Second Order Sufficient Conditions (SOSC). Für glatte Funktionen beinhalten SOSC die zweite Ableitung, was ihren Namen erklärt.
Die erforderlichen Bedingungen sind ausreichend für Optimalität , wenn die Zielfunktion eines Maximierungsproblem ist eine konkave Funktion , die Ungleichheitsbedingungen sind kontinuierlich differenzierbare konvexe Funktionen und die Gleichheitsbedingungen sind affine Funktionen . Wenn die Zielfunktion eines Minimierungsproblems eine konvexe Funktion ist , sind auch die notwendigen Bedingungen für die Optimalität ausreichend.
Es wurde 1985 von Martin gezeigt, dass die breitere Klasse von Funktionen, in denen KKT-Bedingungen globale Optimalität garantieren, die sogenannten Typ-1- Invex-Funktionen sind .
hinreichende Bedingungen zweiter Ordnung
Für glatte, nichtlineare Optimierungsprobleme ist eine hinreichende Bedingung zweiter Ordnung wie folgt gegeben.
Die im obigen Abschnitt gefundene Lösung ist ein beschränktes lokales Minimum, wenn für die Lagrange-Funktion
dann,
wo ist ein Vektor, der folgendes erfüllt,
wobei nur die aktiven Ungleichheitsbeschränkungen, die einer strikten Komplementarität entsprechen (dh wo ) angewendet werden. Die Lösung ist ein streng beschränktes lokales Minimum, falls die Ungleichung ebenfalls streng ist.
Wenn , sollte die Taylorentwicklung dritter Ordnung des Lagrange-Operators verwendet werden, um zu überprüfen, ob es sich um ein lokales Minimum handelt. Die Minimierung von ist ein gutes Gegenbeispiel, siehe auch Peano Oberfläche .
Wirtschaft
In der mathematischen Ökonomie wird der KKT-Ansatz häufig in theoretischen Modellen verwendet, um qualitative Ergebnisse zu erhalten. Betrachten Sie beispielsweise ein Unternehmen, das seinen Umsatz unter Einhaltung einer Mindestgewinnbeschränkung maximiert. Lassen , die Menge der Ausgangs erzeugt werden (zu wählen), sein , der Umsatz mit einem positiven ersten Ableitung und mit einem Nullwert bei Null - Ausgang, werden die Produktionskosten mit einem positiven ersten Ableitung und mit einem nicht-negativen Wert bei Null - Ausgang, und das positive minimale akzeptable Gewinnniveau sein , dann ist das Problem sinnvoll, wenn die Erlösfunktion abflacht und schließlich weniger steil ist als die Kostenfunktion. Das in der zuvor gegebenen Minimierungsform ausgedrückte Problem lautet
- Minimieren
- unterliegt
und die KKT-Bedingungen sind
Da die Beschränkung des minimalen Gewinns verletzen würde, gilt, und daher impliziert die dritte Bedingung, dass die erste Bedingung mit Gleichheit gilt. Die Lösung, dass Gleichheit gibt
Da dies gegeben und strikt positiv ist, ist diese Ungleichung zusammen mit der Nicht-Negativitätsbedingung für Garantien positiv, sodass das ertragsmaximierende Unternehmen auf einem Produktionsniveau operiert, bei dem der Grenzerlös unter den Grenzkosten liegt – ein Ergebnis, dass ist von Interesse, weil es im Gegensatz zum Verhalten eines gewinnmaximierenden Unternehmens steht, das auf einem Niveau arbeitet, auf dem sie gleich sind.
Wertfunktion
Betrachten wir das Optimierungsproblem als Maximierungsproblem mit konstanten Ungleichungsbeschränkungen:
Die Wertfunktion ist definiert als
also ist der bereich von is
Bei dieser Definition ist jeder Koeffizient die Rate, mit der die Wertfunktion mit zunehmender Zunahme ansteigt. Wenn also jede als Ressourcenbeschränkung interpretiert wird, sagen Ihnen die Koeffizienten, um wie viel die Erhöhung einer Ressource den optimalen Wert unserer Funktion erhöht . Diese Interpretation ist besonders in der Ökonomie wichtig und wird beispielsweise bei Problemen der Nutzenmaximierung verwendet .
Verallgemeinerungen
Mit einem zusätzlichen Multiplikator , der Null sein kann (solange ), vor der KKT-Stationarität werden die Bedingungen zu
die als Fritz-John-Bedingungen bezeichnet werden . Diese Optimalitätsbedingungen gelten ohne Einschränkungsqualifikationen und sind äquivalent zu der Optimalitätsbedingung KKT oder (nicht-MFCQ) .
Die KKT-Bedingungen gehören zu einer breiteren Klasse der Notwendigen Bedingungen erster Ordnung (FONC), die nicht-glatte Funktionen unter Verwendung von Teilableitungen ermöglichen .
Siehe auch
- Farkas' Lemma
- Lagrange-Multiplikator
- Die Big-M-Methode für lineare Probleme, die den Simplex-Algorithmus auf Probleme ausdehnt, die "größer-als"-Beschränkungen enthalten.
- Schlupfvariable
Verweise
Weiterlesen
- Andreani, R.; Martinez, JM; Schuverdt, ML (2005). „Über die Beziehung zwischen konstanter positiver linearer Abhängigkeitsbedingung und Quasinormalitätsbeschränkungsqualifikation“. Zeitschrift für Optimierungstheorie und Anwendungen . 125 (2): 473–485. doi : 10.1007/s10957-004-1861-9 . S2CID 122212394 .
- Avriel, Mordechai (2003). Nichtlineare Programmierung: Analyse und Methoden . Dover. ISBN 0-486-43227-0.
- Boltjanski, V.; Martini, H.; Soltan, V. (1998). „Das Kuhn-Tucker-Theorem“ . Geometrische Methoden und Optimierungsprobleme . New York: Springer. S. 78–92. ISBN 0-7923-5454-0.
- Boyd, S.; Vandenberghe, L. (2004). "Optimalitätsbedingungen" (PDF) . Konvexe Optimierung . Cambridge University Press. S. 241–249. ISBN 0-521-83378-7.
- Kemp, MurrayC.; Kimura, Yoshio (1978). Einführung in die Wirtschaftsmathematik . New York: Springer. S. 38–73 . ISBN 0-387-90304-6.
- Rau, Nikolaus (1981). "Lagrange-Multiplikatoren". Matrizen und mathematische Programmierung . London: Macmillan. S. 156–174. ISBN 0-333-27768-6.
- Nocedal, J.; Wright, SJ (2006). Numerische Optimierung . New York: Springer. ISBN 978-0-387-30303-1.
- Sundaram, Rangarajan K. (1996). „Inequality Constraints und das Theorem von Kuhn und Tucker“ . Ein erster Kurs in Optimierungstheorie . New York: Cambridge University Press. S. 145–171. ISBN 0-521-49770-1.