Karush–Kuhn–Tucker-Bedingungen - Karush–Kuhn–Tucker conditions

In mathematischer Optimierung , die Karush-Kuhn-Tucker (KKT) Bedingungen , die auch als die bekannten Kuhn-Tucker - Bedingungen sind erster Ableitung Tests (manchmal erste Ordnung genannt notwendige Bedingungen für eine Lösung in) nicht - linearer Programmierung sein optimal , dass ein Teil vorgesehen Regelmäßigkeitsbedingungen erfüllt sind.

Unter Zulassen von Ungleichheitsbeschränkungen verallgemeinert der KKT-Ansatz zur nichtlinearen Programmierung die Methode der Lagrange-Multiplikatoren , die nur Gleichheitsbeschränkungen zulässt. Ähnlich dem Lagrange-Ansatz wird das eingeschränkte Maximierungs-(Minimierungs-)Problem in eine Lagrange-Funktion umgeschrieben, deren optimaler Punkt ein Sattelpunkt ist , dh ein globales Maximum (Minimum) über dem Bereich der Auswahlvariablen und ein globales Minimum (Maximum) über die Multiplikatoren, weshalb das Karush-Kuhn-Tucker-Theorem manchmal auch als Sattelpunkt-Theorem bezeichnet wird.

Die KKT-Bedingungen wurden ursprünglich nach Harold W. Kuhn und Albert W. Tucker benannt , die die Bedingungen erstmals 1951 veröffentlichten. Spätere Wissenschaftler entdeckten, dass William Karush die notwendigen Bedingungen für dieses Problem 1939 in seiner Masterarbeit formuliert hatte .

Nichtlineares Optimierungsproblem

Betrachten Sie das folgende nichtlineare Minimierungs- oder Maximierungsproblem :

optimieren
unterliegt

wobei die Optimierungsvariablen von einer gewählten konvexen Teilmenge von , sind die Ziel oder Utility - Funktion sind die Ungleichheits Constraint - Funktionen und sind die Gleichheit Constraint - Funktionen. Die Zahlen von Ungleichheiten und Gleichheiten werden durch bezeichnet und jeweils. Entsprechend dem eingeschränkten Optimierungsproblem kann man die Lagrangesche Funktion bilden

wo , . Der Satz von Karush-Kuhn-Tucker besagt dann Folgendes.

Satz. Wenn ein Sattelpunkt von in ist , dann ist ein optimaler Vektor für das obige Optimierungsproblem. Nehmen wir an , und , sind konvex in und , dass es existiert , so dass . Dann wird einem optimalen Vektor für das obige Optimierungsproblem ein nicht negativer Vektor zugeordnet , der ein Sattelpunkt von ist .

Da die Idee dieses Ansatzes darin besteht, eine unterstützende Hyperebene auf der zulässigen Menge zu finden , verwendet der Beweis des Karush-Kuhn-Tucker-Theorems den Hyperebenen-Separationssatz .

Das den KKT-Bedingungen entsprechende Gleichungs- und Ungleichungssystem wird in der Regel nicht direkt gelöst, außer in den wenigen Spezialfällen, in denen analytisch eine geschlossene Lösung hergeleitet werden kann. Im Allgemeinen können viele Optimierungsalgorithmen als Methoden zur numerischen Lösung des KKT-Gleichungs- und Ungleichungssystems interpretiert werden.

Notwendige Bedingungen

Nehmen Sie an, dass die Zielfunktion und die Randbedingungsfunktionen und an einem Punkt stetig differenzierbar sind . Ist ein lokales Optimum und das Optimierungsproblem erfüllt einige Regularitätsbedingungen (siehe unten), dann existieren Konstanten und , sogenannte KKT-Multiplikatoren, sodass die folgenden vier Gruppen von Bedingungen gelten:

Ungleichungs-Constraint-Diagramm für Optimierungsprobleme
Stationarität
Zur Minimierung :
Zur Maximierung :
Erste Machbarkeit
Doppelte Machbarkeit
Komplementäre Schlaffheit

Die letzte Bedingung wird manchmal in der entsprechenden Form geschrieben:

Im speziellen Fall , dh wenn keine Ungleichheitsbeschränkungen vorliegen, werden die KKT-Bedingungen zu Lagrange-Bedingungen und die KKT-Multiplikatoren werden Lagrange-Multiplikatoren genannt .

Wenn einige der Funktionen nicht differenzierbar sind, stehen subdifferentielle Versionen von Karush-Kuhn-Tucker (KKT)-Bedingungen zur Verfügung.

Matrixdarstellung

Die notwendigen Bedingungen können mit Jacobi-Matrizen der Constraint-Funktionen geschrieben werden. Sei definiert als und sei definiert als . Lassen Sie und . Dann können die notwendigen Bedingungen geschrieben werden als:

Stationarität
Zur Maximierung :
Zur Minimierung :
Erste Machbarkeit
Doppelte Machbarkeit
Komplementäre Schlaffheit

Regelmäßigkeitsbedingungen (oder Einschränkungsqualifikationen)

Man kann fragen, ob ein Minimiererpunkt des ursprünglichen, eingeschränkten Optimierungsproblems (sofern vorhanden) die obigen KKT-Bedingungen erfüllen muss. Dies ist vergleichbar mit der Frage, unter welchen Bedingungen der Minimierer einer Funktion in einem unbeschränkten Problem die Bedingung erfüllen muss . Für den eingeschränkten Fall ist die Situation komplizierter, und man kann eine Vielzahl von (zunehmend komplizierteren) "Regularität"-Bedingungen angeben, unter denen ein eingeschränkter Minimierer auch die KKT-Bedingungen erfüllt. Einige gängige Beispiele für Bedingungen, die dies garantieren, sind im Folgenden tabellarisch aufgeführt, wobei der LICQ am häufigsten verwendet wird:

Zwang Akronym Aussage
Qualifizierung von Linearitätsbeschränkungen LCQ Wenn und sind affine Funktionen , dann keine andere Bedingung benötigt wird.
Qualifizierung der linearen Unabhängigkeitsbeschränkung LICQ Die Gradienten der aktiven Ungleichheitsbedingungen und die Gradienten der Gleichheitsbedingungen sind linear unabhängig bei .
Mangasarian-Fromovitz-Beschränkungsqualifizierung MFCQ Die Gradienten der Gleichheitsbeschränkungen sind bei linear unabhängig und es existiert ein Vektor derart, dass für alle aktiven Ungleichheitsbeschränkungen und für alle Gleichheitsbeschränkungen.
Konstante Rangbeschränkungsqualifizierung CRCQ Für jede Teilmenge der Gradienten der aktiven Ungleichheitsbeschränkungen und der Gradienten der Gleichheitsbeschränkungen ist der Rang in der Nähe von konstant.
Konstante positive lineare Abhängigkeitsbeschränkungsqualifizierung CPLD Für jede Teilmenge von Gradienten aktiver Ungleichheitsbeschränkungen und Gradienten von Gleichheitsbeschränkungen bleibt die Teilmenge von Vektoren, wenn sie mit den Ungleichheitsbeschränkungen assoziierten nicht-negativen Skalaren linear abhängig ist, in einer Umgebung von linear abhängig .
Quasi-Normalitätsbeschränkungsqualifizierung QNCQ Wenn die Gradienten der aktiven Ungleichheitsbedingungen und die Gradienten der Gleichheitsbedingungen linear abhängig sind mit zugeordneten Multiplizierern für Gleichheiten und für Ungleichheiten, dann gibt es keine Sequenz , so dass und
Zustand von Slater SC Für ein konvexes Problem (dh unter der Annahme , Minimierung, sind konvex und ist affiner), gibt es einen Punkt , so dass und

Die strengen Implikationen lassen sich zeigen

LICQ MFCQ ⇒ CPLD ⇒ QNCQ

und

LICQ CRCQ ⇒ CPLD ⇒ QNCQ

In der Praxis werden schwächere Beschränkungsqualifikationen bevorzugt, da sie für eine breitere Auswahl von Problemen gelten.

Ausreichende Bedingungen

In manchen Fällen reichen auch die notwendigen Bedingungen für die Optimalität aus. Im Allgemeinen reichen die notwendigen Bedingungen für eine Optimalität nicht aus und es werden zusätzliche Informationen benötigt, wie beispielsweise die Second Order Sufficient Conditions (SOSC). Für glatte Funktionen beinhalten SOSC die zweite Ableitung, was ihren Namen erklärt.

Die erforderlichen Bedingungen sind ausreichend für Optimalität , wenn die Zielfunktion eines Maximierungsproblem ist eine konkave Funktion , die Ungleichheitsbedingungen sind kontinuierlich differenzierbare konvexe Funktionen und die Gleichheitsbedingungen sind affine Funktionen . Wenn die Zielfunktion eines Minimierungsproblems eine konvexe Funktion ist , sind auch die notwendigen Bedingungen für die Optimalität ausreichend.

Es wurde 1985 von Martin gezeigt, dass die breitere Klasse von Funktionen, in denen KKT-Bedingungen globale Optimalität garantieren, die sogenannten Typ-1- Invex-Funktionen sind .

hinreichende Bedingungen zweiter Ordnung

Für glatte, nichtlineare Optimierungsprobleme ist eine hinreichende Bedingung zweiter Ordnung wie folgt gegeben.

Die im obigen Abschnitt gefundene Lösung ist ein beschränktes lokales Minimum, wenn für die Lagrange-Funktion

dann,

wo ist ein Vektor, der folgendes erfüllt,

wobei nur die aktiven Ungleichheitsbeschränkungen, die einer strikten Komplementarität entsprechen (dh wo ) angewendet werden. Die Lösung ist ein streng beschränktes lokales Minimum, falls die Ungleichung ebenfalls streng ist.

Wenn , sollte die Taylorentwicklung dritter Ordnung des Lagrange-Operators verwendet werden, um zu überprüfen, ob es sich um ein lokales Minimum handelt. Die Minimierung von ist ein gutes Gegenbeispiel, siehe auch Peano Oberfläche .

Wirtschaft

In der mathematischen Ökonomie wird der KKT-Ansatz häufig in theoretischen Modellen verwendet, um qualitative Ergebnisse zu erhalten. Betrachten Sie beispielsweise ein Unternehmen, das seinen Umsatz unter Einhaltung einer Mindestgewinnbeschränkung maximiert. Lassen , die Menge der Ausgangs erzeugt werden (zu wählen), sein , der Umsatz mit einem positiven ersten Ableitung und mit einem Nullwert bei Null - Ausgang, werden die Produktionskosten mit einem positiven ersten Ableitung und mit einem nicht-negativen Wert bei Null - Ausgang, und das positive minimale akzeptable Gewinnniveau sein , dann ist das Problem sinnvoll, wenn die Erlösfunktion abflacht und schließlich weniger steil ist als die Kostenfunktion. Das in der zuvor gegebenen Minimierungsform ausgedrückte Problem lautet

Minimieren
unterliegt

und die KKT-Bedingungen sind

Da die Beschränkung des minimalen Gewinns verletzen würde, gilt, und daher impliziert die dritte Bedingung, dass die erste Bedingung mit Gleichheit gilt. Die Lösung, dass Gleichheit gibt

Da dies gegeben und strikt positiv ist, ist diese Ungleichung zusammen mit der Nicht-Negativitätsbedingung für Garantien positiv, sodass das ertragsmaximierende Unternehmen auf einem Produktionsniveau operiert, bei dem der Grenzerlös unter den Grenzkosten liegt – ein Ergebnis, dass ist von Interesse, weil es im Gegensatz zum Verhalten eines gewinnmaximierenden Unternehmens steht, das auf einem Niveau arbeitet, auf dem sie gleich sind.

Wertfunktion

Betrachten wir das Optimierungsproblem als Maximierungsproblem mit konstanten Ungleichungsbeschränkungen:

Die Wertfunktion ist definiert als

also ist der bereich von is

Bei dieser Definition ist jeder Koeffizient die Rate, mit der die Wertfunktion mit zunehmender Zunahme ansteigt. Wenn also jede als Ressourcenbeschränkung interpretiert wird, sagen Ihnen die Koeffizienten, um wie viel die Erhöhung einer Ressource den optimalen Wert unserer Funktion erhöht . Diese Interpretation ist besonders in der Ökonomie wichtig und wird beispielsweise bei Problemen der Nutzenmaximierung verwendet .

Verallgemeinerungen

Mit einem zusätzlichen Multiplikator , der Null sein kann (solange ), vor der KKT-Stationarität werden die Bedingungen zu

die als Fritz-John-Bedingungen bezeichnet werden . Diese Optimalitätsbedingungen gelten ohne Einschränkungsqualifikationen und sind äquivalent zu der Optimalitätsbedingung KKT oder (nicht-MFCQ) .

Die KKT-Bedingungen gehören zu einer breiteren Klasse der Notwendigen Bedingungen erster Ordnung (FONC), die nicht-glatte Funktionen unter Verwendung von Teilableitungen ermöglichen .

Siehe auch

Verweise

Weiterlesen

Externe Links