Einführung in die Optimierung
WS 2025/26

Dozent:

• Prof. Dr. Florian Jarre

Übungsleiter:

• Melinda Hagedorn (Übungen)

Korrektur der Übungen:

• Katherina Pukhova (Katherina.Pukhova@hhu.de)

Termine:

Vorlesung:

Di, 10:30-12:00 in 25.22.02.81 (neu) und Mi, 10:30-12:00 in 25.22.02.81 (neu)

Übungen:

Di, 14:30-16:00 in 25.22.U1.52 Mi, 14:30-16:00 in 25.22.02.81 (neu)

Rechtliches:

In den Veranstaltungen zu dieser Vorlesung sind Ton- und Videoaufzeichnungen nicht gestattet.

Inhalte:

Minimierung von Funktionen mehrerer Veränderlicher ohne Nebenbedingungen, Beispiele aus dem Bereich Machine Learning, Lineare Programme, Simplex-Methode, Innere-Punkte-Verfahren, Support Vector Machines, Gleichgewichtsprobleme, Optimierung auf Netzwerken

Bis 16.12.2025:

Kapitel 2, Abschnitte 2.1, 2.2, 2.4, 2.5.

Kapitel 3, Abschnitte 3.1 bis 3.5, Abschnitt 3.7.1 (ohne den Exkurs von Problem (3.7.3) bis (3.7.7)), Abschnitt 3.9.

Kapitel 4, Abschnitte 4.2 bis 4.4 und 4.7.

Kapitel 5, bis einschließlich Abschnitt 5.3.2

Kapitel 6, Abschnitt 6.1 und 6.2.3.

16.12.2025: Kapitel 6, Abschnitt 6.2.4, das Verfahren des steilsten Abstiegs für konvexe quadratische Funktionen; Konvergenzrate in Abhängigkeit von der Kondition der Hessematrix.

17.12.2025: Das cg-Verfahren und die Konvergenz des cg-Verfahrens, der Ansatz der Präkonditionierung, aber Algorithmus 6.3.7 wurde noch nicht im Detail besprochen.

6.1.2026: Das präkonditionierte cg-Verfahren, das Verfahren von Polak und Ribiere 6.3.2, stochastische Gradienten-Verfahren 6.4.1.

7.1.2026: Verfahren mit festen Schrittweiten zur Minimierung von konvexen quadratischen Funktionen (Es handelt sich um eine zehn-seitige PDF. Falls Sie Probleme haben, diese zu öffnen, laden Sie die Datei zunächst auf Ihr Gerät. Alternativ steht die Datei auch auf der ILIAS-Seite des Kurses zur Verfügung.)

13.1.2026: Momentum-Methode, Trust-Region-Verfahren bis Algorithmus 6.5.2

14.1.2026: Optimalitätsbedingungen der Trust-Region-Teilprobleme, Lösungsansatz von More und Sorensen.

20.1.2026: Implementierung des Ansatzes von More und Sorensen, Konvergenz des Trust-Region-Verfahrens bis einschließlich Satz 6.5.11

21.1.2026: Abschließende Bemerkungen zu den Trust-Region-Verfahrens, Satz 6.5.15 ohne Beweis. Das Newton-Verfahren, Beweis der lokalen quadratischen Konvergenz, affine Invarianz. Idee der Quasi-Newton-Verfahren, erster Teil des Beweises von Satz 6.7.3.

27.1.2026: Quasi-Newton-Verfahren bis Satz 6.7.16.

28.1.2026: Abschließende Bemerkungen zu Quasi-Newton-Verfahren, Diskussion von PSB- und BFGS-Verfahren, Kapitel 6.8, Beispiel für fehlende Konvergenz des Gauß-Newton-Verfahrens und Zusammenhang zwischen Kovergenz und Norm der Ausgleichsfunktion im Optimalpunkt. Quasi-Newton-Bdingung bei Ausgleichsproblemen.

3.2.2026: Kapitel 6.9, Anwendung von Innere-Punkte-Verfahren auf konvexe quadratische Programme (nicht mehr klausurrelevant). Einführung zu Support Vector Machines. Ergänzung dazu in Mathematische Einführung zu SVMs.

4.2.2026: Besprechung der Probeklausur (die Sie im ILIAS im Ordner "Sonstiges" finden). Die Komplementarität bei den Optimalitätsbedingungen für das Trust-Region-Teilproblem entspricht der Komplementarität bei linearen Programmen. Wenn eine Ungleichungsrestriktion ``x_i >= 0'' nicht mit Gleichheit erfüllt ist, so muss der zugehörige Multiplikator ``s_i'' gleich Null sein. Handschriftliche Herleitung des Zusammenhangs zwischen x_i und s_i bei linearen Programmen.

Klausuren:

Die erste Klausur findet am 9.2.26 um 12 Uhr im Hörsaal 5F statt.
Die zweite Klausur findet am 31.3.26 um 12 Uhr im Hörsaal 5E statt.
Als Hilfsmittel ist in den Klausuren ein beidseitig beschriebenes Notizblatt
(Format DIN A4) zugelassen. Auf diesem Blatt muss Ihr Name stehen.
Die Klausur-Einsicht wird am Mittwoch, dem 11.2.26, von 11 bis 12 Uhr in Raum 25.22.02.52 stattfinden.

Zulassung:

Sie erwerben die Zulassung zur schriftlichen Prüfung, wenn Sie mindestens
40% der erreichbaren Übungspunkte in diesem Semester erzielt haben und mindestens 2 Programmieraufgaben erfolgreich bearbeitet haben.

Literatur:

• Jarre, F., Stoer, J.: Optimierung, Springer, 2. Auflage, 2019
• J. Nocedal, S.J. Wright, Numerical Optimization, 2nd edition, Springer 2006
• C. Geiger, C. Kanzow, Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben Springer, 1999
• C. Geiger, C. Kanzow, Theorie und Numerik restringierter Optimierungsaufgaben Springer, 2002

Anmeldung:

Falls Sie sich noch nicht im LSF angemeldet haben, so holen Sie das bitte jetzt nach.

Bearbeitung und Abgabe:

• Die Übungen dienen der Einübung des Lehrstoffes und der Vorbereitung auf die Prüfung und sind ein wichtiger Teil der Lehrveranstaltung. Für die Bearbeitung der Aufgaben ist die Kenntnis des in der Vorlesung behandelten Stoffes erforderlich.
• Jede Woche wird ein Übungsblatt auf dieser Seite online bereit gestellt. Die Abgabe erfolgt über die ILIAS-Seite des Kurses.
• Die Programmieraufgaben sind wesentlicher Bestandteil der Aufgabe, sich durch die üblichen Programmier-Fehler ``durchzubeißen''; Falls Sie die Programmieraufgaben frühzeitig bearbeiten, können Sie sich mit Fragen und Problemen an Ihren Übungsgruppenleiter wenden. Dieser bemüht sich dann, Ihnen Hinweise zukommen zu lassen, mit denen Sie eine korrekte Abgabe bis zum vorgegebenen Termin vornehmen können.
• Blatt 13
• Blatt 12
• Blatt 11
• Blatt 10
• Blatt 9
• Blatt 8
• Blatt 7
• Blatt 6
• Blatt 5
• Blatt 4
• Blatt 3
• Blatt 2
• Blatt 1

Rechtliches