Unterabschnitte
Quickprop nutzt aus, dass die Fehleroberfläche quadratisch ist
14. Nach einem Backprop-Schritt - wobei wir uns den Fehler merken, der vor diesem Schritt aktuell war - können wir mit Hilfe des neuen Fehlers das Minimum der Parabel berechnen und direkt ins Minimum springen.
Allerdings haben wir mehrere Fälle, wo wir Quickprop nicht anwenden können:
- Parabel ist falsch herum. Ihr Extrempunkt, in welchen wir hineinspringen würden, ist ein Maximum.
- über steile Schluchten wird hinweggesprungen
- ...
Backprop wird dann angewandt, wenn wir kein Quickprop anwenden können. Wollen wir all diese Fallunterscheidungen machen, lohnt sich Quickprop gar nicht mehr und wir machen lieber Backprop.
Wir springen gleich mit zwei Gewichten ins Minimum. Wir benötigen die Hessische Matrix. Diese ist relativ gross.
Wir können mit Hilfe einer Funktionalmatrix (gigantisch gross) das Problem sofort ausrechnen. Dies können wir mit dem Levenberg-Marquardt-Verfahren.