Backpropagation (Fehlerrückübertragung)
Algorithmus zur effizienten Berechnung von Gradienten in neuronalen Netzen mittels Kettenregel.
Backpropagation berechnet den Gradienten der Verlustfunktion bezüglich aller Modellparameter. Es wendet dazu die Kettenregel der Ableitung rückwärts durch das Netz an.
Der Algorithmus ist die Grundlage des gesamten Deep-Learning-Trainings. Modernes Automatic Differentiation in Frameworks wie PyTorch übernimmt die Gradient-Berechnung automatisch.
Numerische Stabilitätsprobleme wie explodierende oder verschwindende Gradienten sind klassische Herausforderungen. Gradient Clipping und Residualverbindungen sind verbreitete Gegenmaßnahmen.
Verwandte Begriffe
- Gradientenabstieg (Gradient Descent)
Optimierungsverfahren, das Modellparameter iterativ in Richtung des steilsten Fehlerabfalls aktualisiert.
- Verlustfunktion (Loss Function)
Mathematische Funktion, die den Fehler zwischen Modellvorhersage und tatsächlichem Zielwert misst.
- Neuronales Netz
Vom Gehirn inspiriertes Berechnungsmodell aus verbundenen Knoten, das Funktionen aus Daten approximiert.
- Residualverbindung (Skip Connection)
Verbindung, die den Eingang einer Schicht direkt zum Ausgang addiert und tiefe Netze trainierbar macht.