Algorithmus zur effizienten Berechnung von Gradienten in neuronalen Netzen mittels Kettenregel.
Backpropagation berechnet den Gradienten der Verlustfunktion bezüglich aller Modellparameter. Es wendet dazu die Kettenregel der Ableitung rückwärts durch das Netz an.
Der Algorithmus ist die Grundlage des gesamten Deep-Learning-Trainings. Modernes Automatic Differentiation in Frameworks wie PyTorch übernimmt die Gradient-Berechnung automatisch.
Numerische Stabilitätsprobleme wie explodierende oder verschwindende Gradienten sind klassische Herausforderungen. Gradient Clipping und Residualverbindungen sind verbreitete Gegenmaßnahmen.
Optimierungsverfahren, das Modellparameter iterativ in Richtung des steilsten Fehlerabfalls aktualisiert.
Mathematische Funktion, die den Fehler zwischen Modellvorhersage und tatsächlichem Zielwert misst.
Vom Gehirn inspiriertes Berechnungsmodell aus verbundenen Knoten, das Funktionen aus Daten approximiert.
Verbindung, die den Eingang einer Schicht direkt zum Ausgang addiert und tiefe Netze trainierbar macht.