Mathematische Funktion, die den Fehler zwischen Modellvorhersage und tatsächlichem Zielwert misst.
Die Verlustfunktion ist das Optimierungsziel des Trainings. Sie quantifiziert, wie weit die Modellausgabe von der gewünschten Ausgabe entfernt ist. Der Gradientenabstieg minimiert diese Funktion.
Für Sprachmodelle ist Cross-Entropy Loss über die Token-Wahrscheinlichkeiten die Standard-Verlustfunktion. Für Klassifikation wird oft Binary Cross-Entropy oder Categorical Cross-Entropy verwendet.
Die Wahl der Verlustfunktion beeinflusst stark, was das Modell optimiert. Eine schlecht gewählte Verlustfunktion kann zu Reward Hacking führen, bei dem das Modell die Metrik optimiert, aber nicht das eigentliche Ziel.
Optimierungsverfahren, das Modellparameter iterativ in Richtung des steilsten Fehlerabfalls aktualisiert.
Algorithmus zur effizienten Berechnung von Gradienten in neuronalen Netzen mittels Kettenregel.
Fehler, bei dem ein Modell Trainingsdaten auswendig lernt und auf neuen Daten schlecht generalisiert.
RLHF-Alternative, die menschliche Präferenzen direkt in die Verlustfunktion integriert ohne separates RL.