Trainingsstrategie, die Beispiele vom Einfachen zum Schwierigen anordnet, analog zum menschlichen Lernen.
Curriculum Learning strukturiert die Trainingsreihenfolge nach Schwierigkeit. Das Modell beginnt mit einfachen Beispielen und steigert sich schrittweise zu komplexen, was Konvergenz beschleunigen kann.
Die Herausforderung liegt in der Definition von 'Schwierigkeit': Dies kann durch Verlustgröße, Datenlänge, syntaktische Komplexität oder externe Metriken operationalisiert werden.
Im Kontext von LLM-Pretraining werden manchmal einfachere Texte zu Beginn und komplexere Texte gegen Ende des Trainings gewichtet stärker eingebracht, um Stabilitätsprobleme früh zu vermeiden.
Erste Trainingsphase, in der ein Modell auf riesigen Textmengen grundlegendes Sprach- und Weltwissen erwirbt.
Künstlich erzeugte Trainingsdaten, oft von Sprachmodellen generiert, um reale Daten zu ergänzen oder ersetzen.
Feinjustierung eines vortrainierten Modells auf kuratierten Aufgaben-Antwort-Paaren zur Verhaltenssteuerung.
Mathematische Funktion, die den Fehler zwischen Modellvorhersage und tatsächlichem Zielwert misst.