Parameter-effiziente Fine-Tuning-Methode, die nur wenige Zusatzparameter in niedrigen Rängen trainiert.
LoRA friert die Gewichte des vortrainierten Modells ein und fügt in ausgewählten Schichten niedrangige Zerlegungsmatrizen hinzu. Nur diese kleinen Zusatzmatrizen werden während des Fine-Tunings trainiert.
Ein LoRA-Adapter kann weniger als ein Prozent der ursprünglichen Parameterzahl ausmachen und ist damit leicht speicherbar und austauschbar. Mehrere Adapter für verschiedene Aufgaben können parallel vorgehalten werden.
LoRA hat Parameter-effizientes Fine-Tuning demokratisiert: Auch mit einer einzelnen Consumer-GPU lassen sich mittelgroße Sprachmodelle für spezifische Aufgaben anpassen.
Kombination aus 4-Bit-Quantisierung und LoRA, die Fine-Tuning großer Modelle auf Einzelverbraucher-GPUs ermöglicht.
Feinjustierung eines vortrainierten Modells auf kuratierten Aufgaben-Antwort-Paaren zur Verhaltenssteuerung.
Reduktion der numerischen Präzision von Modellgewichten, um Speicher und Rechenaufwand zu verringern.
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.