Quantisierung
Reduktion der numerischen Präzision von Modellgewichten, um Speicher und Rechenaufwand zu verringern.
Quantisierung reduziert die Bit-Breite von Gewichten und Aktivierungen, etwa von 32-Bit-Float auf 8-Bit-Integer oder 4-Bit. Das verkleinert den Speicherbedarf und beschleunigt Matrixmultiplikationen.
Post-Training Quantization (PTQ) quantisiert ein bereits trainiertes Modell ohne weiteres Training. Quantization-Aware Training (QAT) berücksichtigt die Quantisierung während des Trainings und erzielt bessere Qualität.
Moderne Verfahren wie GPTQ und AWQ minimieren den Qualitätsverlust durch schlaue Kalibrierung. Modelle mit 4-Bit-Quantisierung erreichen oft nahezu gleiche Leistung wie ihre Vollpräzisions-Pendants.
Verwandte Begriffe
- QLoRA
Kombination aus 4-Bit-Quantisierung und LoRA, die Fine-Tuning großer Modelle auf Einzelverbraucher-GPUs ermöglicht.
- LoRA (Low-Rank Adaptation)
Parameter-effiziente Fine-Tuning-Methode, die nur wenige Zusatzparameter in niedrigen Rängen trainiert.
- Wissendestillation (Distillation)
Training eines kleinen Schülermodells mithilfe der weichen Ausgaben eines großen Lehrermodells.
- Edge Inference
Ausführung von KI-Modellen direkt auf Endgeräten ohne Verbindung zu Cloud-Servern.