Small Language Model (SLM)
Kompaktes Sprachmodell mit wenigen Milliarden Parametern, das auf ressourcenarmen Geräten lauffähig ist.
SLMs sind auf Effizienz optimierte Sprachmodelle, die trotz geringer Parameterzahl erstaunliche Leistungen erbringen. Beispiele sind Modelle im Bereich von ein bis sieben Milliarden Parametern.
Durch Techniken wie Quantisierung, Destillation und gezieltes Training auf hochwertigen Daten nähern sich SLMs in spezifischen Aufgaben der Leistung größerer Modelle an.
SLMs eignen sich besonders für Edge-Deployments, datenschutzsensible Anwendungen und Szenarien mit begrenzter Rechenleistung oder Latenzanforderungen.
Verwandte Begriffe
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.
- Quantisierung
Reduktion der numerischen Präzision von Modellgewichten, um Speicher und Rechenaufwand zu verringern.
- Wissendestillation (Distillation)
Training eines kleinen Schülermodells mithilfe der weichen Ausgaben eines großen Lehrermodells.
- Edge Inference
Ausführung von KI-Modellen direkt auf Endgeräten ohne Verbindung zu Cloud-Servern.