Kompaktes Sprachmodell mit wenigen Milliarden Parametern, das auf ressourcenarmen Geräten lauffähig ist.
SLMs sind auf Effizienz optimierte Sprachmodelle, die trotz geringer Parameterzahl erstaunliche Leistungen erbringen. Beispiele sind Modelle im Bereich von ein bis sieben Milliarden Parametern.
Durch Techniken wie Quantisierung, Destillation und gezieltes Training auf hochwertigen Daten nähern sich SLMs in spezifischen Aufgaben der Leistung größerer Modelle an.
SLMs eignen sich besonders für Edge-Deployments, datenschutzsensible Anwendungen und Szenarien mit begrenzter Rechenleistung oder Latenzanforderungen.
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.
Reduktion der numerischen Präzision von Modellgewichten, um Speicher und Rechenaufwand zu verringern.
Training eines kleinen Schülermodells mithilfe der weichen Ausgaben eines großen Lehrermodells.
Ausführung von KI-Modellen direkt auf Endgeräten ohne Verbindung zu Cloud-Servern.