Sampling (Stichprobenziehung)
Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
Beim Sampling wird das nächste Token zufällig entsprechend der vom Modell berechneten Wahrscheinlichkeitsverteilung ausgewählt. So entsteht natürlichere und vielfältigere Sprache als bei deterministischen Methoden.
Greedy Decoding, Beam Search und verschiedene Sampling-Strategien bieten unterschiedliche Tradeoffs zwischen Qualität, Vielfalt und Rechenaufwand. Für viele Anwendungen hat Sampling mit Top-P und Temperatur Beam Search abgelöst.
Speculative Sampling ist eine Technik zur Beschleunigung: Ein kleines Modell schlägt Token-Sequenzen vor, die ein großes Modell dann parallel verifiziert oder verwirft.
Verwandte Begriffe
- Temperatur
Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
- Top-K Sampling
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
- Top-P Sampling (Nucleus Sampling)
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.