Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
Beim Sampling wird das nächste Token zufällig entsprechend der vom Modell berechneten Wahrscheinlichkeitsverteilung ausgewählt. So entsteht natürlichere und vielfältigere Sprache als bei deterministischen Methoden.
Greedy Decoding, Beam Search und verschiedene Sampling-Strategien bieten unterschiedliche Tradeoffs zwischen Qualität, Vielfalt und Rechenaufwand. Für viele Anwendungen hat Sampling mit Top-P und Temperatur Beam Search abgelöst.
Speculative Sampling ist eine Technik zur Beschleunigung: Ein kleines Modell schlägt Token-Sequenzen vor, die ein großes Modell dann parallel verifiziert oder verwirft.
Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.