Top-K Sampling
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
Top-K-Sampling beschränkt die Auswahl auf die K Tokens mit den höchsten Wahrscheinlichkeiten und normalisiert die Verteilung über diese Kandidaten. So werden sehr unwahrscheinliche Tokens ausgeschlossen.
Ein niedriges K erzeugt konservativere Ausgaben, ein hohes K lässt mehr Variabilität zu. K=1 entspricht Greedy Decoding, das immer das wahrscheinlichste Token wählt.
Top-K hat den Nachteil, eine fixe Anzahl Kandidaten zu verwenden, unabhängig davon, wie spitz oder flach die Wahrscheinlichkeitsverteilung ist. Top-P adressiert dieses Problem adaptiv.
Verwandte Begriffe
- Top-P Sampling (Nucleus Sampling)
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
- Sampling (Stichprobenziehung)
Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
- Temperatur
Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.