Top-P Sampling (Nucleus Sampling)
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
Top-P Sampling, auch Nucleus Sampling genannt, wählt dynamisch die minimale Menge an Tokens, deren kumulierte Wahrscheinlichkeitsmasse einen Schwellenwert P erreicht. Die Auswahl erfolgt dann aus diesem Kern.
Bei sicheren Vorhersagen enthält der Nucleus wenige Tokens; bei unsicheren Vorhersagen viele. Das macht Top-P adaptiver als das starre Top-K.
Top-P = 0.9 bedeutet, dass Tokens ausgewählt werden, die zusammen 90% der Wahrscheinlichkeitsmasse abdecken. Werte zwischen 0.8 und 0.95 sind in der Praxis verbreitet.
Verwandte Begriffe
- Top-K Sampling
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
- Sampling (Stichprobenziehung)
Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
- Temperatur
Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.