Temperatur
Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
Die Temperatur skaliert die Logits eines Sprachmodells vor der Softmax-Transformation. Ein Wert nahe null macht die Ausgabe deterministisch (das wahrscheinlichste Token wird fast immer gewählt), hohe Werte verflachen die Verteilung.
Bei kreativen Aufgaben wie Storytelling können höhere Temperaturen vielfältigere Ausgaben erzeugen. Für präzise Aufgaben wie Code-Generierung oder faktische Fragen sind niedrige Temperaturen vorzuziehen.
Temperatur interagiert mit anderen Sampling-Parametern wie Top-p und Top-k. In der Praxis werden diese oft kombiniert, um eine Balance zwischen Kohärenz und Vielfalt zu erreichen.
Verwandte Begriffe
- Sampling (Stichprobenziehung)
Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
- Top-K Sampling
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
- Top-P Sampling (Nucleus Sampling)
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.