Sampling-Parameter, der die Zufälligkeit der Token-Auswahl steuert — höher bedeutet kreativer.
Die Temperatur skaliert die Logits eines Sprachmodells vor der Softmax-Transformation. Ein Wert nahe null macht die Ausgabe deterministisch (das wahrscheinlichste Token wird fast immer gewählt), hohe Werte verflachen die Verteilung.
Bei kreativen Aufgaben wie Storytelling können höhere Temperaturen vielfältigere Ausgaben erzeugen. Für präzise Aufgaben wie Code-Generierung oder faktische Fragen sind niedrige Temperaturen vorzuziehen.
Temperatur interagiert mit anderen Sampling-Parametern wie Top-p und Top-k. In der Praxis werden diese oft kombiniert, um eine Balance zwischen Kohärenz und Vielfalt zu erreichen.
Verfahren zur Token-Auswahl bei der Textgenerierung auf Basis der Wahrscheinlichkeitsverteilung des Modells.
Sampling-Methode, die nur aus den K wahrscheinlichsten nächsten Token auswählt.
Sampling-Methode, die den kleinsten Token-Satz wählt, dessen kumulative Wahrscheinlichkeit P überschreitet.
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.