Halluzination
Tendenz von Sprachmodellen, plausibel klingende, aber faktisch falsche Informationen zu generieren.
Halluzinationen entstehen, weil Sprachmodelle darauf trainiert sind, wahrscheinliche Fortsetzungen zu generieren, nicht auf Faktentreue zu prüfen. Das Modell 'erfindet' überzeugend klingende Details.
Halluzinationen treten besonders bei seltenen Fakten, spezifischen Zahlen, Zitaten und aktuellen Ereignissen auf. Bei verbreiteten Fakten aus dem Trainingsdaten sind Modelle deutlich verlässlicher.
Strategien zur Reduktion umfassen RAG, das Modell mit verifizierten Quellen zu verankern, sowie Instruction Tuning auf Faktentreue. Eine vollständige Eliminierung ist bisher nicht gelungen.
Verwandte Begriffe
- Retrieval-Augmented Generation (RAG)
Architektur, die Sprachmodelle mit externer Wissenssuche kombiniert, um Antworten zu verankern.
- Large Language Model (LLM)
Ein großes, auf Text trainiertes Sprachmodell — das Fundament moderner generativer KI.
- Guardrails (Leitplanken)
Technische und inhaltliche Schutzmaßnahmen, die unerwünschte KI-Ausgaben verhindern.
- Golden Dataset
Kuratierter Referenzdatensatz mit verifizierten Antworten als Maßstab für Modell- und Systemevaluierung.