Regression-Test
Automatisierter Test, der nach Modellaktualisierungen sicherstellt, dass bekannte Fähigkeiten erhalten bleiben.
Regression-Tests in KI-Systemen prüfen, ob Änderungen am Modell oder Prompt ungewollte Verschlechterungen auf zuvor gut gelösten Aufgaben verursachen. Sie schützen vor unbeabsichtigten Seiteneffekten.
Da KI-Ausgaben nicht deterministisch sind, müssen Regression-Tests mit Toleranzgrenzen und statistischen Methoden arbeiten. Mittelwerte über mehrere Durchläufe erhöhen die Zuverlässigkeit der Bewertung.
Automatische Evaluierungspipelines mit Golden Datasets sind die Basis für zuverlässige kontinuierliche Integration in KI-Produktionssystemen. Ohne sie sind Modellaktualisierungen riskant.
Verwandte Begriffe
- Golden Dataset
Kuratierter Referenzdatensatz mit verifizierten Antworten als Maßstab für Modell- und Systemevaluierung.
- Benchmark
Standardisierter Datensatz und Metrik zur vergleichbaren Bewertung von KI-Modellen.
- LLM-as-Judge
Evaluierungsansatz, bei dem ein starkes Sprachmodell die Ausgabequalität anderer Modelle bewertet.
- Human Evaluation
Bewertung von KI-Ausgaben durch menschliche Annotatoren als Goldstandard der Qualitätsmessung.