Aufteilung langer Dokumente in kleinere Abschnitte, die effizient indexiert und abgerufen werden können.
Chunking ist ein kritischer Schritt in RAG-Pipelines: Da Embedding-Modelle und Kontextfenster begrenzte Längen haben, müssen lange Dokumente in handhabbare Einheiten aufgeteilt werden.
Naive Aufteilung nach fixer Zeichenanzahl reißt oft zusammenhängende Informationen auseinander. Semantisches Chunking orientiert sich an Absätzen, Sätzen oder thematischen Einheiten.
Überlappende Chunks verhindern, dass Information an Grenzen verloren geht. Hierarchisches Chunking mit zusammenfassenden übergeordneten Chunks verbessert das Retrieval bei komplexen Dokumenten.
Architektur, die Sprachmodelle mit externer Wissenssuche kombiniert, um Antworten zu verankern.
Dichte Vektordarstellung von Text, Bildern oder anderen Daten in einem hochdimensionalen Raum.
Datenbanksystem, das hochdimensionale Vektoren speichert und effiziente Ähnlichkeitssuchen ermöglicht.
Spezialisiertes Modell, das Texte in dichte Vektoren für semantische Suche und RAG umwandelt.