RAG ist keine Wahrheitsmaschine

Retrieval-Augmented Generation wirkt auf den ersten Blick wie die elegante Lösung für ein bekanntes Problem. Statt ausschließlich auf parametrisches Modellwissen zu vertrauen, sucht das System passende Informationen in einem externen Bestand und gibt sie dem Modell als Kontext. Quellen können aktualisiert, interne Dokumente einbezogen und Antworten mit Belegen versehen werden.

Das ist ein großer Fortschritt. Es ist aber kein Wahrheitsmechanismus. Ein RAG-System kann die falsche Quelle finden, die richtige Quelle falsch segmentieren, eine gültige Passage übersehen, veraltete Inhalte höher ranken, unzulässige Dokumente abrufen oder die gefundene Evidenz bei der Formulierung verdrehen. Qualität entsteht deshalb nicht an einem einzigen Modellaufruf, sondern entlang einer vollständigen Evidenzkette.

RAG verschiebt das Problem

Ohne Retrieval lautet die zentrale Frage: Was hat das Modell gelernt, und wie zuverlässig kann es dieses Wissen anwenden? Mit RAG kommen neue Fragen hinzu: Befindet sich die benötigte Information überhaupt im Korpus? Ist sie gültig, zugänglich und korrekt beschrieben? Wird die Anfrage richtig verstanden? Findet der Retriever die relevante Passage? Rangiert sie hoch genug? Passt sie in das Kontextfenster? Nutzt das Modell sie treu?

RAG reduziert damit bestimmte Risiken, fügt aber eine komplexe Systemoberfläche hinzu. Die ursprüngliche NeurIPS-Arbeit verband parametrisches Wissen mit einer nichtparametrischen, abrufbaren Wissensquelle und berichtete spezifischere und faktischere Ausgaben als bei einem parametrischen Vergleichssystem. Daraus folgt nicht, dass jede heutige RAG-Pipeline zuverlässig ist. Korpus, Retriever, Ranking, Prompt, Modell und Evaluation unterscheiden sich fundamental.

Ein hilfreiches Denkmodell zerlegt RAG in sechs Kontrollpunkte: Wissen aufnehmen, Kandidaten begrenzen, Evidenz abrufen, Evidenz ordnen, Kontext zusammenstellen und Antwort erzeugen. Jeder Punkt kann Qualität erhöhen oder zerstören.

Ähnlichkeit ist weder Wahrheit noch Autorität

Vektorsuche beantwortet vereinfacht die Frage, welche Repräsentationen einer Anfrage ähnlich sind. Sie beantwortet nicht automatisch, welche Quelle wahr, aktuell, freigegeben oder für diese Person zulässig ist. Ein ausführlicher alter Entwurf kann semantisch näher liegen als eine kurze neue Entscheidung. Eine häufig zitierte Behauptung kann leichter auffindbar sein als ihre spätere Korrektur.

Deshalb braucht Retrieval einen zulässigen Kandidatenraum. Mandant, Berechtigung, Schutzklasse, Gültigkeitszeitraum, Dokumentstatus, Sprache, Region und erlaubter Zweck werden vor oder verbindlich innerhalb der Suche gefiltert. Sicherheitsregeln gehören nicht nur in den Prompt. Das Modell darf Inhalte, für die keine Berechtigung besteht, gar nicht erst erhalten.

Anschließend kann hybride Suche lexikalische und semantische Signale verbinden. Exakte Kennungen, Namen, Paragraphen oder Produktcodes profitieren oft von Schlüsselwortsuche; paraphrasierte Fragen von dichten Repräsentationen. Ein Reranker kann Kandidaten feiner zur konkreten Anfrage bewerten. Diese Komponenten verbessern die Auswahl, ersetzen aber keine Quellenhierarchie und Gültigkeitslogik.

Chunking entscheidet, welche Aussage überhaupt sichtbar wird

Dokumente werden häufig in Abschnitte zerlegt, weil ganze Dateien nicht sinnvoll in Index und Kontext passen. Zu kleine Chunks verlieren Definition, Ausnahme oder zeitlichen Bezug. Zu große Chunks verdünnen das relevante Signal und verbrauchen Kontext. Starre Zeichenlängen können Überschrift vom Absatz, Tabellenkopf von Werten oder Regel von Ausnahme trennen.

Chunking sollte deshalb Struktur respektieren: Überschriften, Absätze, Listen, Tabellen, Seiten, Sprecherwechsel und fachliche Einheiten. Jeder Chunk erbt Dokument-ID, Position, Version, Status, Sprache, Berechtigung und Provenienz. Überlappung kann Kontext erhalten, erzeugt aber Dubletten und darf Trefferstatistiken nicht künstlich aufblasen.

Besonders kritisch sind Beziehungen über mehrere Stellen. Eine Definition steht am Anfang, die Ausnahme drei Seiten später und das Inkrafttreten im Anhang. Kein einzelner Chunk enthält die vollständige Antwort. Parent-Child-Retrieval, Nachbarschaftserweiterung oder mehrstufige Suche können helfen. Entscheidend ist, solche Fälle im Testset abzubilden.

Query Transformation kann helfen und verfälschen

Systeme formulieren Nutzerfragen um, erzeugen Teilfragen, erweitern Synonyme oder erstellen hypothetische Antworten als Suchanker. Das kann Recall erhöhen. Gleichzeitig kann die Transformation Bedeutung verschieben, Einschränkungen entfernen oder aus einer offenen Frage eine unbelegte Annahme machen.

Die Originalanfrage bleibt deshalb erhalten. Jede Umschreibung wird als abgeleitetes Objekt protokolliert und mit Tests verglichen. Bei sensiblen Filtern wie Zeitraum, Person, Produkt oder Rechtsraum dürfen kritische Bedingungen nicht verloren gehen. Für komplexe Fragen ist es oft besser, mehrere Suchanfragen zu erzeugen und ihre Evidenz später zusammenzuführen, statt eine einzige „optimierte" Frage als Wahrheit zu behandeln.

Auch Konversationsverlauf kann stören. Ein Pronomen wie „das" benötigt Kontext, aber alte Gesprächsannahmen dürfen die neue Suche nicht unbemerkt dominieren. Query-Rewriting ist ein kontrollierter Interpretationsschritt, kein unsichtbarer Komfortfilter.

Gefundene Evidenz ist noch keine treue Antwort

Selbst wenn die richtige Passage im Kontext liegt, kann das Modell sie ignorieren, falsch kombinieren oder um Wissen ergänzen, das nicht belegt ist. Eine flüssige Antwort kann stärker formuliert sein als die Quelle. Aus „kann" wird „muss", aus einem Beispiel eine allgemeine Regel, aus Korrelation Kausalität.

Ein Evidence Contract macht die Aufgabe enger. Zentrale Aussagen müssen auf konkrete Passagen verweisen. Widersprüche werden sichtbar benannt. Das Modell unterscheidet direkte Evidenz, zulässige Ableitung und ungesicherte Interpretation. Fehlt ausreichende Evidenz, reduziert es den Anspruch, stellt eine Rückfrage oder antwortet nicht.

Abstention ist damit ein Qualitätsmerkmal. Ein System, das immer antwortet, optimiert Oberfläche statt Verlässlichkeit. Die Schwelle hängt vom Risiko ab: Für Ideensammlung kann eine vorsichtige Hypothese sinnvoll sein; für eine folgenschwere Entscheidung braucht es stärkere Evidenz und häufig menschliche Prüfung.

Zitation ist ein eigener Prüfschritt

Eine Quellenangabe kann vorhanden und trotzdem falsch sein. Der verlinkte Abschnitt kann das Thema erwähnen, ohne die konkrete Aussage zu tragen. Eine Antwort kann eine belegte Passage korrekt zitieren und daneben unbelegte Behauptungen enthalten. Daher müssen mindestens drei Fragen getrennt werden:

1 · Zitationskorrektheit: Trägt die zitierte Passage tatsächlich die zugeordnete Aussage?

2 · Zitationsvollständigkeit: Sind alle wesentlichen überprüfbaren Aussagen belegt?