Das Problem: Das Modell war nicht dabei
- Links: Aus dem Kopf: Rät bei Lücken, Stand vom Training, Keine Quelle
- Rechts: Open Book: Schlägt nach, Dokumente austauschbar, Quelle dabei
- Urteil: RAG macht aus der Prüfung im Kopf eine Open-Book-Prüfung.
Ohne Nachschlagen rät das Modell bei Lücken. Mit Nachschlagen antwortet es aus deinen Dokumenten.
Ein Sprachmodell hat beim Training sehr viel Text gelesen. Dein Handbuch, dein Vertrag und das Protokoll von gestern waren nicht dabei. Fragst du danach, hat es zwei Möglichkeiten: zugeben, dass es das nicht weiß, oder etwas Plausibles erfinden. Das Zweite passiert oft. Man nennt es Halluzination.
Dazu kommt ein zweites Problem. Auch das Wissen, das im Modell steckt, ist ein Schnappschuss vom Zeitpunkt des Trainings. Wer fragt, was heute in der Preisliste steht, bekommt bestenfalls den Stand von irgendwann.
Die Grundidee: erst nachschlagen, dann antworten
- Frage
- Suchen (Retrieval)
- Fundstellen (passende Absätze)
- Modell (Generation)
- Antwort (mit Quelle)
Erst sucht ein Programm die passenden Stellen, dann formuliert das Modell die Antwort.
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa: Antworten erzeugen, ergänzt durch Nachschlagen. Der Ablauf hat zwei Hälften. Zuerst sucht ein Programm in deinen Dokumenten die Stellen, die zur Frage passen (Retrieval). Dann bekommt das Sprachmodell die Frage zusammen mit diesen Stellen und formuliert eine Antwort (Generation).
Das Wissen liegt dabei nicht im Modell, sondern in deinen Dokumenten. Du kannst sie austauschen, ergänzen und löschen, ohne am Modell etwas zu ändern.
Die Pipeline in einem Bild
- Aufbereiten (PDF, Word, Web)
- Zerlegen (Chunks)
- Vektorisieren (Zahlenlisten)
- Speichern (Index)
- Suchen (nach Nähe)
- Sortieren (optional)
- Antworten (mit Quelle)
Vorab wird einmal aufbereitet. Bei jeder Frage laufen Suche und Antwort.
Es gibt zwei Phasen. Die erste läuft vorab und immer dann, wenn sich Dokumente ändern. Die zweite läuft bei jeder Frage. Zusammen heißen die Schritte Pipeline: Das Ergebnis eines Schritts ist die Eingabe des nächsten.
- Vorbereitung 1, Aufbereiten: Text aus PDF, Word oder Webseiten holen, Kopfzeilen und Müll entfernen.
- Vorbereitung 2, Zerlegen: Den Text in kleine, sinnvolle Stücke teilen (Chunks). Mehr dazu auf der Seite Chunking.
- Vorbereitung 3, Vektorisieren: Jedes Stück wird zu einer Liste von Zahlen, die seine Bedeutung beschreibt. Siehe Vektorisieren und Embeddings.
- Vorbereitung 4, Speichern: Stücke, Zahlen und Herkunft kommen in einen Index, das ist die durchsuchbare Ablage.
- Abfrage 1, Suchen: Die Frage wird genauso in Zahlen verwandelt. Die Stücke mit der größten Nähe sind die Treffer. Siehe Suchen.
- Abfrage 2, Sortieren (optional): Die besten Kandidaten werden noch einmal genauer geprüft, siehe Reranking.
- Abfrage 3, Antworten: Die Treffer gehen mit der Frage an das Sprachmodell. Es antwortet und nennt die Quelle.
| Schritt | Läuft wann | Typischer Fehler |
|---|---|---|
| Aufbereiten | einmal, bei Änderung | Text aus dem PDF ist durcheinander, Tabellen sind zerrissen |
| Zerlegen | einmal, bei Änderung | Die Antwort liegt halb im einen, halb im anderen Stück |
| Vektorisieren | einmal, bei Änderung | Falsches Modell oder zu langer Text, Bedeutung verwischt |
| Suchen | bei jeder Frage | Der richtige Absatz liegt auf Platz 12 statt auf Platz 2 |
| Antworten | bei jeder Frage | Das Modell überliest die Fundstelle oder ergänzt aus eigenem Wissen |
Was das Modell am Ende bekommt
- Anweisung (nur mit den Auszügen)
- Fundstellen (Treffer mit Quelle)
- Frage (deine Frage)
Ein Prompt aus drei Teilen. Die Anweisung hält das Modell bei den Auszügen.
Im Kern ist es ein gewöhnlicher Prompt mit drei Teilen: einer Anweisung, den Fundstellen und deiner Frage. Die Anweisung lautet sinngemäß: Antworte nur mit den folgenden Auszügen. Steht die Antwort nicht darin, sage das und nenne die Quelle.
Der Satz „nur mit den Auszügen“ ist wichtig. Ohne ihn mischt das Modell gern eigenes Halbwissen dazu. Die Quellenangabe macht die Antwort prüfbar: Du öffnest die Fundstelle und siehst, ob es stimmt. Das ist der eigentliche Gewinn gegenüber einem Chat ohne Dokumente.
Wann RAG die richtige Wahl ist
- Langer Prompt (Wissen in der Anfrage)
- RAG (Wissen im Dokument)
- Fine-Tuning (Wissen im Modell)
Fakten gehören ins Dokument, Verhalten und Stil ins Modell.
Es gibt drei Wege, einem Modell Wissen zu geben. Der erste ist ein langer Prompt: Du kopierst alles Wichtige in die Frage. Der zweite ist RAG. Der dritte ist die Feinabstimmung (Fine-Tuning): Das Modell wird mit eigenen Beispielen nachtrainiert.
Als Faustregel gilt: Fakten gehören ins Dokument, Verhalten und Stil gehören ins Modell. Ein langer Prompt genügt, wenn die gesamte Wissensmenge klein ist, zum Beispiel ein paar Seiten, und sich selten ändert. Er wird teuer und unscharf, wenn du bei jeder Frage hunderte Seiten mitschickst. Das Kontextfenster ist begrenzt, jede mitgeschickte Seite kostet Rechenzeit, und Modelle gehen mit sehr langen Texten oft weniger sorgfältig um.
| Weg | Wo das Wissen steckt | Gut für | Schwach bei |
|---|---|---|---|
| Langer Prompt | in jeder einzelnen Anfrage | kleine, stabile Wissensmengen, schnelle Versuche | viel Text, häufigen Änderungen, Kosten je Anfrage |
| RAG | in deinen Dokumenten, außerhalb des Modells | große oder wechselnde Wissensbestände, Quellenangabe, Zugriffsrechte | Fragen über die ganze Sammlung, schlechte Quellen |
| Fine-Tuning | in den Zahlen des Modells | Tonfall, Format, feste Arbeitsweise | aktuellen Fakten, Nachweis der Quelle, schnellem Ändern |
Was RAG nicht löst
- Schlechte Quellen (kommen mit Quelle zurück)
- Fragen über alles (nur wenige Stellen)
- Rechnen (dafür Werkzeuge)
- Widersprüche (keine sichere Wahl)
- Fehlende Rechte (Datenleck)
RAG macht schlechte Quellen nicht besser und rechnet nicht über die ganze Sammlung.
RAG ist kein Wundermittel. Fünf Grenzen solltest du kennen:
- Schlechte Quellen: Steht im Dokument Veraltetes oder Falsches, kommt es mit Quellenangabe zurück. RAG macht schlechtes Material nicht besser.
- Fragen über alles: „Was sind die häufigsten Beschwerden der letzten Jahre?“ Die Suche liefert wenige Stellen, keine Gesamtübersicht. Dafür braucht man Auswertung in Daten.
- Rechnen und Logik: Ein Sprachmodell rechnet nicht verlässlich. Dafür gibt es Werkzeuge, siehe Agent.
- Widersprüche: Sagen zwei Dokumente Verschiedenes, entscheidet das Modell nicht zuverlässig, welches gilt.
- Fehlende Rechte: Ein RAG-System, das jedem alles zeigt, ist ein Datenleck mit freundlicher Oberfläche.
So nutzt du diese Reihe
- Seite 1: Vektorisieren
- Seite 2: Zerlegen
- Seite 3: Suchen
- Seite 4: Nachsortieren
- Seite 5: Messen
Die nächsten fünf Seiten folgen der Pipeline, von den Zahlen bis zur Messung.
Die folgenden fünf Seiten folgen der Pipeline: Vektorisieren, Zerlegen, Suchen, Nachsortieren und Messen. Jede Seite erklärt den Schritt von null, mit einem Alltagsbild und mit den Stolpersteinen, die man aus Erfahrung kennt.
Wenn du sehen willst, wie das auf dem Jetson abläuft, öffne die RAG-Werkstatt. Sie zerlegt deinen Text, bettet ihn mit nomic-embed-text ein, sucht und lässt llama3.2:3b antworten. Hintergründe zu Sprachmodellen findest du bei Generative KI, zum Begriff der Ähnlichkeit bei Maschinelles Lernen, und ein Modell zum Ausprobieren im Chat-Labor.