Wissen und RAG

RAG im Überblick

Kurz gesagt: RAG lässt ein Sprachmodell erst in deinen Dokumenten nachschlagen und dann antworten, mit Quelle. Die Antwort ist nur so gut wie die gefundenen Stellen: Suche und Aufbereitung entscheiden mehr als das Modell. Fakten gehören ins Dokument, Verhalten und Stil ins Modell.

Ein Sprachmodell kennt deine Dokumente nicht. RAG lässt es vor jeder Antwort darin nachschlagen.

Das Problem: Das Modell war nicht dabei

Vergleich
  • Links: Aus dem Kopf: Rät bei Lücken, Stand vom Training, Keine Quelle
  • Rechts: Open Book: Schlägt nach, Dokumente austauschbar, Quelle dabei
  • Urteil: RAG macht aus der Prüfung im Kopf eine Open-Book-Prüfung.

Ohne Nachschlagen rät das Modell bei Lücken. Mit Nachschlagen antwortet es aus deinen Dokumenten.

Ein Sprachmodell hat beim Training sehr viel Text gelesen. Dein Handbuch, dein Vertrag und das Protokoll von gestern waren nicht dabei. Fragst du danach, hat es zwei Möglichkeiten: zugeben, dass es das nicht weiß, oder etwas Plausibles erfinden. Das Zweite passiert oft. Man nennt es Halluzination.

Dazu kommt ein zweites Problem. Auch das Wissen, das im Modell steckt, ist ein Schnappschuss vom Zeitpunkt des Trainings. Wer fragt, was heute in der Preisliste steht, bekommt bestenfalls den Stand von irgendwann.

Die Grundidee: erst nachschlagen, dann antworten

Ablauf
  • Frage
  • Suchen (Retrieval)
  • Fundstellen (passende Absätze)
  • Modell (Generation)
  • Antwort (mit Quelle)

Erst sucht ein Programm die passenden Stellen, dann formuliert das Modell die Antwort.

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa: Antworten erzeugen, ergänzt durch Nachschlagen. Der Ablauf hat zwei Hälften. Zuerst sucht ein Programm in deinen Dokumenten die Stellen, die zur Frage passen (Retrieval). Dann bekommt das Sprachmodell die Frage zusammen mit diesen Stellen und formuliert eine Antwort (Generation).

Das Wissen liegt dabei nicht im Modell, sondern in deinen Dokumenten. Du kannst sie austauschen, ergänzen und löschen, ohne am Modell etwas zu ändern.

Die Pipeline in einem Bild

Ablauf
  • Aufbereiten (PDF, Word, Web)
  • Zerlegen (Chunks)
  • Vektorisieren (Zahlenlisten)
  • Speichern (Index)
Ablauf
  • Suchen (nach Nähe)
  • Sortieren (optional)
  • Antworten (mit Quelle)

Vorab wird einmal aufbereitet. Bei jeder Frage laufen Suche und Antwort.

Es gibt zwei Phasen. Die erste läuft vorab und immer dann, wenn sich Dokumente ändern. Die zweite läuft bei jeder Frage. Zusammen heißen die Schritte Pipeline: Das Ergebnis eines Schritts ist die Eingabe des nächsten.

  • Vorbereitung 1, Aufbereiten: Text aus PDF, Word oder Webseiten holen, Kopfzeilen und Müll entfernen.
  • Vorbereitung 2, Zerlegen: Den Text in kleine, sinnvolle Stücke teilen (Chunks). Mehr dazu auf der Seite Chunking.
  • Vorbereitung 3, Vektorisieren: Jedes Stück wird zu einer Liste von Zahlen, die seine Bedeutung beschreibt. Siehe Vektorisieren und Embeddings.
  • Vorbereitung 4, Speichern: Stücke, Zahlen und Herkunft kommen in einen Index, das ist die durchsuchbare Ablage.
  • Abfrage 1, Suchen: Die Frage wird genauso in Zahlen verwandelt. Die Stücke mit der größten Nähe sind die Treffer. Siehe Suchen.
  • Abfrage 2, Sortieren (optional): Die besten Kandidaten werden noch einmal genauer geprüft, siehe Reranking.
  • Abfrage 3, Antworten: Die Treffer gehen mit der Frage an das Sprachmodell. Es antwortet und nennt die Quelle.
Jeder Schritt hat seine eigenen Fehlerquellen
SchrittLäuft wannTypischer Fehler
Aufbereiteneinmal, bei ÄnderungText aus dem PDF ist durcheinander, Tabellen sind zerrissen
Zerlegeneinmal, bei ÄnderungDie Antwort liegt halb im einen, halb im anderen Stück
Vektorisiereneinmal, bei ÄnderungFalsches Modell oder zu langer Text, Bedeutung verwischt
Suchenbei jeder FrageDer richtige Absatz liegt auf Platz 12 statt auf Platz 2
Antwortenbei jeder FrageDas Modell überliest die Fundstelle oder ergänzt aus eigenem Wissen

Was das Modell am Ende bekommt

Schichten
  • Anweisung (nur mit den Auszügen)
  • Fundstellen (Treffer mit Quelle)
  • Frage (deine Frage)

Ein Prompt aus drei Teilen. Die Anweisung hält das Modell bei den Auszügen.

Im Kern ist es ein gewöhnlicher Prompt mit drei Teilen: einer Anweisung, den Fundstellen und deiner Frage. Die Anweisung lautet sinngemäß: Antworte nur mit den folgenden Auszügen. Steht die Antwort nicht darin, sage das und nenne die Quelle.

Der Satz „nur mit den Auszügen“ ist wichtig. Ohne ihn mischt das Modell gern eigenes Halbwissen dazu. Die Quellenangabe macht die Antwort prüfbar: Du öffnest die Fundstelle und siehst, ob es stimmt. Das ist der eigentliche Gewinn gegenüber einem Chat ohne Dokumente.

Wann RAG die richtige Wahl ist

Übersicht
  • Langer Prompt (Wissen in der Anfrage)
  • RAG (Wissen im Dokument)
  • Fine-Tuning (Wissen im Modell)

Fakten gehören ins Dokument, Verhalten und Stil ins Modell.

Es gibt drei Wege, einem Modell Wissen zu geben. Der erste ist ein langer Prompt: Du kopierst alles Wichtige in die Frage. Der zweite ist RAG. Der dritte ist die Feinabstimmung (Fine-Tuning): Das Modell wird mit eigenen Beispielen nachtrainiert.

Als Faustregel gilt: Fakten gehören ins Dokument, Verhalten und Stil gehören ins Modell. Ein langer Prompt genügt, wenn die gesamte Wissensmenge klein ist, zum Beispiel ein paar Seiten, und sich selten ändert. Er wird teuer und unscharf, wenn du bei jeder Frage hunderte Seiten mitschickst. Das Kontextfenster ist begrenzt, jede mitgeschickte Seite kostet Rechenzeit, und Modelle gehen mit sehr langen Texten oft weniger sorgfältig um.

Drei Wege, Wissen ins Spiel zu bringen
WegWo das Wissen stecktGut fürSchwach bei
Langer Promptin jeder einzelnen Anfragekleine, stabile Wissensmengen, schnelle Versucheviel Text, häufigen Änderungen, Kosten je Anfrage
RAGin deinen Dokumenten, außerhalb des Modellsgroße oder wechselnde Wissensbestände, Quellenangabe, ZugriffsrechteFragen über die ganze Sammlung, schlechte Quellen
Fine-Tuningin den Zahlen des ModellsTonfall, Format, feste Arbeitsweiseaktuellen Fakten, Nachweis der Quelle, schnellem Ändern

Was RAG nicht löst

Übersicht
  • Schlechte Quellen (kommen mit Quelle zurück)
  • Fragen über alles (nur wenige Stellen)
  • Rechnen (dafür Werkzeuge)
  • Widersprüche (keine sichere Wahl)
  • Fehlende Rechte (Datenleck)

RAG macht schlechte Quellen nicht besser und rechnet nicht über die ganze Sammlung.

RAG ist kein Wundermittel. Fünf Grenzen solltest du kennen:

  • Schlechte Quellen: Steht im Dokument Veraltetes oder Falsches, kommt es mit Quellenangabe zurück. RAG macht schlechtes Material nicht besser.
  • Fragen über alles: „Was sind die häufigsten Beschwerden der letzten Jahre?“ Die Suche liefert wenige Stellen, keine Gesamtübersicht. Dafür braucht man Auswertung in Daten.
  • Rechnen und Logik: Ein Sprachmodell rechnet nicht verlässlich. Dafür gibt es Werkzeuge, siehe Agent.
  • Widersprüche: Sagen zwei Dokumente Verschiedenes, entscheidet das Modell nicht zuverlässig, welches gilt.
  • Fehlende Rechte: Ein RAG-System, das jedem alles zeigt, ist ein Datenleck mit freundlicher Oberfläche.

So nutzt du diese Reihe

Zeitachse
  • Seite 1: Vektorisieren
  • Seite 2: Zerlegen
  • Seite 3: Suchen
  • Seite 4: Nachsortieren
  • Seite 5: Messen

Die nächsten fünf Seiten folgen der Pipeline, von den Zahlen bis zur Messung.

Die folgenden fünf Seiten folgen der Pipeline: Vektorisieren, Zerlegen, Suchen, Nachsortieren und Messen. Jede Seite erklärt den Schritt von null, mit einem Alltagsbild und mit den Stolpersteinen, die man aus Erfahrung kennt.

Wenn du sehen willst, wie das auf dem Jetson abläuft, öffne die RAG-Werkstatt. Sie zerlegt deinen Text, bettet ihn mit nomic-embed-text ein, sucht und lässt llama3.2:3b antworten. Hintergründe zu Sprachmodellen findest du bei Generative KI, zum Begriff der Ähnlichkeit bei Maschinelles Lernen, und ein Modell zum Ausprobieren im Chat-Labor.

Das nimmst du mit

  • RAG lässt ein Sprachmodell erst in deinen Dokumenten nachschlagen und dann antworten, mit Quelle.
  • Die Antwort ist nur so gut wie die gefundenen Stellen: Suche und Aufbereitung entscheiden mehr als das Modell.
  • Fakten gehören ins Dokument, Verhalten und Stil ins Modell. RAG ersetzt weder Prüfen noch gute Quellen.

Teste dich

  1. Was passiert bei RAG zuerst, wenn du eine Frage stellst?
    Antwort

    Eine Suche holt passende Stellen aus deinen Dokumenten. Erst wird nachgeschlagen, dann antwortet das Modell auf Grundlage der Fundstellen. Nachtrainiert wird dabei nichts.

  2. Eine Firma will, dass ihr Assistent jede Woche die neue Preisliste kennt und die Quelle nennt. Was passt am besten?
    Antwort

    RAG mit der Preisliste als Dokument. Wechselndes Faktenwissen mit Quellenangabe ist der Normalfall für RAG. Das Dokument wird ausgetauscht, das Modell bleibt gleich.

  3. Das Modell liefert eine falsche Antwort, obwohl die richtige Stelle im Dokument steht. Was prüfst du zuerst?
    Antwort

    Ob die Suche die richtige Stelle überhaupt gefunden hat. Meist liegt es an den Treffern. Legt die Suche die falschen Stellen vor, kann auch ein gutes Modell nichts Richtiges daraus machen.

  4. Welche Frage ist für RAG schlecht geeignet?
    Antwort

    Wie viele Beschwerden gab es insgesamt in den letzten fünf Jahren pro Monat. Zählen und Auswerten über die ganze Sammlung ist keine Nachschlage-Aufgabe. RAG findet einzelne Stellen, es rechnet nicht über alles.

  5. Wofür ist die Anweisung „Antworte nur mit den folgenden Auszügen“ im Prompt gut?
    Antwort

    Sie verhindert, dass das Modell eigenes Halbwissen beimischt. Ohne diese Grenze ergänzt das Modell gern aus Gewohnheit. Mit ihr bleibt die Antwort an den Quellen und ist prüfbar.

Weiter geht es