Das Problem: Das Modell kennt eure Firma nicht
- Besser fragen (Spickzettel)
- Dokumente anbinden (Nachschlagewerk)
- Nachtrainieren (Auswendiglernen)
Drei Wege bringen Firmenwissen ins Modell: Spickzettel, Nachschlagewerk oder Auswendiglernen.
Ein Sprachmodell weiß viel über die Welt, aber nichts über deine Preislisten, Verträge, Anleitungen und Gewohnheiten. Wer damit sinnvoll arbeiten will, muss dem Modell dieses Wissen irgendwie geben. Dafür gibt es drei Wege: besser fragen, Dokumente anbinden und das Modell nachtrainieren.
Weg 1: Besser fragen (der Spickzettel)
- Prompt mit Wissen (Regel, Beispiele)
- Modell (unverändert)
- Antwort
Das Wissen steht im Prompt, das Modell bleibt unverändert. Schnell und günstig, aber begrenzt durch den Platz.
Du gibst das nötige Wissen direkt im Prompt mit: eine Regel, ein Absatz, drei Beispiele, die gewünschte Form. Das Modell bleibt unverändert, es liest nur mehr. Das ist der schnellste und günstigste Weg und der erste, den du ausreizen solltest. Die Seite Gut fragen zeigt, wie. Dazu gehört auch, Beispiele mitzugeben: Zwei gute Muster erklären dem Modell oft mehr als eine lange Regel.
Die Grenze ist der Platz. Der Spickzettel muss ins Kontextfenster passen. Für ein ganzes Handbuch reicht das nicht, und bei jedem Aufruf wird der Text neu mitgeschickt.
Weg 2: Dokumente anbinden (das Nachschlagewerk)
- Frage
- Suche (in Dokumenten)
- Passende Stellen
- Modell (unverändert)
- Antwort mit Quelle
Die Suche holt passende Stellen aus deinen Dokumenten. Das Modell antwortet damit und nennt die Fundstelle.
Bei RAG liegen deine Dokumente in einer durchsuchbaren Sammlung. Zu jeder Frage sucht das System die passenden Stellen heraus und gibt sie dem Modell mit. Das Modell antwortet auf dieser Grundlage und kann die Fundstelle nennen. Wie die Suche funktioniert, erklärt Embeddings.
Der Vorteil: Das Wissen steht in deinen Dokumenten und nicht im Modell. Änderst du ein Dokument, gilt die neue Fassung sofort. Du siehst die Quelle, kannst Zugriffsrechte pro Dokument steuern und ein Dokument jederzeit wieder entfernen. Das Modell bleibt, wie es ist.
Weg 3: Das Modell nachtrainieren (Auswendiglernen)
- Beispielpaare (Frage und Antwort)
- Training (Parameter anpassen)
- Neues Modell (anderes Verhalten)
- Neue Fakten (neues Training)
Mit Beispielpaaren werden die Parameter angepasst. Das ändert Verhalten gut, Fakten nur unscharf.
Beim Nachtrainieren, auf Englisch Fine-Tuning (Finetuning), arbeitet man mit Beispielpaaren aus Frage und gewünschter Antwort und stellt die Parameter des Modells nach. Oft wird nur ein kleiner Zusatz trainiert, etwa mit dem Verfahren LoRA, statt das ganze Modell zu verändern. Das spart Rechenzeit und Speicher.
Nachtrainieren verändert Verhalten besonders gut: Tonfall, feste Formate, Fachsprache, Ablauf einer Aufgabe. Als Wissensspeicher ist es schwächer. Fakten werden unscharf aufgenommen, und das Modell kann sie trotzdem falsch wiedergeben. Neue Informationen erfordern neues Training.
Die Wege im Vergleich
- Aufwand, Besser fragen: gering
- Aufwand, RAG: mittel
- Aufwand, Nachtrainieren: hoch
- Aktualität, Besser fragen: sofort
- Aktualität, RAG: sofort
- Aktualität, Nachtrainieren: neues Training
- Quellen, Besser fragen: was du mitgibst
- Quellen, RAG: Fundstelle
- Quellen, Nachtrainieren: keine
Bei Aktualität und Quellen liegt RAG vorn. Nachtrainieren kostet am meisten Aufwand.
| Kriterium | Besser fragen | Dokumente anbinden (RAG) | Nachtrainieren |
|---|---|---|---|
| Aufwand | Gering, sofort möglich | Mittel: Dokumente aufbereiten, Suche einrichten | Hoch: Trainingsbeispiele sammeln, trainieren, prüfen |
| Kosten | Nur die Aufrufe | Aufbau und Betrieb der Suche | Rechenzeit fürs Training, Wiederholung bei jedem Modellwechsel |
| Aktualität | Sofort, du änderst den Prompt | Sofort, du änderst das Dokument | Nur mit neuem Training |
| Quellen | Du siehst, was du mitgegeben hast | Fundstellen lassen sich nennen | Keine Quelle erkennbar |
| Datenschutz | Prompt-Inhalte gehen an das Modell | Zugriffsrechte pro Dokument möglich, Daten bleiben in deiner Hand | Wissen steckt im Modell, Löschen und Trennen nach Rechten sind schwer |
| Typisch für | Aufgaben, Stil, kleine Regeln | Fragen an Handbücher, Verträge, Wissensbasen | Fester Ton, Format, Fachsprache, Spezialaufgabe |
So liest du die Tabelle
- Links: Im Dokument (RAG): Je Gruppe freigeben, Jederzeit entfernen, Quelle sichtbar
- Rechts: Im Modell: Jeder Fragende kennt es, Kaum entfernbar, Quelle unklar
- Urteil: Vor dem Sammeln von Trainingsdaten Datenschutz und IT fragen.
Ein Dokument kannst du je Gruppe freigeben und löschen. Was im Modell steckt, kennt jeder Fragende.
Die Zeilen Aktualität und Quellen entscheiden bei Firmenwissen meist. Preise, Prozesse und Verträge ändern sich, und wer eine Aussage weitergibt, muss zeigen können, woher sie stammt. Bei RAG steht beides im Dokument. Bei einem nachtrainierten Modell steht es verteilt in Milliarden Zahlen.
Die Zeile Datenschutz überrascht viele. Ein Dokument kannst du einer Gruppe zeigen und anderen nicht. Hast du es ins Modell trainiert, kennt es jeder, der das Modell fragt. Und wird eine Datei auf Wunsch gelöscht, ist sie im Modell nicht ohne Weiteres wieder herauszubekommen. Prüfe solche Punkte mit Datenschutz und IT, bevor du Trainingsdaten sammelst. Das ist ein Überblick, keine Rechtsberatung.
Typische Irrtümer
- „Mit Dokumenten trainieren“ (Meist RAG)
- „Macht das Modell schlauer“ (Nur spezialisierter)
- „RAG verhindert Halluzination“ (Senkt sie nur)
- „Mehr Dokumente sind besser“ (Qualität zählt)
Vier Sätze, die oft fallen, und was meist dahintersteckt.
„Wir trainieren das Modell mit unseren Dokumenten.“ Gemeint ist in den meisten Fällen RAG: Die Dokumente werden durchsuchbar gemacht, das Modell wird nicht verändert. Das ist gut so, denn es ist günstiger, aktueller und überprüfbar. Frag im Gespräch nach, was wirklich passiert. Der Unterschied ist für Kosten, Zeitplan und Datenschutz groß.
„Nachtrainieren macht das Modell schlauer.“ Es macht es spezialisierter. Allgemeine Fähigkeiten können dabei sogar schlechter werden.
„RAG verhindert Halluzinationen.“ Es senkt sie, weil das Modell eine Grundlage hat. Findet die Suche die falschen Stellen, antwortet das Modell trotzdem falsch, nur mit Quelle.
„Mehr Dokumente sind besser.“ Mehr Dokumente erhöhen die Chance, dass die Suche daneben greift. Qualität und Pflege der Texte zählen.
Entscheidungshilfe: eine Fragenfolge
- Zuerst: Besser fragen
- Dann: Dokumente anbinden
- Zuletzt: Nachtrainieren
- Oft: Beides kombinieren
Fang beim Prompt an, nimm Dokumente für Fakten und trainiere erst zuletzt. Beides lässt sich kombinieren.
Gehe die Fragen der Reihe nach durch und höre beim ersten klaren Ja auf.
- Passt das nötige Wissen in einen Prompt? Dann reicht Weg 1. Fang dort an.
- Geht es um Fakten aus Dokumenten, die sich ändern oder die du belegen musst? Dann nimm Weg 2 (RAG).
- Geht es um Ton, festes Format oder eine Spezialaufgabe, bei der gutes Fragen nicht reicht? Dann prüfe Weg 3 und sammle erst Beispiele.
- Brauchst du beides? Dann kombiniere: nachtrainiert für Stil und Format, RAG für Fakten.