Sprache

Wissen ins Modell oder ins Dokument?

Kurz gesagt: Besser fragen ist der schnellste Weg, RAG der Weg für Fakten aus Dokumenten, Nachtrainieren der Weg für Verhalten und Stil. Wer sagt „Wir trainieren das Modell mit unseren Dokumenten“, meint meist RAG. Fakten, die sich ändern oder belegt werden müssen, gehören in Dokumente, nicht in die Parameter.

Das Modell kennt deine Firma nicht. Du hast drei Wege, das zu ändern. Hier siehst du, welcher wann passt.

Das Problem: Das Modell kennt eure Firma nicht

Übersicht
  • Besser fragen (Spickzettel)
  • Dokumente anbinden (Nachschlagewerk)
  • Nachtrainieren (Auswendiglernen)

Drei Wege bringen Firmenwissen ins Modell: Spickzettel, Nachschlagewerk oder Auswendiglernen.

Ein Sprachmodell weiß viel über die Welt, aber nichts über deine Preislisten, Verträge, Anleitungen und Gewohnheiten. Wer damit sinnvoll arbeiten will, muss dem Modell dieses Wissen irgendwie geben. Dafür gibt es drei Wege: besser fragen, Dokumente anbinden und das Modell nachtrainieren.

Weg 1: Besser fragen (der Spickzettel)

Ablauf
  • Prompt mit Wissen (Regel, Beispiele)
  • Modell (unverändert)
  • Antwort

Das Wissen steht im Prompt, das Modell bleibt unverändert. Schnell und günstig, aber begrenzt durch den Platz.

Du gibst das nötige Wissen direkt im Prompt mit: eine Regel, ein Absatz, drei Beispiele, die gewünschte Form. Das Modell bleibt unverändert, es liest nur mehr. Das ist der schnellste und günstigste Weg und der erste, den du ausreizen solltest. Die Seite Gut fragen zeigt, wie. Dazu gehört auch, Beispiele mitzugeben: Zwei gute Muster erklären dem Modell oft mehr als eine lange Regel.

Die Grenze ist der Platz. Der Spickzettel muss ins Kontextfenster passen. Für ein ganzes Handbuch reicht das nicht, und bei jedem Aufruf wird der Text neu mitgeschickt.

Weg 2: Dokumente anbinden (das Nachschlagewerk)

Ablauf
  • Frage
  • Suche (in Dokumenten)
  • Passende Stellen
  • Modell (unverändert)
  • Antwort mit Quelle

Die Suche holt passende Stellen aus deinen Dokumenten. Das Modell antwortet damit und nennt die Fundstelle.

Bei RAG liegen deine Dokumente in einer durchsuchbaren Sammlung. Zu jeder Frage sucht das System die passenden Stellen heraus und gibt sie dem Modell mit. Das Modell antwortet auf dieser Grundlage und kann die Fundstelle nennen. Wie die Suche funktioniert, erklärt Embeddings.

Der Vorteil: Das Wissen steht in deinen Dokumenten und nicht im Modell. Änderst du ein Dokument, gilt die neue Fassung sofort. Du siehst die Quelle, kannst Zugriffsrechte pro Dokument steuern und ein Dokument jederzeit wieder entfernen. Das Modell bleibt, wie es ist.

Weg 3: Das Modell nachtrainieren (Auswendiglernen)

Ablauf
  • Beispielpaare (Frage und Antwort)
  • Training (Parameter anpassen)
  • Neues Modell (anderes Verhalten)
  • Neue Fakten (neues Training)

Mit Beispielpaaren werden die Parameter angepasst. Das ändert Verhalten gut, Fakten nur unscharf.

Beim Nachtrainieren, auf Englisch Fine-Tuning (Finetuning), arbeitet man mit Beispielpaaren aus Frage und gewünschter Antwort und stellt die Parameter des Modells nach. Oft wird nur ein kleiner Zusatz trainiert, etwa mit dem Verfahren LoRA, statt das ganze Modell zu verändern. Das spart Rechenzeit und Speicher.

Nachtrainieren verändert Verhalten besonders gut: Tonfall, feste Formate, Fachsprache, Ablauf einer Aufgabe. Als Wissensspeicher ist es schwächer. Fakten werden unscharf aufgenommen, und das Modell kann sie trotzdem falsch wiedergeben. Neue Informationen erfordern neues Training.

Die Wege im Vergleich

Matrix
  • Aufwand, Besser fragen: gering
  • Aufwand, RAG: mittel
  • Aufwand, Nachtrainieren: hoch
  • Aktualität, Besser fragen: sofort
  • Aktualität, RAG: sofort
  • Aktualität, Nachtrainieren: neues Training
  • Quellen, Besser fragen: was du mitgibst
  • Quellen, RAG: Fundstelle
  • Quellen, Nachtrainieren: keine

Bei Aktualität und Quellen liegt RAG vorn. Nachtrainieren kostet am meisten Aufwand.

Besser fragen, Dokumente anbinden, nachtrainieren
KriteriumBesser fragenDokumente anbinden (RAG)Nachtrainieren
AufwandGering, sofort möglichMittel: Dokumente aufbereiten, Suche einrichtenHoch: Trainingsbeispiele sammeln, trainieren, prüfen
KostenNur die AufrufeAufbau und Betrieb der SucheRechenzeit fürs Training, Wiederholung bei jedem Modellwechsel
AktualitätSofort, du änderst den PromptSofort, du änderst das DokumentNur mit neuem Training
QuellenDu siehst, was du mitgegeben hastFundstellen lassen sich nennenKeine Quelle erkennbar
DatenschutzPrompt-Inhalte gehen an das ModellZugriffsrechte pro Dokument möglich, Daten bleiben in deiner HandWissen steckt im Modell, Löschen und Trennen nach Rechten sind schwer
Typisch fürAufgaben, Stil, kleine RegelnFragen an Handbücher, Verträge, WissensbasenFester Ton, Format, Fachsprache, Spezialaufgabe

So liest du die Tabelle

Vergleich
  • Links: Im Dokument (RAG): Je Gruppe freigeben, Jederzeit entfernen, Quelle sichtbar
  • Rechts: Im Modell: Jeder Fragende kennt es, Kaum entfernbar, Quelle unklar
  • Urteil: Vor dem Sammeln von Trainingsdaten Datenschutz und IT fragen.

Ein Dokument kannst du je Gruppe freigeben und löschen. Was im Modell steckt, kennt jeder Fragende.

Die Zeilen Aktualität und Quellen entscheiden bei Firmenwissen meist. Preise, Prozesse und Verträge ändern sich, und wer eine Aussage weitergibt, muss zeigen können, woher sie stammt. Bei RAG steht beides im Dokument. Bei einem nachtrainierten Modell steht es verteilt in Milliarden Zahlen.

Die Zeile Datenschutz überrascht viele. Ein Dokument kannst du einer Gruppe zeigen und anderen nicht. Hast du es ins Modell trainiert, kennt es jeder, der das Modell fragt. Und wird eine Datei auf Wunsch gelöscht, ist sie im Modell nicht ohne Weiteres wieder herauszubekommen. Prüfe solche Punkte mit Datenschutz und IT, bevor du Trainingsdaten sammelst. Das ist ein Überblick, keine Rechtsberatung.

Typische Irrtümer

Übersicht
  • „Mit Dokumenten trainieren“ (Meist RAG)
  • „Macht das Modell schlauer“ (Nur spezialisierter)
  • „RAG verhindert Halluzination“ (Senkt sie nur)
  • „Mehr Dokumente sind besser“ (Qualität zählt)

Vier Sätze, die oft fallen, und was meist dahintersteckt.

„Wir trainieren das Modell mit unseren Dokumenten.“ Gemeint ist in den meisten Fällen RAG: Die Dokumente werden durchsuchbar gemacht, das Modell wird nicht verändert. Das ist gut so, denn es ist günstiger, aktueller und überprüfbar. Frag im Gespräch nach, was wirklich passiert. Der Unterschied ist für Kosten, Zeitplan und Datenschutz groß.

„Nachtrainieren macht das Modell schlauer.“ Es macht es spezialisierter. Allgemeine Fähigkeiten können dabei sogar schlechter werden.

„RAG verhindert Halluzinationen.“ Es senkt sie, weil das Modell eine Grundlage hat. Findet die Suche die falschen Stellen, antwortet das Modell trotzdem falsch, nur mit Quelle.

„Mehr Dokumente sind besser.“ Mehr Dokumente erhöhen die Chance, dass die Suche daneben greift. Qualität und Pflege der Texte zählen.

Entscheidungshilfe: eine Fragenfolge

Zeitachse
  • Zuerst: Besser fragen
  • Dann: Dokumente anbinden
  • Zuletzt: Nachtrainieren
  • Oft: Beides kombinieren

Fang beim Prompt an, nimm Dokumente für Fakten und trainiere erst zuletzt. Beides lässt sich kombinieren.

Gehe die Fragen der Reihe nach durch und höre beim ersten klaren Ja auf.

  • Passt das nötige Wissen in einen Prompt? Dann reicht Weg 1. Fang dort an.
  • Geht es um Fakten aus Dokumenten, die sich ändern oder die du belegen musst? Dann nimm Weg 2 (RAG).
  • Geht es um Ton, festes Format oder eine Spezialaufgabe, bei der gutes Fragen nicht reicht? Dann prüfe Weg 3 und sammle erst Beispiele.
  • Brauchst du beides? Dann kombiniere: nachtrainiert für Stil und Format, RAG für Fakten.

Das nimmst du mit

  • Besser fragen ist der schnellste Weg, RAG der Weg für Fakten aus Dokumenten, Nachtrainieren der Weg für Verhalten und Stil.
  • Wer sagt „Wir trainieren das Modell mit unseren Dokumenten“, meint meist RAG.
  • Fakten, die sich ändern oder belegt werden müssen, gehören in Dokumente, nicht in die Parameter.

Teste dich

  1. Eure Preisliste ändert sich jede Woche. Ein Assistent soll sie korrekt wiedergeben. Welcher Weg passt am besten?
    Antwort

    Die Preisliste per RAG anbinden. Bei RAG genügt es, das Dokument auszutauschen. Nachtrainieren wäre aufwendig und brächte keine Quelle.

  2. Was bedeutet „Wir trainieren das Modell mit unseren Dokumenten“ in der Praxis meistens?
    Antwort

    Die Dokumente werden durchsuchbar gemacht, das Modell bleibt unverändert. Das ist RAG. Echtes Nachtrainieren verändert die Parameter und ist ein eigenes, aufwendigeres Projekt.

  3. Wofür eignet sich Nachtrainieren besonders?
    Antwort

    Festen Ton, Format oder eine Spezialaufgabe lernen. Verhalten und Stil lassen sich gut antrainieren. Fakten und Quellen sind bei RAG besser aufgehoben.

  4. Was ist beim Datenschutz ein Vorteil von RAG gegenüber Nachtrainieren?
    Antwort

    Dokumente lassen sich nach Rechten trennen und wieder entfernen. Wissen im Dokument kannst du je Nutzer freigeben oder löschen. Was im Modell steckt, bekommst du kaum wieder heraus.

  5. Womit solltest du anfangen, wenn du ein Sprachmodell an deine Aufgabe anpassen willst?
    Antwort

    Mit einem besseren Prompt. Besser fragen ist am schnellsten und am günstigsten. Erst wenn das nicht reicht, kommen RAG und Nachtrainieren.

Weiter geht es