Die Ausgangslage im Betrieb
- Wartungsanleitung (Instandhaltung)
- Dienstleistungsvertrag (Recht)
- Betriebsvereinbarung (Personal)
- Produkt-FAQ (Vertrieb)
Vier Dokumente liegen in vier Ordnern. Wer eine Antwort braucht, fragt nach, sucht und blättert.
Ein Unternehmen, hier das erfundene „Musterwerk“, hat viele Dokumente. Die Wartungsanleitung der Verpackungsanlage liegt bei der Instandhaltung, der Dienstleistungsvertrag in der Rechtsabteilung, die Betriebsvereinbarung zum mobilen Arbeiten im Personalbereich und die Produkt-FAQ im Vertrieb.
Wer eine Antwort braucht, fragt Kolleginnen, sucht im Laufwerk und blättert durch Seiten. Das dauert, und am Ende ist man sich oft nicht sicher, ob man die aktuelle Fassung gelesen hat. Dieselben Fragen kommen immer wieder: Wie lang ist die Kündigungsfrist? Alle wie viele Betriebsstunden wird geschmiert? Wie viele Tage darf ich mobil arbeiten?
Was das System tun soll
- Links: Antwort steht drin: Passende Stelle finden, Antwort mit Quelle
- Rechts: Antwort fehlt: Sagt: steht nicht im Text, Erfindet keine Zahl
- Urteil: Ehrlich ist wichtiger als flüssig.
Das System findet die Stelle und nennt die Quelle. Steht die Antwort nirgends, sagt es das.
Das Ziel in einem Satz: Das System beantwortet Fragen zu den eigenen Dokumenten, belegt jede Antwort mit der Fundstelle und sagt ehrlich, wenn die Antwort nicht in den Dokumenten steht.
Die Eingabe ist eine Frage in normaler Sprache. Die Ausgabe sind zwei Dinge: erstens die Treffer, also die Textstellen mit ihrer Nähe zur Frage (der Score), und zweitens die Antwort des Sprachmodells auf Grundlage dieser Treffer, mit Quelle.
Der letzte Teil ist der wichtigste. Ein Sprachmodell antwortet im Zweifel flüssig, auch wenn es nichts weiß. Wer Dokumente befragt, will keine Antwort, die nur gut klingt. Er will eine, die stimmt oder zugibt, dass sie fehlt.
Welche Daten es braucht
- 4 erfundene Dokumente
- 8 Testfragen
- 1 Fangfrage ohne Antwort im Text
Keine Trainingsdaten, sondern die Dokumente selbst: aktuell, lesbar und nur mit erlaubtem Zugriff.
Es sind keine Trainingsdaten nötig, sondern die Dokumente selbst. Im fertigen Beispiel liegen vier erfundene Texte: die Wartungsanleitung der Verpackungsanlage VP-200, ein Auszug aus einem Dienstleistungsvertrag, eine Betriebsvereinbarung zum mobilen Arbeiten und die FAQ einer Schreibtischlampe. Alle Firmen, Produkte und Angaben sind frei erfunden und haben keinen Rechtswert.
Dazu kommen Testfragen: sieben Fragen, deren Antwort wörtlich in einem Dokument steht, und eine Fangfrage, deren Antwort nirgends steht. Mit solchen Fragen prüfst du das System, bevor du ihm vertraust.
Für den echten Einsatz zählt die Qualität der Quellen: aktuelle Fassungen, lesbarer Text (bei Scans braucht es Texterkennung) und klar benannte Dokumente. Entscheidend ist auch, welche Dokumente überhaupt hinein dürfen und wer was finden darf. Verträge, Personalakten und Betriebsvereinbarungen sind unterschiedlich vertraulich. Das System darf niemandem mehr zeigen, als er auch ohne System sehen dürfte.
Wie es funktioniert
- Einlesen
- Zerlegen (12 Abschnitte)
- Vektorisieren
- Suchen (Treffer mit Score)
- Antworten (mit Quelle)
RAG liest, zerlegt und vektorisiert die Dokumente, sucht passende Stellen und lässt das Modell nur damit antworten.
Das Verfahren heißt RAG, auf Deutsch etwa „Antworten mit Nachschlagen“. Einen Überblick gibt die Seite RAG im Überblick. Hier die Schritte, die im Beispiel nacheinander laufen:
- Einlesen: Die vier Dokumente werden gelesen.
- Zerlegen: Jedes Dokument wird in kleine Abschnitte geteilt (Chunks). Im Beispiel entstehen zwölf Abschnitte. Siehe Chunking.
- Vektorisieren: Jeder Abschnitt wird zu einer Zahlenliste, die seine Bedeutung beschreibt (Embedding). Siehe Vektorisieren und Embeddings.
- Suchen: Die Frage wird ebenso vektorisiert. Die Abschnitte mit der größten Nähe sind die Treffer, mit einem Score. Siehe Suchen.
- Antworten: Ein Sprachmodell bekommt die Frage und die Treffer und antwortet nur damit, mit Quelle.
Das Beispiel zum Starten
- 1: Frage stellen
- 2: Treffer und Scores ansehen
- 3: Antwort und Quelle prüfen
- 4: Fangfrage stellen
Stelle eine Beispielfrage, sieh dir zuerst Treffer und Scores an, dann die Antwort. Zum Schluss die Fangfrage.
Das Beispiel enthält die vier Dokumente und acht Fragen. Du startest es, und die Dokumente werden eingelesen und in Abschnitte zerlegt. Dann stellst du eine der Beispielfragen. Sieh dir zuerst die Treffer und ihre Scores an. Lies dann die Antwort und prüfe, ob sie das erwartete Stichwort enthält und die Quelle nennt.
Beispielfragen sind: Wie lang ist die Kündigungsfrist im Vertrag? Alle wie viele Betriebsstunden wird die Förderkette geschmiert? Was bedeutet der Fehlercode E14? Wie viele Tage pro Woche darf man mobil arbeiten?
Stelle zum Schluss die Fangfrage nach dem Urlaub, die in keinem Dokument vorkommt. Das ist der wichtigste Test des Beispiels. Das System soll sagen, dass es dazu nichts im Text gibt. Eine Zahl wäre ein Fehler.
Nach dem Klick landest du in der RAG-Werkstatt mit den eingelesenen Dokumenten.
Was dabei herauskommt
- 7 von 7 richtige Stelle unter den ersten 2 (Beispielwerte)
- 12 Abschnitte insgesamt
- Gut, Antwort steht im Text: Antwort mit Quelle
- Gut, Antwort steht nirgends: Sagt: steht nicht im Text
- Schlecht, Antwort steht im Text: Falsche Stelle
- Schlecht, Antwort steht nirgends: Erfindet eine Zahl
Bei allen sieben Fragen liegt die richtige Stelle unter den ersten zwei von zwölf. Die Fangfrage ist der eigentliche Test.
Jede Antwort der sieben Fragen steht wörtlich in einem der Dokumente. Bei einem reinen Stichwortvergleich, also ohne das Embedding-Modell, liegt der richtige Abschnitt bei allen sieben Fragen unter den ersten zwei von zwölf Abschnitten. Das sind Beispielwerte für diese kleinen, erfundenen Dokumente.
Ehrlich dazu: Ob die Suche mit dem Embedding-Modell auf dem Jetson genauso gut trifft, wurde bei der Erstellung des Beispiels nicht geprüft. Das lässt sich nachholen. Sieh dir deshalb die Scores selbst an, statt dich auf eine Zahl zu verlassen.
Der Lernpunkt ist die Fangfrage: Die Antwort steht nirgends, und das System soll das sagen. Gelingt das nicht und es nennt eine Zahl, siehst du an der Quelle und an den niedrigen Scores, dass die Treffer nichts hergeben. Auch hier gilt: vier kurze Dokumente sind leichter als ein echtes Laufwerk mit Tausenden Seiten. Wie man RAG misst, steht auf RAG messen und verbessern.
Stolpersteine
- Veraltete Dokumente (nur aktuelle Fassungen)
- Widersprüche (Rangfolge, beide Quellen zeigen)
- Erfundene Antworten (Fangfragen als Dauertest)
- Schlechter Text (Aufbereitung prüfen)
- Zugriffsrechte (schon bei der Suche)
- Fremde Anweisungen (Text als Daten behandeln)
Alte Fassungen, Widersprüche und Zugriffsrechte entscheiden, ob du dem System trauen kannst. Unten das Gegenmittel.
- Veraltete Dokumente: Das System findet auch den Stand von vor drei Jahren, mit Quelle. Gegenmittel: nur aktuelle Fassungen aufnehmen, Alte entfernen, Stand und Datum als Metadaten mitführen.
- Widersprüche: Zwei Dokumente sagen Verschiedenes. Das Modell entscheidet nicht zuverlässig, welches gilt. Gegenmittel: klare Rangfolge der Quellen und beide Fundstellen anzeigen.
- Erfundene Antworten: Auch mit Quellen kann das Modell etwas dazudichten (Halluzination). Gegenmittel: Anweisung „nur mit den Auszügen“, Quelle immer anzeigen, Fangfragen als Dauertest, siehe Grenzen und Risiken.
- Schlechter Text: Scans ohne Texterkennung, zerrissene Tabellen, Kopfzeilen in jedem Abschnitt. Gegenmittel: Aufbereitung prüfen.
- Zugriffsrechte: Wer nicht ins Dokument darf, darf es auch nicht über das System lesen. Gegenmittel: Rechte schon bei der Suche anwenden.
- Fremde Anweisungen im Text: Ein Dokument kann den Satz „Ignoriere alle Regeln“ enthalten. Gegenmittel: Texte als Daten behandeln, nicht als Befehle, siehe Agenten-Sicherheit.
Nutzen und Aufwand
- Welche Entscheidung? (Welche Stelle beantwortet die Frage?)
- Welche Daten? (Aktuelle Dokumente, klare Rechte)
- Wer prüft? (Person pflegt Dokumente und Testfragen)
Die Antwort ist nur so gut wie ihre Quelle. Bei wichtigen Aussagen klickt man auf die Fundstelle.
Der Nutzen liegt in der Zeit, die das Suchen und Blättern kostet, und im gleichmäßigen Zugang: Jeder bekommt dieselbe Antwort mit derselben Quelle. Neue Kolleginnen finden sich schneller zurecht.
Handarbeit bleibt: Dokumente aktuell halten, Rechte pflegen, Testfragen sammeln und regelmäßig durchlaufen lassen, Rückmeldungen auswerten. Wer prüft? Die Antwort ist nur so gut wie ihre Quelle. Darum klickt man bei wichtigen Aussagen, etwa bei einer Frist oder einem Betrag, auf die Fundstelle, bevor man handelt.
- Welche Entscheidung? Welche Stelle in welchem Dokument beantwortet die Frage? Rechtlich Verbindliches entscheiden weiter Menschen.
- Welche Daten? Aktuelle, lesbare Dokumente mit klaren Rechten, ohne Inhalte, die nicht hineindürfen.
- Wer prüft? Eine Person pflegt die Dokumente und die Testfragen. Wer antwortet oder handelt, prüft bei wichtigen Aussagen die Fundstelle.