Wissen und RAG

RAG: Fragen an eigene Dokumente

Kurz gesagt: Deine Dokumente stecken nicht im Modell. Ohne Nachschlagen würde es raten. Zerlegen, einbetten, suchen, antworten.

Das Modell kennt deine Dokumente nicht. Also sucht der Jetson erst die passenden Stellen und antwortet dann nur damit.

Das Problem

Vergleich
  • Links: Ohne RAG: Modell kennt Dokumente nicht, Es rät
  • Rechts: Mit RAG: Erst nachschlagen, Antwort mit Quelle

Deine Dokumente stecken nicht im Modell. Ohne Nachschlagen würde es raten.

Ein Sprachmodell weiß nur, was es im Training gesehen hat. Deine Verträge, Handbücher und Notizen gehören nicht dazu. Würdest du trotzdem fragen, würde es raten.

Die Lösung in vier Schritten

Ablauf
  • Zerlegen (etwa 800 Zeichen)
  • Einbetten (Zahlenliste)
  • Suchen (größte Ähnlichkeit)
  • Antworten (nur mit Treffern)

Zerlegen, einbetten, suchen, antworten. Das Modell sieht nur die passenden Stellen.

  • Zerlegen: Der Text wird in Abschnitte von etwa 800 Zeichen geteilt.
  • Einbetten: Jeder Abschnitt wird zu einer Zahlenliste (Embedding), hier mit dem Modell nomic-embed-text.
  • Suchen: Deine Frage wird genauso eingebettet. Die Abschnitte mit der größten Ähnlichkeit (Kosinus) sind die Treffer.
  • Antworten: Die Treffer und deine Frage gehen an das Sprachmodell, mit der Anweisung, nur damit zu antworten und die Quelle zu nennen.

Schau auf die Scores

Skala
  • 0 unverwandt bis 1 sehr ähnlich, Marker bei 80 Prozent: Score eines Treffers (Beispiel)

Ein hoher Score heißt ähnlich. Ist die Antwort falsch, standen meist die falschen Abschnitte oben.

Jeder Treffer hat einen Wert zwischen 0 und 1. Je höher, desto ähnlicher ist der Abschnitt zur Frage. Ist die Antwort falsch, liegt es meistens an der Suche und nicht am Modell: Dann standen die falschen Abschnitte oben. Genau deshalb zeigt dir das Labor die Treffer, bevor es antwortet.

Im Business

Fragen an Verträge, Handbücher und Wissensbasen mit Quellenangabe. Vertrauliche Dokumente bleiben auf dem Gerät.

  • Wo steht die Kündigungsfrist?
  • Welche Schritte hat die Wartungsanleitung?

Grenzen

  • Die Antwort ist nur so gut wie die gefundenen Abschnitte. Fehlt etwas im Text, kann das Modell es nicht belegen.
  • Dieses Labor hält höchstens 300 Abschnitte im Speicher und vergisst alles beim Neustart.

Weiter geht es