Das Problem
- Links: Ohne RAG: Modell kennt Dokumente nicht, Es rät
- Rechts: Mit RAG: Erst nachschlagen, Antwort mit Quelle
Deine Dokumente stecken nicht im Modell. Ohne Nachschlagen würde es raten.
Ein Sprachmodell weiß nur, was es im Training gesehen hat. Deine Verträge, Handbücher und Notizen gehören nicht dazu. Würdest du trotzdem fragen, würde es raten.
Die Lösung in vier Schritten
- Zerlegen (etwa 800 Zeichen)
- Einbetten (Zahlenliste)
- Suchen (größte Ähnlichkeit)
- Antworten (nur mit Treffern)
Zerlegen, einbetten, suchen, antworten. Das Modell sieht nur die passenden Stellen.
- Zerlegen: Der Text wird in Abschnitte von etwa 800 Zeichen geteilt.
- Einbetten: Jeder Abschnitt wird zu einer Zahlenliste (Embedding), hier mit dem Modell nomic-embed-text.
- Suchen: Deine Frage wird genauso eingebettet. Die Abschnitte mit der größten Ähnlichkeit (Kosinus) sind die Treffer.
- Antworten: Die Treffer und deine Frage gehen an das Sprachmodell, mit der Anweisung, nur damit zu antworten und die Quelle zu nennen.
Schau auf die Scores
- 0 unverwandt bis 1 sehr ähnlich, Marker bei 80 Prozent: Score eines Treffers (Beispiel)
Ein hoher Score heißt ähnlich. Ist die Antwort falsch, standen meist die falschen Abschnitte oben.
Jeder Treffer hat einen Wert zwischen 0 und 1. Je höher, desto ähnlicher ist der Abschnitt zur Frage. Ist die Antwort falsch, liegt es meistens an der Suche und nicht am Modell: Dann standen die falschen Abschnitte oben. Genau deshalb zeigt dir das Labor die Treffer, bevor es antwortet.