Wissen und RAG

RAG messen und verbessern

Kurz gesagt: Ein Testset aus echten Fragen mit bekannter Fundstelle zeigt, wo das System steht. Miss Suche (Trefferquote, Rang) und Antwort (Richtigkeit, Antworttreue, Vollständigkeit) getrennt. Verbessere von vorn nach hinten: Daten und Chunking, dann Suche, dann Reranking, zuletzt Modell.

Drei gute Beispielantworten beweisen nichts. Ein kleines Testset zeigt, wo das System steht und was du als Nächstes verbesserst.

Warum Gefühl nicht reicht

Vergleich
  • Links: Gefühl: Drei Beispielfragen, Wie oft? Unbekannt, Änderung: besser oder schlechter?
  • Rechts: Messung: Testset mit Schlüssel, Zahl statt Eindruck, Änderungen vergleichbar

Drei gute Antworten zeigen nur, dass es manchmal klappt. Nicht, wie oft.

Du stellst dem System drei Fragen, die Antworten sind gut, und du hältst es für fertig. Dann fragt ein Kollege etwas anderes, und die Antwort ist falsch. Das ist der Normalfall: Mit wenigen Beispielen siehst du nur, dass es manchmal funktioniert, nicht wie oft.

Dazu kommt ein zweiter Effekt. Jede Änderung, ob größere Stücke, ein anderes Modell oder ein Reranker, macht einige Fragen besser und andere schlechter. Ohne Messung weißt du nicht, ob unterm Strich etwas gewonnen wurde.

Ein kleines Testset bauen

Übersicht
  • Echte Fragen (aus Mails und Tickets)
  • Fundstelle (je Frage notiert)
  • Arten mischen (Codes, Tippfehler, lang)
  • Ohne Antwort (richtig: nichts gefunden)
  • Set festhalten (nur ergänzen)

Echte Fragen, je mit bekannter Fundstelle, auch einige ohne Antwort.

Ein Testset ist eine Liste von Fragen, bei denen du die richtige Fundstelle kennst. Du brauchst keine Tausende: Schon einige Dutzend Fragen zeigen Muster. Wichtig ist, dass sie echt sind.

  • Echte Fragen sammeln: aus Mails, Anrufen, Tickets oder von Kolleginnen und Kollegen. Nicht aus dem Kopf des Entwicklers, der weiß, wo die Antwort steht.
  • Je Frage die Fundstelle notieren: Dokument und Abschnitt, in dem die Antwort steht. Dazu die erwartete Antwort in einem Satz.
  • Verschiedene Arten mischen: kurze und lange Fragen, Fragen mit Codes oder Zahlen, Fragen in Alltagssprache, Fragen mit Tippfehlern.
  • Fragen ohne Antwort aufnehmen: Zu einigen Fragen steht nichts in den Dokumenten. Richtig ist dann die Antwort „Dazu finde ich nichts“.
  • Das Set festhalten: Es bleibt gleich, solange du vergleichst. Neue Fragen kommen dazu, alte werden nicht stillschweigend ausgetauscht.

Kennzahlen für die Suche

Balkendiagramm
  • Stichwort: 5 von 10
  • Vektor: 7 von 10
  • Hybrid: 8 von 10
Balkendiagramm
  • Stichwort: 5 von 10
  • Vektor: 10 von 10
  • Hybrid: 10 von 10

Trefferquote: kommt die Stelle vor? Rang: wie weit oben? Beide hier gemessen in der Werkstatt.

Die Suche prüfst du getrennt von der Antwort. Denn wenn schon die falschen Stücke vorliegen, kann das Modell nichts retten. Zwei einfache Kennzahlen reichen für den Anfang. Die Trefferquote sagt, ob die Stelle überhaupt vorkommt. Der Rang sagt, wie weit oben sie steht. Zusammen zeigen sie, ob die Suche das Wichtige findet und ob ein Reranker etwas verbessern kann, siehe Reranking.

Zwei Kennzahlen für die Suche
KennzahlDie Frage dahinterSo rechnest duBeispiel
Trefferquote in den ersten kLiegt die richtige Fundstelle unter den ersten k Treffern?Anzahl der Fragen mit Treffer in den ersten k, geteilt durch alle Fragen40 von 50 Fragen haben die Stelle in den ersten 5. Quote 0,8, also 80 Prozent
Rang der ersten richtigen FundstelleAuf welchem Platz taucht sie zum ersten Mal auf?Je Frage 1 geteilt durch den Rang, dann der Durchschnitt (englisch Mean Reciprocal Rank)Rang 1 gibt 1, Rang 2 gibt 0,5, Rang 4 gibt 0,25. Hoher Durchschnitt heißt: meist ganz oben

Kennzahlen für die Antwort

Übersicht
  • Richtigkeit (stimmt die Antwort?)
  • Antworttreue (steht alles im Kontext?)
  • Vollständigkeit (fehlt Wichtiges?)
  • Quelle (richtige Fundstelle?)
  • Ohne Antwort (nichts gefunden sagen)

Vier Fragen je Testfrage: richtig, treu, vollständig, mit Quelle. Dazu die Fragen ohne Antwort.

Auch wenn die Suche stimmt, kann die Antwort falsch sein. Dafür gibt es vier Fragen, die du je Testfrage beantwortest:

  • Richtigkeit: Stimmt die Antwort mit der erwarteten überein?
  • Antworttreue: Steht jede Aussage der Antwort tatsächlich im vorgelegten Kontext, oder hat das Modell etwas dazu erfunden?
  • Vollständigkeit: Fehlt etwas Wichtiges, das im Kontext stand?
  • Quelle: Zeigt die Antwort auf die richtige Fundstelle?
  • Fragen ohne Antwort: Steht nichts in den Dokumenten, ist das Eingeständnis „Dazu finde ich nichts“ richtig. Ein System, das dort trotzdem antwortet, halluziniert.
  • Wer bewertet: Zuerst ein Mensch, gut für den Anfang und für die wichtigsten Fragen. Später kann ein Sprachmodell vorbewerten. Das ist schnell, aber nicht unfehlbar, deshalb prüfen Menschen Stichproben.

Typische Fehlerbilder und ihre Ursachen

Matrix
  • Falscher Abschnitt, Ursache: Falscher Chunk gefunden
  • Falscher Abschnitt, Prüfen: Treffer, Filter
  • Unvollständig, Ursache: Chunk zu klein
  • Unvollständig, Prüfen: Größe, Nachbarn
  • Veraltet, Ursache: Alte Fassung im Index
  • Veraltet, Prüfen: Datum, Index
  • Kontext ignoriert, Ursache: Modell ergänzt selbst
  • Kontext ignoriert, Prüfen: Anweisung schärfen
  • Codes verwechselt, Ursache: Embedding schwach
  • Codes verwechselt, Prüfen: Hybridsuche
  • Antwort ohne Quelle, Ursache: Keine Verweigerung
  • Antwort ohne Quelle, Prüfen: Prompt ergänzen

Erst fragen: Stand die richtige Stelle in den Treffern? Nein heißt Suche, ja heißt Modell oder Prompt.

Wenn eine Antwort falsch ist, hilft eine feste Reihenfolge beim Suchen der Ursache: Stand die richtige Stelle in den Treffern? Wenn nein, liegt es an Aufbereitung, Stücken oder Suche. Wenn ja, liegt es am Prompt oder am Modell.

Fehlerbild, Ursache, Prüfung
FehlerbildWahrscheinliche UrsacheWas du prüfst
Die Antwort bezieht sich auf einen falschen Abschnittfalscher Chunk wurde gefunden, Frage und Text passen nur ungefährTrefferliste ansehen, Stücke und Suche testen, Filter einsetzen
Die Antwort ist unvollständigChunk zu klein oder an der falschen Stelle geschnittenGröße und Überlappung ändern, Nachbarn mitholen
Die Antwort nennt VeraltetesQuelle veraltet oder alte und neue Fassung liegen nebeneinanderMetadaten (Datum, Gültigkeit), alte Fassungen löschen, Index aktualisieren
Die Stelle stand im Kontext, aber das Modell sagt etwas anderesModell ignoriert den Kontext oder ergänzt aus eigenem WissenAnweisung schärfen, weniger und kürzere Treffer, größeres Modell testen
Die Antwort passt nicht zur FrageFrage mehrdeutig oder ohne Zusammenhang gestelltFrage umschreiben, Rückfrage einbauen
Die Codes oder Namen werden verwechseltEmbeddings sind bei genauen Zeichenfolgen schwachHybridsuche einsetzen, siehe Suchen
Antwort trotz fehlender QuelleModell hat keine Anweisung, bei fehlenden Stellen zu verweigernPrompt ergänzen, Fragen ohne Antwort im Testset prüfen

In welcher Reihenfolge du verbesserst

Zeitachse
  • Zuerst: Daten und Chunking
  • Dann: Suche
  • Danach: Reranking
  • Zuletzt: Modell und Prompt

Vorn in der Kette anfangen: Fehler dort wirken auf alles danach. Immer nur eine Sache ändern.

Fange vorn in der Kette an. Fehler dort wirken auf alles, was danach kommt. Eine bewährte Reihenfolge:

  • Zuerst Daten und Chunking: Ist der Text sauber? Sind die Stücke sinnvoll? Sind Metadaten da? Ist die Quelle aktuell?
  • Dann die Suche: Hybrid statt nur Vektor, Trefferzahl, Filter, Frage umschreiben.
  • Dann Reranking: Wenn die Stelle gefunden, aber nicht oben ist.
  • Zuletzt Modell und Prompt: Andere Anweisung, anderes Modell. Das ist die teuerste Änderung und löst am seltensten die Ursache.

Datenschutz und Zugriffsrechte

Ablauf
  • Frage (von Person X)
  • Rechte prüfen (vor der Suche)
  • Suche (nur erlaubte Stücke)
  • Modell
  • Antwort

Rechte werden vor der Suche geprüft. Ein Satz im Prompt schützt nicht.

Ein RAG-System macht Dokumente auffindbar. Das ist sein Zweck, aber auch sein Risiko. Frage dich vor dem Betrieb: Wer darf welche Dokumente sehen? Sieht eine Mitarbeiterin im Vertrieb über die Suche Personalakten, nur weil beides im selben Index liegt?

Die Regel lautet: Rechte werden vor der Suche geprüft, nicht nach der Antwort. Die Suche filtert die Stücke nach den Rechten der fragenden Person (über Metadaten), bevor irgendetwas an das Modell geht. Ein Satz im Prompt wie „Zeige keine vertraulichen Inhalte“ ist kein Schutz, denn Modelle lassen sich umgehen.

Auch Protokolle zählen: Fragen und Antworten können personenbezogene Daten enthalten. Lege fest, was gespeichert wird, wie lange und wer es lesen darf. Läuft das Modell auf eigener Hardware wie hier, bleiben die Daten im Haus. Das ist keine Rechtsberatung. Bei Personendaten solltest du die Datenschutzstelle einbeziehen.

Betrieb: aktuell bleiben und lernen

Kreislauf
  • Testset messen
  • Eine Sache ändern
  • Neu messen
  • Protokolle lesen
  • Mitte: Verbessern

Messen ist kein Einmalprojekt. Protokolle liefern die nächsten Testfragen.

Ein RAG-System ist nach dem Start nicht fertig. Dokumente ändern sich, neue kommen hinzu, alte werden ungültig.

  • Aktualisieren: Lege fest, wie geänderte Dokumente in den Index kommen (automatisch bei Änderung oder regelmäßig) und wie gelöschte verschwinden. Veraltete Stücke sind eine häufige Fehlerquelle.
  • Versionen festhalten: Notiere, mit welchem Embedding-Modell und welchen Chunk-Einstellungen der Index gebaut wurde. Bei Änderungen baust du ihn neu und vergleichst mit dem Testset.
  • Protokolle auswerten: Welche Fragen kommen? Bei welchen gab es keine Treffer? Wo klickt jemand auf „Antwort war falsch“? Das sind die besten neuen Testfragen.
  • Rückmeldung einholen: Ein Daumen hoch oder runter neben jeder Antwort liefert Daten. Wer Fehler meldet, soll das ohne Aufwand tun können.

Das nimmst du mit

  • Ein Testset aus echten Fragen mit bekannter Fundstelle zeigt, wo das System steht. Miss Suche (Trefferquote, Rang) und Antwort (Richtigkeit, Antworttreue, Vollständigkeit) getrennt.
  • Verbessere von vorn nach hinten: Daten und Chunking, dann Suche, dann Reranking, zuletzt Modell. Ändere immer nur eine Sache.
  • Rechte werden vor der Suche geprüft, nicht nach der Antwort. Aktualisierung und Protokolle gehören zum Betrieb.

Teste dich

  1. Warum misst man die Suche getrennt von der Antwort?
    Antwort

    Weil man sonst nicht weiß, ob die Suche oder das Modell den Fehler verursacht. Ist schon die Suche falsch, kann das Modell nichts retten. Nur getrennt gemessen erkennst du, wo du ansetzen musst.

  2. Bei 50 Testfragen liegt die richtige Fundstelle 40 Mal unter den ersten 5 Treffern. Wie hoch ist die Trefferquote in den ersten 5?
    Antwort

    80 Prozent. 40 geteilt durch 50 ergibt 0,8, also 80 Prozent.

  3. Das Modell sagt etwas, das nicht im vorgelegten Kontext steht. Welche Eigenschaft fehlt?
    Antwort

    Antworttreue. Antworttreue heißt, dass jede Aussage der Antwort im Kontext belegt ist. Hier hat das Modell etwas dazuerfunden.

  4. Die Ergebnisse sind schlecht. Womit fängst du an zu verbessern?
    Antwort

    Mit Daten und Chunking, also dem Anfang der Kette. Fehler am Anfang der Kette wirken auf alles Folgende, und sie sind meist am günstigsten zu beheben. Das Modell kommt zuletzt.

  5. Ein Mitarbeiter soll nur Dokumente seiner Abteilung finden. Wo setzt du die Zugriffsprüfung an?
    Antwort

    Vor der Suche, als Filter nach den Rechten der fragenden Person. Was gar nicht erst in die Treffer kommt, kann nicht durchsickern. Ein Prompt-Satz lässt sich umgehen, ein Filter vor der Suche nicht auf diese Weise.

Weiter geht es