Wissen und RAG

Suchen: Stichwort, Vektor und Hybrid

Kurz gesagt: Stichwortsuche (BM25) findet Wörter und gewichtet seltene Wörter stärker. Die Hybridsuche führt beide Ranglisten über die Platzierung zusammen, nicht über die Punktwerte. Gewicht und Trefferzahl stellst du am eigenen Material ein.

Es gibt zwei Arten, Stücke zu finden: nach Wörtern und nach Bedeutung. Jede hat ihre eigenen Stärken. Die beste Suche nutzt oft beide.

Zwei Arten zu suchen

Vergleich
  • Links: Wortsuche: Wörter vergleichen, Exakt und schnell, Wie das Telefonbuch
  • Rechts: Bedeutungssuche: Sinn vergleichen, Andere Wörter genügen, Wie die Buchhändlerin

Eine Suche vergleicht entweder Wörter oder Bedeutung. Jede findet, was die andere verpasst.

Eine Suche muss aus vielen Stücken die wenigen holen, die zu einer Frage passen. Dafür gibt es zwei grundverschiedene Methoden. Die erste vergleicht Wörter: Kommen die Wörter aus der Frage im Text vor? Die zweite vergleicht Bedeutung: Meint der Text dasselbe wie die Frage, auch wenn er andere Wörter benutzt?

Stichwortsuche von null

Übersicht
  • Seltene Wörter (zählen mehr)
  • Wiederholung (wirkt nur noch langsam)
  • Textlänge (wird ausgeglichen)

BM25 zählt Wörter, aber klug: Seltene zählen mehr, Wiederholung weniger, die Länge wird ausgeglichen.

Die einfachste Stichwortsuche zählt, wie oft die Wörter der Frage im Text vorkommen. Das funktioniert, hat aber Mängel. Das Wort „der“ kommt überall vor und sagt nichts. Ein langer Text enthält schon deshalb mehr Treffer, weil er lang ist. Und das hundertste „Pumpe“ im selben Text macht ihn nicht hundertmal passender.

Das gängige Verfahren BM25 behebt das mit drei Ideen. Erstens: Seltene Wörter zählen mehr als häufige. „Dichtungsring“ trennt Texte gut, „und“ nicht. Zweitens: Kommt ein Wort immer wieder vor, steigt der Wert nur noch langsam. Drittens: Der Wert wird nach der Länge des Textes angepasst, damit kurze Texte nicht benachteiligt werden und lange nicht bevorzugt. Das Ergebnis ist ein Punktwert je Text. Die Texte mit den meisten Punkten stehen oben. Mehr steckt im Kern nicht dahinter.

Vektorsuche: Sinn statt Wörter

Ablauf
  • Frage (Auto im Hof abstellen?)
  • Vektor
  • Nähe messen (Kosinus)
  • Treffer (Parken auf dem Betriebsgelände)

Die Frage wird zum Vektor. Gesucht wird, was ihr am nächsten liegt, ganz ohne gemeinsame Wörter.

Die Vektorsuche nutzt die Embeddings aus Vektorisieren und Embeddings. Die Frage wird in einen Vektor verwandelt. Gesucht werden die Stücke, deren Vektoren dem der Frage am nächsten liegen, gemessen mit der Kosinus-Ähnlichkeit. Sie braucht keine gemeinsamen Wörter.

So findet die Frage „Darf ich mein Auto im Hof abstellen?“ den Abschnitt „Parken von Fahrzeugen auf dem Betriebsgelände“. Kein Wort stimmt überein, der Sinn schon. Für Menschen, die in Alltagssprache fragen, ist das ein großer Gewinn. Der Preis: Die Suche ist ungenau bei allem, was genau gleich sein muss.

Wo jede Methode gewinnt und verliert

Matrix
  • Synonyme, Stichwort: verliert
  • Synonyme, Vektor: gewinnt
  • Fehlercode, Stichwort: gewinnt
  • Fehlercode, Vektor: verliert
  • Eigenname, Stichwort: gewinnt
  • Eigenname, Vektor: oft schwach
  • Zahl, Stichwort: gewinnt
  • Zahl, Vektor: schwach
  • Tippfehler, Stichwort: verliert, ohne Toleranz
  • Tippfehler, Vektor: robust
  • Fremdsprache, Stichwort: verliert
  • Fremdsprache, Vektor: gewinnt, wenn mehrsprachig

Stichwort gewinnt bei genauen Zeichenfolgen, Vektor bei Umschreibungen und Fremdsprachen.

Die Tabelle zeigt typische Fälle. Sie verteilt keine Noten, sondern zeigt, wofür sich welche Methode eignet.

Stichwort gegen Vektor an typischen Fragen
FallBeispielStichwortVektor
SynonymeFrage „Auto abstellen“, Text „Fahrzeug parken“verliert, kein gemeinsames Wortgewinnt, gleicher Sinn
FachwörterFrage „Hydraulikzylinder“, Text mit genau diesem Wortgewinnt, seltenes Wortmeist gut, bei sehr seltenen Wörtern unsicher
FehlercodesFrage „E-4711“gewinnt, exakte Zeichenfolgeverliert, ähnliche Codes wirken gleich
EigennamenFrage „Müller GmbH“gewinnt, genauer Nameoft schwach, Name trägt wenig Sinn
ZahlenFrage „Frist 14 Tage“gewinnt, wenn die Zahl im Text stehtschwach, 14 und 30 wirken ähnlich
TippfehlerFrage „Kündgung“verliert, außer mit Fehlertoleranzmeist robust, Sinn bleibt erkennbar
MehrsprachigkeitFrage deutsch, Text englischverliert, andere Wörtergewinnt, wenn das Modell mehrsprachig ist
Lange, vage Fragen„Wie gehe ich vor, wenn ein Kunde reklamiert?“findet nur wortgleiche Stellengewinnt, findet den Sinn

Hybridsuche: beide zusammen

Ablauf
  • Stichwortliste (Rangliste 1)
  • Vektorliste (Rangliste 2)
  • Rangfusion (1 geteilt durch 60 plus Platz)
  • Eine Liste
Balkendiagramm
  • X: Platz 1 und gar nicht: 16,4
  • Y: Platz 2 und Platz 2: 32,3

Beide Methoden liefern eine Rangliste. Die Rangfusion verrechnet nur die Plätze, nicht die Punkte.

Bei der Hybridsuche laufen beide Methoden gleichzeitig. Jede liefert eine eigene Rangliste. Danach werden die Ranglisten zusammengeführt.

Das Problem dabei: Die Punktwerte sind nicht vergleichbar. BM25 liefert Werte wie 12,4, der Kosinus Werte wie 0,81. Man kann sie nicht einfach addieren. Der gängige Ausweg ist die Rangfusion (englisch Reciprocal Rank Fusion). Sie schaut nur auf die Platzierung, nicht auf die Punkte. Jede Platzierung bringt Punkte, und zwar umso mehr, je weiter oben sie liegt: Platz 1 mehr als Platz 2 und so weiter. Üblich ist die Formel „1 geteilt durch (60 plus Platz)“. Die Punkte aus beiden Ranglisten werden addiert.

Ein Beispiel. Text X steht bei der Stichwortsuche auf Platz 1, bei der Vektorsuche gar nicht in der Liste: Er bekommt 1 geteilt durch 61, das sind etwa 0,0164. Text Y steht in beiden Listen auf Platz 2: Er bekommt zweimal 1 geteilt durch 62, das sind etwa 0,0323. Y gewinnt, weil beide Methoden ihn für gut halten.

Gewichtung und Trefferzahl

Skala
  • mehr Stichwort bis mehr Vektor, Marker bei 50 Prozent: Am Material messen
Skala
  • zu wenige: Stelle fehlt bis zu viele: Modell lenkt ab, Marker bei 35 Prozent: Meist 3 bis 10

Zwei Regler: wie stark Stichwort oder Vektor zählen und wie viele Treffer ans Modell gehen.

Bei der Hybridsuche kannst du Gewichte vergeben: Zählt die Stichwortsuche gleich viel wie die Vektorsuche oder mehr? Wer viele Codes und Eigennamen hat, gibt dem Stichwort mehr. Wer Fragen in Alltagssprache erwartet, dem Vektor. Die richtige Mischung findest du nicht durch Nachdenken, sondern durch Messen mit echten Fragen, siehe RAG messen und verbessern.

Die zweite Stellschraube ist die Trefferzahl, im Englischen top-k. Sie legt fest, wie viele Stücke an das Modell gehen. Zu wenige, und die richtige Stelle fehlt vielleicht. Zu viele, und das Modell wird von Nebensächlichem abgelenkt und der Kontext läuft voll. Üblich sind einige wenige Treffer, in der Praxis meist drei bis zehn. Du stellst es so ein, dass die richtige Stelle fast immer dabei ist, ohne dass der Rest stört.

Filter: erst eingrenzen, dann suchen

Ablauf
  • Alle Stücke
  • Filter (Abteilung, Jahr, Sprache)
  • Suche (im kleineren Raum)
  • Treffer

Metadaten schränken ein, was überhaupt gesucht wird. Das macht schneller, genauer und sicherer.

Oft weißt du schon etwas über die gesuchte Stelle: aus welchem Dokument, welcher Abteilung, welchem Jahr, in welcher Sprache. Mit Metadaten kannst du die Suche darauf beschränken. Das ist schneller und genauer, weil das Material kleiner ist. Und es verhindert, dass ein alter Vertrag aus 2015 neben dem aktuellen unter den Treffern landet.

Filter sind auch ein Sicherheitsmittel: Wer nur Dokumente seiner Abteilung sehen darf, bekommt auch nur dort gesucht. Mehr dazu auf der Seite RAG messen und verbessern.

Die Frage selbst verbessern

Vergleich
  • Links: Knappe Frage: „Und für Kinder?“, Ohne Zusammenhang, Suche findet nichts
  • Rechts: Eigenständig: „Was kostet die Jahreskarte für Kinder?“, Vollständig, Suche trifft

Knappe Fragen ohne Gesprächsverlauf finden nichts. Das Modell macht daraus eine eigenständige Frage.

Nutzer fragen oft knapp und verkürzt. „Und für Kinder?“ ist ohne die Frage davor unverständlich. Eine Vektorsuche findet damit nichts. Deshalb wird die Frage vor der Suche manchmal umformuliert: Ein Sprachmodell macht aus dem Gesprächsverlauf eine eigenständige Frage („Was kostet die Jahreskarte für Kinder?“). Eine zweite Technik zerlegt eine lange Frage in mehrere Teilfragen, die einzeln gesucht werden.

Auch das lässt sich messen: Wird die Trefferquote damit besser, bleibt es. Sonst kostet es nur Zeit und eine zusätzliche Fehlerquelle.

Das nimmst du mit

  • Stichwortsuche (BM25) findet Wörter und gewichtet seltene Wörter stärker. Vektorsuche findet Sinn. Jede gewinnt dort, wo die andere verliert.
  • Die Hybridsuche führt beide Ranglisten über die Platzierung zusammen, nicht über die Punktwerte. Gewicht und Trefferzahl stellst du am eigenen Material ein.
  • Filter über Metadaten und eine umformulierte Frage machen die Suche genauer, bevor ein Reranker ins Spiel kommt.

Teste dich

  1. Ein Nutzer sucht nach dem Fehlercode „E-4711“. Welche Methode ist hier meist zuverlässiger?
    Antwort

    Stichwortsuche, weil sie die genaue Zeichenfolge findet. Codes tragen Genauigkeit, keine Bedeutung. Embeddings halten ähnliche Codes leicht für gleich, die Stichwortsuche findet genau den einen.

  2. Die Frage lautet „Darf ich das Auto im Hof abstellen?“, der Text sagt „Parken auf dem Betriebsgelände“. Wer findet ihn?
    Antwort

    Nur die Vektorsuche. Der Text teilt kein Wort mit der Frage. Die Vektorsuche vergleicht Bedeutung und findet ihn trotzdem.

  3. Warum addiert die Rangfusion Platzierungen statt Punktwerte?
    Antwort

    Weil die Punktwerte der beiden Methoden nicht vergleichbar sind. BM25-Werte und Kosinus-Werte haben ganz andere Größenordnungen. Die Platzierung ist die gemeinsame Sprache beider Listen.

  4. In einer Rangfusion steht Text A in beiden Listen auf Platz 3, Text B nur in einer Liste auf Platz 1. Wer liegt typischerweise vorn?
    Antwort

    A, weil er von beiden Methoden gestützt wird und zweimal Punkte bekommt. Zweimal etwa 1 geteilt durch 63 ist mehr als einmal 1 geteilt durch 61. Wer von beiden Seiten gelobt wird, rückt nach vorn.

  5. Was bewirkt ein Metadatenfilter wie „nur Dokumente aus diesem Jahr“?
    Antwort

    Er verkleinert den Suchraum, die Suche wird schneller und genauer. Der Filter schränkt vor der Suche ein, was überhaupt in Frage kommt. Das spart Zeit und verhindert Treffer aus der falschen Ecke.

Weiter geht es