Zwei Arten zu suchen
- Links: Wortsuche: Wörter vergleichen, Exakt und schnell, Wie das Telefonbuch
- Rechts: Bedeutungssuche: Sinn vergleichen, Andere Wörter genügen, Wie die Buchhändlerin
Eine Suche vergleicht entweder Wörter oder Bedeutung. Jede findet, was die andere verpasst.
Eine Suche muss aus vielen Stücken die wenigen holen, die zu einer Frage passen. Dafür gibt es zwei grundverschiedene Methoden. Die erste vergleicht Wörter: Kommen die Wörter aus der Frage im Text vor? Die zweite vergleicht Bedeutung: Meint der Text dasselbe wie die Frage, auch wenn er andere Wörter benutzt?
Stichwortsuche von null
- Seltene Wörter (zählen mehr)
- Wiederholung (wirkt nur noch langsam)
- Textlänge (wird ausgeglichen)
BM25 zählt Wörter, aber klug: Seltene zählen mehr, Wiederholung weniger, die Länge wird ausgeglichen.
Die einfachste Stichwortsuche zählt, wie oft die Wörter der Frage im Text vorkommen. Das funktioniert, hat aber Mängel. Das Wort „der“ kommt überall vor und sagt nichts. Ein langer Text enthält schon deshalb mehr Treffer, weil er lang ist. Und das hundertste „Pumpe“ im selben Text macht ihn nicht hundertmal passender.
Das gängige Verfahren BM25 behebt das mit drei Ideen. Erstens: Seltene Wörter zählen mehr als häufige. „Dichtungsring“ trennt Texte gut, „und“ nicht. Zweitens: Kommt ein Wort immer wieder vor, steigt der Wert nur noch langsam. Drittens: Der Wert wird nach der Länge des Textes angepasst, damit kurze Texte nicht benachteiligt werden und lange nicht bevorzugt. Das Ergebnis ist ein Punktwert je Text. Die Texte mit den meisten Punkten stehen oben. Mehr steckt im Kern nicht dahinter.
Vektorsuche: Sinn statt Wörter
- Frage (Auto im Hof abstellen?)
- Vektor
- Nähe messen (Kosinus)
- Treffer (Parken auf dem Betriebsgelände)
Die Frage wird zum Vektor. Gesucht wird, was ihr am nächsten liegt, ganz ohne gemeinsame Wörter.
Die Vektorsuche nutzt die Embeddings aus Vektorisieren und Embeddings. Die Frage wird in einen Vektor verwandelt. Gesucht werden die Stücke, deren Vektoren dem der Frage am nächsten liegen, gemessen mit der Kosinus-Ähnlichkeit. Sie braucht keine gemeinsamen Wörter.
So findet die Frage „Darf ich mein Auto im Hof abstellen?“ den Abschnitt „Parken von Fahrzeugen auf dem Betriebsgelände“. Kein Wort stimmt überein, der Sinn schon. Für Menschen, die in Alltagssprache fragen, ist das ein großer Gewinn. Der Preis: Die Suche ist ungenau bei allem, was genau gleich sein muss.
Wo jede Methode gewinnt und verliert
- Synonyme, Stichwort: verliert
- Synonyme, Vektor: gewinnt
- Fehlercode, Stichwort: gewinnt
- Fehlercode, Vektor: verliert
- Eigenname, Stichwort: gewinnt
- Eigenname, Vektor: oft schwach
- Zahl, Stichwort: gewinnt
- Zahl, Vektor: schwach
- Tippfehler, Stichwort: verliert, ohne Toleranz
- Tippfehler, Vektor: robust
- Fremdsprache, Stichwort: verliert
- Fremdsprache, Vektor: gewinnt, wenn mehrsprachig
Stichwort gewinnt bei genauen Zeichenfolgen, Vektor bei Umschreibungen und Fremdsprachen.
Die Tabelle zeigt typische Fälle. Sie verteilt keine Noten, sondern zeigt, wofür sich welche Methode eignet.
| Fall | Beispiel | Stichwort | Vektor |
|---|---|---|---|
| Synonyme | Frage „Auto abstellen“, Text „Fahrzeug parken“ | verliert, kein gemeinsames Wort | gewinnt, gleicher Sinn |
| Fachwörter | Frage „Hydraulikzylinder“, Text mit genau diesem Wort | gewinnt, seltenes Wort | meist gut, bei sehr seltenen Wörtern unsicher |
| Fehlercodes | Frage „E-4711“ | gewinnt, exakte Zeichenfolge | verliert, ähnliche Codes wirken gleich |
| Eigennamen | Frage „Müller GmbH“ | gewinnt, genauer Name | oft schwach, Name trägt wenig Sinn |
| Zahlen | Frage „Frist 14 Tage“ | gewinnt, wenn die Zahl im Text steht | schwach, 14 und 30 wirken ähnlich |
| Tippfehler | Frage „Kündgung“ | verliert, außer mit Fehlertoleranz | meist robust, Sinn bleibt erkennbar |
| Mehrsprachigkeit | Frage deutsch, Text englisch | verliert, andere Wörter | gewinnt, wenn das Modell mehrsprachig ist |
| Lange, vage Fragen | „Wie gehe ich vor, wenn ein Kunde reklamiert?“ | findet nur wortgleiche Stellen | gewinnt, findet den Sinn |
Hybridsuche: beide zusammen
- Stichwortliste (Rangliste 1)
- Vektorliste (Rangliste 2)
- Rangfusion (1 geteilt durch 60 plus Platz)
- Eine Liste
- X: Platz 1 und gar nicht: 16,4
- Y: Platz 2 und Platz 2: 32,3
Beide Methoden liefern eine Rangliste. Die Rangfusion verrechnet nur die Plätze, nicht die Punkte.
Bei der Hybridsuche laufen beide Methoden gleichzeitig. Jede liefert eine eigene Rangliste. Danach werden die Ranglisten zusammengeführt.
Das Problem dabei: Die Punktwerte sind nicht vergleichbar. BM25 liefert Werte wie 12,4, der Kosinus Werte wie 0,81. Man kann sie nicht einfach addieren. Der gängige Ausweg ist die Rangfusion (englisch Reciprocal Rank Fusion). Sie schaut nur auf die Platzierung, nicht auf die Punkte. Jede Platzierung bringt Punkte, und zwar umso mehr, je weiter oben sie liegt: Platz 1 mehr als Platz 2 und so weiter. Üblich ist die Formel „1 geteilt durch (60 plus Platz)“. Die Punkte aus beiden Ranglisten werden addiert.
Ein Beispiel. Text X steht bei der Stichwortsuche auf Platz 1, bei der Vektorsuche gar nicht in der Liste: Er bekommt 1 geteilt durch 61, das sind etwa 0,0164. Text Y steht in beiden Listen auf Platz 2: Er bekommt zweimal 1 geteilt durch 62, das sind etwa 0,0323. Y gewinnt, weil beide Methoden ihn für gut halten.
Gewichtung und Trefferzahl
- mehr Stichwort bis mehr Vektor, Marker bei 50 Prozent: Am Material messen
- zu wenige: Stelle fehlt bis zu viele: Modell lenkt ab, Marker bei 35 Prozent: Meist 3 bis 10
Zwei Regler: wie stark Stichwort oder Vektor zählen und wie viele Treffer ans Modell gehen.
Bei der Hybridsuche kannst du Gewichte vergeben: Zählt die Stichwortsuche gleich viel wie die Vektorsuche oder mehr? Wer viele Codes und Eigennamen hat, gibt dem Stichwort mehr. Wer Fragen in Alltagssprache erwartet, dem Vektor. Die richtige Mischung findest du nicht durch Nachdenken, sondern durch Messen mit echten Fragen, siehe RAG messen und verbessern.
Die zweite Stellschraube ist die Trefferzahl, im Englischen top-k. Sie legt fest, wie viele Stücke an das Modell gehen. Zu wenige, und die richtige Stelle fehlt vielleicht. Zu viele, und das Modell wird von Nebensächlichem abgelenkt und der Kontext läuft voll. Üblich sind einige wenige Treffer, in der Praxis meist drei bis zehn. Du stellst es so ein, dass die richtige Stelle fast immer dabei ist, ohne dass der Rest stört.
Filter: erst eingrenzen, dann suchen
- Alle Stücke
- Filter (Abteilung, Jahr, Sprache)
- Suche (im kleineren Raum)
- Treffer
Metadaten schränken ein, was überhaupt gesucht wird. Das macht schneller, genauer und sicherer.
Oft weißt du schon etwas über die gesuchte Stelle: aus welchem Dokument, welcher Abteilung, welchem Jahr, in welcher Sprache. Mit Metadaten kannst du die Suche darauf beschränken. Das ist schneller und genauer, weil das Material kleiner ist. Und es verhindert, dass ein alter Vertrag aus 2015 neben dem aktuellen unter den Treffern landet.
Filter sind auch ein Sicherheitsmittel: Wer nur Dokumente seiner Abteilung sehen darf, bekommt auch nur dort gesucht. Mehr dazu auf der Seite RAG messen und verbessern.
Die Frage selbst verbessern
- Links: Knappe Frage: „Und für Kinder?“, Ohne Zusammenhang, Suche findet nichts
- Rechts: Eigenständig: „Was kostet die Jahreskarte für Kinder?“, Vollständig, Suche trifft
Knappe Fragen ohne Gesprächsverlauf finden nichts. Das Modell macht daraus eine eigenständige Frage.
Nutzer fragen oft knapp und verkürzt. „Und für Kinder?“ ist ohne die Frage davor unverständlich. Eine Vektorsuche findet damit nichts. Deshalb wird die Frage vor der Suche manchmal umformuliert: Ein Sprachmodell macht aus dem Gesprächsverlauf eine eigenständige Frage („Was kostet die Jahreskarte für Kinder?“). Eine zweite Technik zerlegt eine lange Frage in mehrere Teilfragen, die einzeln gesucht werden.
Auch das lässt sich messen: Wird die Trefferquote damit besser, bleibt es. Sonst kostet es nur Zeit und eine zusätzliche Fehlerquelle.