Das Alltagsbild: Vorauswahl und Gespräch
- 200 Bewerbungen (schnell aussortiert)
- 15 Gespräche (langsam und genau)
- 3 Namen oben
Erst schnell aussortieren, dann wenige genau prüfen. Genau so arbeitet die zweistufige Suche.
Eine Firma bekommt 200 Bewerbungen auf eine Stelle. Niemand führt 200 Gespräche. Zuerst wird anhand der Unterlagen schnell aussortiert, vielleicht bleiben 15 übrig. Mit diesen führt man Gespräche, nimmt sich Zeit und urteilt genauer. Am Ende stehen drei Namen oben.
Genau so arbeitet eine zweistufige Suche. Die erste Stufe ist schnell und grob. Die zweite ist langsam und genau, aber nur für wenige Kandidaten.
Warum die erste Suche nur grob sortiert
- Stück
- Zahlenliste A
- Frage
- Zahlenliste B
- Vergleich
- Stück verbunden mit Zahlenliste A (vorab)
- Frage verbunden mit Zahlenliste B (später)
- Zahlenliste A verbunden mit Vergleich
- Zahlenliste B verbunden mit Vergleich
Stück und Frage werden getrennt zu Zahlen. Sie begegnen sich nie, verglichen werden nur Zusammenfassungen.
Bei der Vektorsuche wird jedes Stück einmal vorab in einen Vektor verwandelt, und zwar ohne die Frage zu kennen. Die Frage wird später ebenfalls allein in einen Vektor verwandelt. Beide begegnen sich nie. Verglichen werden nur zwei Zahlenlisten. Dabei geht Information verloren: Ein ganzer Absatz wird auf eine einzige Liste zusammengedrückt.
Der Vorteil dieses Vorgehens ist die Geschwindigkeit. Die Vektoren der Stücke liegen fertig im Index. Eine Frage braucht nur eine Berechnung, danach wird verglichen, und das geht auch bei Millionen Stücken in Sekundenbruchteilen. Der Preis ist die Genauigkeit: Oft liegt die richtige Stelle unter den ersten zwanzig Treffern, aber nicht ganz oben.
Was ein Reranker anders macht
- Links: Erste Suche: Zwei getrennte Zahlenlisten, Vorab berechnet, Schnell, aber grob
- Rechts: Reranker: Frage und Text gemeinsam, Punktwert je Kandidat, Genau, aber langsamer
Der Reranker liest Frage und Text gemeinsam. Das ist genauer, aber nicht vorab zu erledigen.
Ein Reranker bekommt die Frage und einen Kandidaten zusammen und liest beide gemeinsam. Er sieht, wie die Wörter der Frage zu den Wörtern des Textes passen, und gibt einen Punktwert dafür, wie gut der Text die Frage beantwortet. Das ist genauer, weil Frage und Text direkt aufeinander bezogen werden und nicht nur ihre Zusammenfassungen verglichen werden.
Der Preis ist die Rechenzeit. Für jeden Kandidaten läuft ein eigener Durchgang mit der konkreten Frage. Das kann man nicht vorab erledigen, denn die Frage kennt man erst, wenn sie gestellt wird. Deshalb arbeitet der Reranker nie auf dem ganzen Bestand, sondern nur auf den Treffern der ersten Suche.
Bauarten von Rerankern
- Cross-Encoder, Stärke: Eigens trainiert, direkter Punktwert
- Cross-Encoder, Schwäche: Eigenes Modell nötig
- Sprachmodell, Stärke: Kein zusätzliches Modell
- Sprachmodell, Schwäche: Langsamer, schwankt
Entweder ein eigens trainiertes Netz oder ein Sprachmodell als Bewerter.
| Bauart | So arbeitet sie | Stärke | Schwäche |
|---|---|---|---|
| Cross-Encoder | Ein kleines Netz, das nur für diese Aufgabe trainiert ist. Es liest Frage und Text zusammen und gibt eine Zahl aus. | schnell für ein Netz dieser Art, jeder Durchlauf liefert direkt einen Punktwert, gut messbar | muss man als eigenes Modell bereitstellen, schwächer bei Fachgebieten, für die es nicht trainiert wurde |
| Sprachmodell als Bewerter | Ein normales Sprachmodell bekommt Frage und Text und wird gebeten, die Passung zu bewerten oder die Kandidaten zu ordnen. | kein zusätzliches Modell nötig, flexibel, kann Begründungen liefern | langsamer, kleine Modelle bewerten unzuverlässig, die Ausgabe schwankt |
Der zweistufige Ablauf
- Suche (20 bis 50 Kandidaten)
- Reranker (neu sortiert)
- Modell (oberste 3 bis 5)
Die Suche fängt breit, der Reranker sortiert genau, die obersten Treffer gehen ans Modell.
Die erste Stufe holt viele Kandidaten, die zweite wählt wenige aus. Typisch ist ein Verhältnis wie: Die Suche liefert die besten 20 bis 50 Stücke, der Reranker sortiert sie neu, und die obersten 3 bis 5 gehen an das Sprachmodell. Die genauen Zahlen hängen von deinem Material ab.
Das Prinzip dahinter: Die erste Stufe soll vor allem nichts Wichtiges verpassen (breit fangen). Die zweite soll das Wichtige nach oben bringen (genau sortieren). Ein Beispiel: Die richtige Fundstelle liegt nach der Suche auf Platz 9. Ohne Reranker würde sie, bei einer Begrenzung auf die besten fünf, gar nicht an das Modell gehen. Mit Reranker steigt sie auf Platz 1.
Kosten und Wartezeit
- 5 Kandidaten: 5 s
- 10 Kandidaten: 10 s
- 30 Kandidaten: 30 s
Jeder Kandidat braucht einen eigenen Durchgang. Die Wartezeit wächst mit ihrer Zahl.
Ein Reranker kostet Zeit. Bei 30 Kandidaten sind das 30 Durchgänge, die jeweils Frage und Text lesen. Auf einem kleinen Gerät wie dem Jetson merkt man das, vor allem, wenn ein Sprachmodell der Bewerter ist. Die Wartezeit steigt mit der Zahl der Kandidaten und der Länge der Stücke.
Auf dem Jetson steht llama3.2:3b zur Verfügung. Es kann als Bewerter dienen, ist aber ein kleines Modell. Je kleiner das Modell, desto größer die Gefahr, dass es Kandidaten falsch einschätzt oder bei gleicher Eingabe unterschiedliche Zahlen liefert. Ob sich das lohnt, zeigt nur eine Messung an deinen Daten, siehe RAG messen und verbessern.
Drei Hebel halten die Kosten im Rahmen. Erstens weniger Kandidaten, solange die richtige Stelle noch dabei ist. Zweitens kürzere Stücke, denn kurze Texte sind schneller gelesen. Drittens Ergebnisse zwischenspeichern, wenn dieselbe Frage öfter kommt. Und: Miss die Antwortzeit mit und ohne Reranker, bevor du ihn fest einbaust.
Wann es sich lohnt und woran du es erkennst
- Links: Gefunden, aber unten: Unter den ersten 20, Nicht unter den ersten 3, Reranker hilft
- Rechts: Gar nicht gefunden: Nicht unter den Kandidaten, Reranker sortiert nur, Stücke, Modell, Frage prüfen
Ein Reranker verbessert die Reihenfolge, nicht den Fund. Die Stelle muss unter den Kandidaten sein.
Ein Reranker lohnt sich, wenn die richtige Fundstelle zwar gefunden wird, aber nicht oben steht. Das erkennst du nur mit einem Testset: einer Liste echter Fragen mit der bekannten Fundstelle, siehe RAG messen und verbessern. Dann zählst du, wie oft die richtige Stelle unter den besten 20 liegt und wie oft unter den besten 3. Ist der erste Wert deutlich höher, hilft ein Reranker. Er kann die Lücke füllen.
Liegt die richtige Stelle gar nicht unter den ersten 20, hilft ein Reranker nicht. Er sortiert nur, was die Suche liefert. Dann liegt das Problem früher: in den Stücken, im Embedding-Modell oder in der Frage. Das Problem muss man dort beheben.
Weitere Verbesserungen im Umfeld
- Frage umschreiben (hilft der ersten Suche)
- Kontext erweitern (Nachbarn oder Elternabschnitt)
- Treffer kürzen (spart Platz, riskiert Lücken)
Drei Mittel setzen an derselben Stelle der Kette an.
- Frage umschreiben: Eine knappe oder mehrdeutige Frage wird vorab zu einer vollständigen Frage gemacht. Das hilft der ersten Suche, siehe Suchen.
- Kontext erweitern: Zu jedem Treffer kommen die Nachbarn oder der Elternabschnitt dazu, damit der Zusammenhang erhalten bleibt, siehe Chunking.
- Treffer zusammenfassen oder kürzen: Bei langen Treffern werden Nebensätze und Wiederholungen entfernt, bevor das Modell sie bekommt. Das spart Platz im Kontext, birgt aber das Risiko, dass etwas Wichtiges fehlt.