Wissen und RAG

Reranking: erst grob, dann genau

Kurz gesagt: Die erste Suche vergleicht fertige Vektoren und ist schnell, aber grob. Ein Reranker liest Frage und Text gemeinsam und ist genauer, aber langsam. Der Ablauf lautet: viele Kandidaten holen, wenige genau sortieren, die besten an das Modell geben.

Die erste Suche sortiert grob, aber schnell. Ein Reranker liest die besten Kandidaten noch einmal genau.

Das Alltagsbild: Vorauswahl und Gespräch

Schichten
  • 200 Bewerbungen (schnell aussortiert)
  • 15 Gespräche (langsam und genau)
  • 3 Namen oben

Erst schnell aussortieren, dann wenige genau prüfen. Genau so arbeitet die zweistufige Suche.

Eine Firma bekommt 200 Bewerbungen auf eine Stelle. Niemand führt 200 Gespräche. Zuerst wird anhand der Unterlagen schnell aussortiert, vielleicht bleiben 15 übrig. Mit diesen führt man Gespräche, nimmt sich Zeit und urteilt genauer. Am Ende stehen drei Namen oben.

Genau so arbeitet eine zweistufige Suche. Die erste Stufe ist schnell und grob. Die zweite ist langsam und genau, aber nur für wenige Kandidaten.

Warum die erste Suche nur grob sortiert

Netz
  • Stück
  • Zahlenliste A
  • Frage
  • Zahlenliste B
  • Vergleich
  • Stück verbunden mit Zahlenliste A (vorab)
  • Frage verbunden mit Zahlenliste B (später)
  • Zahlenliste A verbunden mit Vergleich
  • Zahlenliste B verbunden mit Vergleich

Stück und Frage werden getrennt zu Zahlen. Sie begegnen sich nie, verglichen werden nur Zusammenfassungen.

Bei der Vektorsuche wird jedes Stück einmal vorab in einen Vektor verwandelt, und zwar ohne die Frage zu kennen. Die Frage wird später ebenfalls allein in einen Vektor verwandelt. Beide begegnen sich nie. Verglichen werden nur zwei Zahlenlisten. Dabei geht Information verloren: Ein ganzer Absatz wird auf eine einzige Liste zusammengedrückt.

Der Vorteil dieses Vorgehens ist die Geschwindigkeit. Die Vektoren der Stücke liegen fertig im Index. Eine Frage braucht nur eine Berechnung, danach wird verglichen, und das geht auch bei Millionen Stücken in Sekundenbruchteilen. Der Preis ist die Genauigkeit: Oft liegt die richtige Stelle unter den ersten zwanzig Treffern, aber nicht ganz oben.

Was ein Reranker anders macht

Vergleich
  • Links: Erste Suche: Zwei getrennte Zahlenlisten, Vorab berechnet, Schnell, aber grob
  • Rechts: Reranker: Frage und Text gemeinsam, Punktwert je Kandidat, Genau, aber langsamer

Der Reranker liest Frage und Text gemeinsam. Das ist genauer, aber nicht vorab zu erledigen.

Ein Reranker bekommt die Frage und einen Kandidaten zusammen und liest beide gemeinsam. Er sieht, wie die Wörter der Frage zu den Wörtern des Textes passen, und gibt einen Punktwert dafür, wie gut der Text die Frage beantwortet. Das ist genauer, weil Frage und Text direkt aufeinander bezogen werden und nicht nur ihre Zusammenfassungen verglichen werden.

Der Preis ist die Rechenzeit. Für jeden Kandidaten läuft ein eigener Durchgang mit der konkreten Frage. Das kann man nicht vorab erledigen, denn die Frage kennt man erst, wenn sie gestellt wird. Deshalb arbeitet der Reranker nie auf dem ganzen Bestand, sondern nur auf den Treffern der ersten Suche.

Bauarten von Rerankern

Matrix
  • Cross-Encoder, Stärke: Eigens trainiert, direkter Punktwert
  • Cross-Encoder, Schwäche: Eigenes Modell nötig
  • Sprachmodell, Stärke: Kein zusätzliches Modell
  • Sprachmodell, Schwäche: Langsamer, schwankt

Entweder ein eigens trainiertes Netz oder ein Sprachmodell als Bewerter.

Zwei Bauarten im Vergleich
BauartSo arbeitet sieStärkeSchwäche
Cross-EncoderEin kleines Netz, das nur für diese Aufgabe trainiert ist. Es liest Frage und Text zusammen und gibt eine Zahl aus.schnell für ein Netz dieser Art, jeder Durchlauf liefert direkt einen Punktwert, gut messbarmuss man als eigenes Modell bereitstellen, schwächer bei Fachgebieten, für die es nicht trainiert wurde
Sprachmodell als BewerterEin normales Sprachmodell bekommt Frage und Text und wird gebeten, die Passung zu bewerten oder die Kandidaten zu ordnen.kein zusätzliches Modell nötig, flexibel, kann Begründungen liefernlangsamer, kleine Modelle bewerten unzuverlässig, die Ausgabe schwankt

Der zweistufige Ablauf

Ablauf
  • Suche (20 bis 50 Kandidaten)
  • Reranker (neu sortiert)
  • Modell (oberste 3 bis 5)

Die Suche fängt breit, der Reranker sortiert genau, die obersten Treffer gehen ans Modell.

Die erste Stufe holt viele Kandidaten, die zweite wählt wenige aus. Typisch ist ein Verhältnis wie: Die Suche liefert die besten 20 bis 50 Stücke, der Reranker sortiert sie neu, und die obersten 3 bis 5 gehen an das Sprachmodell. Die genauen Zahlen hängen von deinem Material ab.

Das Prinzip dahinter: Die erste Stufe soll vor allem nichts Wichtiges verpassen (breit fangen). Die zweite soll das Wichtige nach oben bringen (genau sortieren). Ein Beispiel: Die richtige Fundstelle liegt nach der Suche auf Platz 9. Ohne Reranker würde sie, bei einer Begrenzung auf die besten fünf, gar nicht an das Modell gehen. Mit Reranker steigt sie auf Platz 1.

Kosten und Wartezeit

Balkendiagramm
  • 5 Kandidaten: 5 s
  • 10 Kandidaten: 10 s
  • 30 Kandidaten: 30 s

Jeder Kandidat braucht einen eigenen Durchgang. Die Wartezeit wächst mit ihrer Zahl.

Ein Reranker kostet Zeit. Bei 30 Kandidaten sind das 30 Durchgänge, die jeweils Frage und Text lesen. Auf einem kleinen Gerät wie dem Jetson merkt man das, vor allem, wenn ein Sprachmodell der Bewerter ist. Die Wartezeit steigt mit der Zahl der Kandidaten und der Länge der Stücke.

Auf dem Jetson steht llama3.2:3b zur Verfügung. Es kann als Bewerter dienen, ist aber ein kleines Modell. Je kleiner das Modell, desto größer die Gefahr, dass es Kandidaten falsch einschätzt oder bei gleicher Eingabe unterschiedliche Zahlen liefert. Ob sich das lohnt, zeigt nur eine Messung an deinen Daten, siehe RAG messen und verbessern.

Drei Hebel halten die Kosten im Rahmen. Erstens weniger Kandidaten, solange die richtige Stelle noch dabei ist. Zweitens kürzere Stücke, denn kurze Texte sind schneller gelesen. Drittens Ergebnisse zwischenspeichern, wenn dieselbe Frage öfter kommt. Und: Miss die Antwortzeit mit und ohne Reranker, bevor du ihn fest einbaust.

Wann es sich lohnt und woran du es erkennst

Vergleich
  • Links: Gefunden, aber unten: Unter den ersten 20, Nicht unter den ersten 3, Reranker hilft
  • Rechts: Gar nicht gefunden: Nicht unter den Kandidaten, Reranker sortiert nur, Stücke, Modell, Frage prüfen

Ein Reranker verbessert die Reihenfolge, nicht den Fund. Die Stelle muss unter den Kandidaten sein.

Ein Reranker lohnt sich, wenn die richtige Fundstelle zwar gefunden wird, aber nicht oben steht. Das erkennst du nur mit einem Testset: einer Liste echter Fragen mit der bekannten Fundstelle, siehe RAG messen und verbessern. Dann zählst du, wie oft die richtige Stelle unter den besten 20 liegt und wie oft unter den besten 3. Ist der erste Wert deutlich höher, hilft ein Reranker. Er kann die Lücke füllen.

Liegt die richtige Stelle gar nicht unter den ersten 20, hilft ein Reranker nicht. Er sortiert nur, was die Suche liefert. Dann liegt das Problem früher: in den Stücken, im Embedding-Modell oder in der Frage. Das Problem muss man dort beheben.

Weitere Verbesserungen im Umfeld

Übersicht
  • Frage umschreiben (hilft der ersten Suche)
  • Kontext erweitern (Nachbarn oder Elternabschnitt)
  • Treffer kürzen (spart Platz, riskiert Lücken)

Drei Mittel setzen an derselben Stelle der Kette an.

  • Frage umschreiben: Eine knappe oder mehrdeutige Frage wird vorab zu einer vollständigen Frage gemacht. Das hilft der ersten Suche, siehe Suchen.
  • Kontext erweitern: Zu jedem Treffer kommen die Nachbarn oder der Elternabschnitt dazu, damit der Zusammenhang erhalten bleibt, siehe Chunking.
  • Treffer zusammenfassen oder kürzen: Bei langen Treffern werden Nebensätze und Wiederholungen entfernt, bevor das Modell sie bekommt. Das spart Platz im Kontext, birgt aber das Risiko, dass etwas Wichtiges fehlt.

Das nimmst du mit

  • Die erste Suche vergleicht fertige Vektoren und ist schnell, aber grob. Ein Reranker liest Frage und Text gemeinsam und ist genauer, aber langsam.
  • Der Ablauf lautet: viele Kandidaten holen, wenige genau sortieren, die besten an das Modell geben.
  • Ein Reranker verbessert nur die Reihenfolge. Fehlt die richtige Stelle unter den Kandidaten, liegt das Problem früher.

Teste dich

  1. Warum kann ein Reranker nicht die ganze Sammlung durchsehen?
    Antwort

    Weil er für jeden Text einen eigenen Durchgang mit der Frage braucht, das wäre viel zu langsam. Der Reranker liest Frage und Text gemeinsam. Das lässt sich nicht vorab erledigen und wäre bei vielen Stücken zu aufwendig. Er arbeitet nur auf den Kandidaten der ersten Suche.

  2. Was unterscheidet einen Reranker von der Vektorsuche?
    Antwort

    Er liest Frage und Text zusammen und bewertet die Passung direkt. Die Vektorsuche vergleicht zwei unabhängig entstandene Zahlenlisten. Der Reranker sieht beide Texte zugleich und ist deshalb genauer.

  3. Die richtige Fundstelle steht bei 80 von 100 Testfragen unter den ersten 20 Treffern, aber nur bei 40 unter den ersten 3. Was hilft?
    Antwort

    Ein Reranker, weil die Stelle gefunden, aber nicht oben sortiert wird. Die Lücke zwischen beiden Werten zeigt, dass die Stelle gefunden wird, aber zu weit unten liegt. Genau das behebt ein Reranker.

  4. Die richtige Stelle liegt bei vielen Fragen nicht einmal unter den ersten 50 Treffern. Wird ein Reranker das Problem lösen?
    Antwort

    Nein, er sortiert nur die Kandidaten, die er bekommt. Ohne die Stelle unter den Kandidaten kann der Reranker sie nicht nach oben bringen. Dann musst du Stücke, Embeddings oder Frage verbessern.

  5. Wie hältst du die Wartezeit eines Rerankers im Rahmen?
    Antwort

    Weniger und kürzere Kandidaten, und häufige Fragen zwischenspeichern. Die Zeit wächst mit der Zahl und Länge der Kandidaten. Weniger, kürzere und zwischengespeicherte Durchgänge sparen sie.

Weiter geht es