Wissen und RAG

Chunking: Text in sinnvolle Stücke teilen

Kurz gesagt: Text wird in Stücke geteilt, weil Modelle Längengrenzen haben und ein Vektor für viel Text zu unscharf wird. Ein guter Chunk behandelt eine Sache und ist allein verständlich. Zu klein verliert Kontext, zu groß verwässert den Treffer.

Ein Dokument ist zu groß für die Suche am Stück. Wo du es schneidest, entscheidet mit, ob die richtige Stelle gefunden wird.

Warum man Text überhaupt zerlegt

Ablauf
  • Handbuch (300 Seiten)
  • Zerlegen
  • Chunks (je ein Vektor)
  • Treffer (ein Absatz)

Ein Vektor für 300 Seiten wäre ein verwaschener Durchschnitt. Darum bekommt jedes Stück einen eigenen.

Ein Handbuch mit 300 Seiten lässt sich nicht als Ganzes einbetten und auch nicht als Ganzes an ein Modell schicken. Dafür gibt es zwei Gründe. Der erste ist die Länge: Embedding-Modelle und Kontextfenster haben Obergrenzen. Der zweite ist die Genauigkeit: Ein Vektor für 300 Seiten wäre ein verwaschener Durchschnitt aus hundert Themen. Er würde zu fast keiner konkreten Frage gut passen.

Deshalb zerlegt man Text in Chunks, also Stücke. Jedes Stück bekommt einen eigenen Vektor. Die Suche findet dann nicht „das Handbuch“, sondern „den Absatz über den Filterwechsel“.

Was ein guter Chunk ist

Vergleich
  • Links: Guter Chunk: Überschrift, Eine Aussage, Alles zum Verstehen
  • Rechts: Schlechter Chunk: Beginnt mit „Dies gilt auch“, Bezug fehlt, Nur mit Nachbarn lesbar

Ein guter Chunk behandelt eine Sache und ist allein verständlich.

Ein guter Chunk behandelt eine Sache und ist für sich verständlich. Wer ihn allein liest, ohne die Seiten davor und danach, versteht, worum es geht. Das ist die wichtigste Regel. Alles Weitere sind Mittel, sie zu erreichen.

Das Gegenstück ist ein Chunk, der mit „Dies gilt auch dann nicht, wenn …“ beginnt. Das Modell sieht später nur dieses Stück und weiß nicht, worauf sich „dies“ bezieht.

Strategien im Vergleich

Übersicht
  • Feste Länge (alle N Zeichen)
  • Nach Absatz (an Leerzeilen)
  • Nach Satz (an Satzenden)
  • Nach Struktur (an Überschriften)
  • Rekursiv (größter Trenner zuerst)
  • Semantisch (wo das Thema wechselt)

Sechs Wege zu schneiden, vom einfachsten zum aufwendigsten. Keiner ist immer der beste.

Sechs Strategien zum Zerlegen
StrategieSo schneidet sieStärkeSchwäche
Feste Längealle N Zeichen oder Tokens, egal was dort stehteinfach, gleichmäßig, überall einsetzbarschneidet mitten durch Sätze und Gedanken
Nach Absatzan LeerzeilenAbsätze sind meist ein Gedankesehr kurze oder sehr lange Absätze
Nach Satzan Satzenden, mehrere Sätze gebündeltnie mitten im SatzZusammenhang über Sätze hinweg geht verloren
Nach Strukturan Überschriften, Kapiteln, Listenpunktenfolgt der Gliederung des Autorsbraucht saubere Struktur, Abschnitte sind unterschiedlich lang
Rekursiverst am größten Trenner (Kapitel), passt es nicht, am nächstkleineren (Absatz, Satz, Wort)hält Stücke in der Zielgröße und schneidet möglichst an natürlichen Stellenetwas mehr Konfiguration
Semantischschneidet, wo sich das Thema ändert, gemessen an EmbeddingsStücke folgen dem Sinnbraucht Rechenzeit, Ergebnis schwer vorhersagbar

Wie groß sollen die Stücke sein?

Skala
  • Zu klein: Antwort halb bis Zu groß: Treffer unscharf, Marker bei 50 Prozent: Mit echten Fragen testen

Je kleiner das Stück, desto genauer der Treffer, aber desto weniger Zusammenhang.

Es gibt keine allgemein richtige Größe. Es gibt zwei Seiten, zwischen denen du abwägst.

  • Zu klein: Das Stück enthält die Antwort nur zur Hälfte. Der Zusammenhang fehlt („Er muss bis Freitag zahlen“, aber wer?). Die Suche findet Fragmente, und das Modell bekommt zu wenig, um sauber zu antworten.
  • Zu groß: Das Stück enthält die Antwort und viel anderes. Der Vektor wird unschärfer, die Treffer werden ungenauer. Außerdem füllt jedes große Stück das Kontextfenster und kostet Rechenzeit, und das Modell muss die Nadel im Heuhaufen selbst finden.

Überlappung: Stücke, die sich teilen

Vergleich
  • Links: Ohne Überlappung: Stück 1: Satz 1 bis 4, Stück 2: Satz 5 bis 8, Gedanke an der Grenze zerrissen
  • Rechts: Mit Überlappung: Stück 1: Satz 1 bis 4, Stück 2: Satz 3 bis 6, Satz 3 und 4 stehen in beiden

Der Anfang jedes Stücks wiederholt das Ende des vorigen. So steht kein Gedanke nur halb da.

Beim Schneiden kann eine Aussage genau auf der Grenze liegen. Gegen dieses Problem hilft die Überlappung: Der Anfang jedes Stücks wiederholt das Ende des vorigen, zum Beispiel die letzten zwei Sätze. So steht jeder Gedanke, der an einer Grenze liegt, zumindest in einem der beiden Stücke ganz.

Überlappung hilft vor allem bei fester Länge und bei durchgehendem Fließtext. Sie hilft wenig, wenn du ohnehin an Überschriften schneidest, denn dort endet ein Thema wirklich. Sie hat einen Preis: Mehr Stücke, mehr Speicher, mehr Rechenzeit beim Einbetten. Außerdem können dieselben Sätze doppelt unter den Treffern stehen und Platz im Kontext verschwenden.

Besondere Inhalte: Tabellen, Listen, Code, PDFs

Vergleich
  • Links: Zeile allein: „12, 40, 7“, Zahlen ohne Sinn
  • Rechts: Mit Kopf oder als Satz: „Pumpe 3: Wartung alle 6 Monate.“, Sinn bleibt erhalten

Tabellenzeilen brauchen ihre Kopfzeile. Sonst bleiben Zahlen ohne Sinn zurück.

Fließtext ist der einfache Fall. In Firmendokumenten stehen oft Dinge, die sich schlecht schneiden lassen.

  • Tabellen: Eine Zeile ohne Kopfzeile ist wertlos („12, 40, 7“). Behalte Spaltenüberschriften bei jedem Stück oder wandle jede Zeile in einen Satz um: „Pumpe 3: Wartung alle 6 Monate.“
  • Listen: Ein Listenpunkt allein verliert den Satz davor („Folgende Unterlagen bringen Sie mit:“). Die Einleitung gehört zu jedem Punkt oder die Liste bleibt zusammen.
  • Code: Schneide an Funktionen oder Klassen, nicht nach Zeichenzahl. Ein halbierter Funktionsrumpf ist kein Code mehr.
  • PDFs: Der Text hat oft Kopf- und Fußzeilen, die auf jeder Seite stehen, Spalten, die durcheinander gelesen werden, und Silbentrennung. Prüfe vor dem Zerlegen, wie der Text tatsächlich aussieht.
  • Gescannte Dokumente: Ein Scan ist ein Bild. Der Text muss erst per Texterkennung gelesen werden. Fehler dort (aus „rn“ wird „m“) setzen sich in jedem späteren Schritt fort.

Metadaten: Herkunft mitführen

Schichten
  • Kapitelüberschrift (Kündigung von Mietverträgen)
  • Text des Stücks (Die Frist beträgt vier Wochen.)
  • Metadaten (Dokument, Seite, Datum)

Jedes Stück trägt seine Herkunft mit. Die Kapitelüberschrift davor gibt dem Vektor das Thema.

Jedes Stück sollte seine Herkunft kennen: Dokumentname, Kapitel, Seite, Datum, vielleicht Autor und Gültigkeit. Diese Metadaten werden mit dem Stück im Index gespeichert. Sie haben drei Aufgaben: Du kannst die Quelle in der Antwort nennen, du kannst die Suche einschränken („nur Dokumente aus diesem Jahr“), und du kannst Stücke gezielt austauschen, wenn sich ein Dokument ändert.

Ein einfacher Trick zahlt sich oft aus: Stelle jedem Stück die Überschrift des Kapitels voran, bevor du es einbettest. Aus „Die Frist beträgt vier Wochen.“ wird „Kündigung von Mietverträgen: Die Frist beträgt vier Wochen.“ Der Vektor trägt jetzt das Thema mit.

Wenn die Antwort über eine Grenze reicht

Übersicht
  • Überlappung erhöhen (Grenze in beiden Stücken)
  • Nachbarn mitholen (davor und danach)
  • Klein suchen, groß antworten (Elternabschnitt)

Drei Auswege: mehr Überlappung, Nachbarn mitholen oder klein suchen und groß antworten.

Trotz aller Sorgfalt gibt es Fragen, deren Antwort in zwei benachbarten Stücken steht. Dann hilft eine von drei Maßnahmen.

  • Überlappung erhöhen, damit die Grenzstelle in beiden Stücken steht.
  • Nachbarn mitholen: Findet die Suche ein Stück, werden das davor und das danach ebenfalls an das Modell gegeben. Das Modell sieht den Zusammenhang.
  • Klein suchen, groß antworten: Man sucht in kleinen, genauen Stücken, gibt aber dem Modell den größeren Abschnitt, aus dem das Stück stammt (Elternabschnitt).

Das nimmst du mit

  • Text wird in Stücke geteilt, weil Modelle Längengrenzen haben und ein Vektor für viel Text zu unscharf wird.
  • Ein guter Chunk behandelt eine Sache und ist allein verständlich. Zu klein verliert Kontext, zu groß verwässert den Treffer.
  • Struktur, Überlappung und Metadaten (Quelle, Kapitel, Datum) entscheiden, ob die Antwort später gefunden und belegt werden kann.

Teste dich

  1. Warum bettet man nicht einfach das ganze Handbuch als einen Vektor ein?
    Antwort

    Weil ein Vektor für sehr viel Text verwaschen ist und zu keiner konkreten Frage gut passt. Ein Vektor für hundert Themen ist ein Durchschnitt. Kleine, einheitliche Stücke liefern genauere Treffer. Dazu kommen Längengrenzen der Modelle.

  2. Die Chunks sind sehr klein, und die Antworten wirken oft unvollständig. Was ist die wahrscheinlichste Ursache?
    Antwort

    Die Stücke sind zu klein, der nötige Zusammenhang fehlt. Zu kleine Stücke tragen oft nur einen Halbsatz. Der Treffer sieht gut aus, enthält aber nicht die ganze Antwort.

  3. Wann bringt Überlappung am meisten?
    Antwort

    Bei durchgehendem Fließtext mit fester Länge, wo ein Schnitt mitten durch einen Gedanken gehen kann. Bei festen Schnitten liegen Aussagen oft auf einer Grenze. Überlappung stellt sicher, dass sie in einem Stück ganz vorkommen. Sie kostet aber Speicher und kann Doppeltreffer erzeugen.

  4. Was ist bei einer Tabelle im Dokument besonders wichtig?
    Antwort

    Jede Zeile wird getrennt mit Kopfzeile oder als Satz gespeichert, damit Zahlen ihre Bedeutung behalten. Zahlen ohne Spaltenüberschrift sind für Suche und Modell unlesbar. Mit Kopfzeile oder Satzform behalten sie ihren Sinn.

  5. Wozu dienen Metadaten wie Kapitel und Datum am Chunk?
    Antwort

    Sie ermöglichen Quellenangabe, Filter und gezieltes Aktualisieren. Metadaten sagen, woher ein Stück kommt. So kannst du Quellen nennen, die Suche einschränken und bei Änderungen gezielt Stücke austauschen.

Weiter geht es