Warum man Text überhaupt zerlegt
- Handbuch (300 Seiten)
- Zerlegen
- Chunks (je ein Vektor)
- Treffer (ein Absatz)
Ein Vektor für 300 Seiten wäre ein verwaschener Durchschnitt. Darum bekommt jedes Stück einen eigenen.
Ein Handbuch mit 300 Seiten lässt sich nicht als Ganzes einbetten und auch nicht als Ganzes an ein Modell schicken. Dafür gibt es zwei Gründe. Der erste ist die Länge: Embedding-Modelle und Kontextfenster haben Obergrenzen. Der zweite ist die Genauigkeit: Ein Vektor für 300 Seiten wäre ein verwaschener Durchschnitt aus hundert Themen. Er würde zu fast keiner konkreten Frage gut passen.
Deshalb zerlegt man Text in Chunks, also Stücke. Jedes Stück bekommt einen eigenen Vektor. Die Suche findet dann nicht „das Handbuch“, sondern „den Absatz über den Filterwechsel“.
Was ein guter Chunk ist
- Links: Guter Chunk: Überschrift, Eine Aussage, Alles zum Verstehen
- Rechts: Schlechter Chunk: Beginnt mit „Dies gilt auch“, Bezug fehlt, Nur mit Nachbarn lesbar
Ein guter Chunk behandelt eine Sache und ist allein verständlich.
Ein guter Chunk behandelt eine Sache und ist für sich verständlich. Wer ihn allein liest, ohne die Seiten davor und danach, versteht, worum es geht. Das ist die wichtigste Regel. Alles Weitere sind Mittel, sie zu erreichen.
Das Gegenstück ist ein Chunk, der mit „Dies gilt auch dann nicht, wenn …“ beginnt. Das Modell sieht später nur dieses Stück und weiß nicht, worauf sich „dies“ bezieht.
Strategien im Vergleich
- Feste Länge (alle N Zeichen)
- Nach Absatz (an Leerzeilen)
- Nach Satz (an Satzenden)
- Nach Struktur (an Überschriften)
- Rekursiv (größter Trenner zuerst)
- Semantisch (wo das Thema wechselt)
Sechs Wege zu schneiden, vom einfachsten zum aufwendigsten. Keiner ist immer der beste.
| Strategie | So schneidet sie | Stärke | Schwäche |
|---|---|---|---|
| Feste Länge | alle N Zeichen oder Tokens, egal was dort steht | einfach, gleichmäßig, überall einsetzbar | schneidet mitten durch Sätze und Gedanken |
| Nach Absatz | an Leerzeilen | Absätze sind meist ein Gedanke | sehr kurze oder sehr lange Absätze |
| Nach Satz | an Satzenden, mehrere Sätze gebündelt | nie mitten im Satz | Zusammenhang über Sätze hinweg geht verloren |
| Nach Struktur | an Überschriften, Kapiteln, Listenpunkten | folgt der Gliederung des Autors | braucht saubere Struktur, Abschnitte sind unterschiedlich lang |
| Rekursiv | erst am größten Trenner (Kapitel), passt es nicht, am nächstkleineren (Absatz, Satz, Wort) | hält Stücke in der Zielgröße und schneidet möglichst an natürlichen Stellen | etwas mehr Konfiguration |
| Semantisch | schneidet, wo sich das Thema ändert, gemessen an Embeddings | Stücke folgen dem Sinn | braucht Rechenzeit, Ergebnis schwer vorhersagbar |
Wie groß sollen die Stücke sein?
- Zu klein: Antwort halb bis Zu groß: Treffer unscharf, Marker bei 50 Prozent: Mit echten Fragen testen
Je kleiner das Stück, desto genauer der Treffer, aber desto weniger Zusammenhang.
Es gibt keine allgemein richtige Größe. Es gibt zwei Seiten, zwischen denen du abwägst.
- Zu klein: Das Stück enthält die Antwort nur zur Hälfte. Der Zusammenhang fehlt („Er muss bis Freitag zahlen“, aber wer?). Die Suche findet Fragmente, und das Modell bekommt zu wenig, um sauber zu antworten.
- Zu groß: Das Stück enthält die Antwort und viel anderes. Der Vektor wird unschärfer, die Treffer werden ungenauer. Außerdem füllt jedes große Stück das Kontextfenster und kostet Rechenzeit, und das Modell muss die Nadel im Heuhaufen selbst finden.
Überlappung: Stücke, die sich teilen
- Links: Ohne Überlappung: Stück 1: Satz 1 bis 4, Stück 2: Satz 5 bis 8, Gedanke an der Grenze zerrissen
- Rechts: Mit Überlappung: Stück 1: Satz 1 bis 4, Stück 2: Satz 3 bis 6, Satz 3 und 4 stehen in beiden
Der Anfang jedes Stücks wiederholt das Ende des vorigen. So steht kein Gedanke nur halb da.
Beim Schneiden kann eine Aussage genau auf der Grenze liegen. Gegen dieses Problem hilft die Überlappung: Der Anfang jedes Stücks wiederholt das Ende des vorigen, zum Beispiel die letzten zwei Sätze. So steht jeder Gedanke, der an einer Grenze liegt, zumindest in einem der beiden Stücke ganz.
Überlappung hilft vor allem bei fester Länge und bei durchgehendem Fließtext. Sie hilft wenig, wenn du ohnehin an Überschriften schneidest, denn dort endet ein Thema wirklich. Sie hat einen Preis: Mehr Stücke, mehr Speicher, mehr Rechenzeit beim Einbetten. Außerdem können dieselben Sätze doppelt unter den Treffern stehen und Platz im Kontext verschwenden.
Besondere Inhalte: Tabellen, Listen, Code, PDFs
- Links: Zeile allein: „12, 40, 7“, Zahlen ohne Sinn
- Rechts: Mit Kopf oder als Satz: „Pumpe 3: Wartung alle 6 Monate.“, Sinn bleibt erhalten
Tabellenzeilen brauchen ihre Kopfzeile. Sonst bleiben Zahlen ohne Sinn zurück.
Fließtext ist der einfache Fall. In Firmendokumenten stehen oft Dinge, die sich schlecht schneiden lassen.
- Tabellen: Eine Zeile ohne Kopfzeile ist wertlos („12, 40, 7“). Behalte Spaltenüberschriften bei jedem Stück oder wandle jede Zeile in einen Satz um: „Pumpe 3: Wartung alle 6 Monate.“
- Listen: Ein Listenpunkt allein verliert den Satz davor („Folgende Unterlagen bringen Sie mit:“). Die Einleitung gehört zu jedem Punkt oder die Liste bleibt zusammen.
- Code: Schneide an Funktionen oder Klassen, nicht nach Zeichenzahl. Ein halbierter Funktionsrumpf ist kein Code mehr.
- PDFs: Der Text hat oft Kopf- und Fußzeilen, die auf jeder Seite stehen, Spalten, die durcheinander gelesen werden, und Silbentrennung. Prüfe vor dem Zerlegen, wie der Text tatsächlich aussieht.
- Gescannte Dokumente: Ein Scan ist ein Bild. Der Text muss erst per Texterkennung gelesen werden. Fehler dort (aus „rn“ wird „m“) setzen sich in jedem späteren Schritt fort.
Metadaten: Herkunft mitführen
- Kapitelüberschrift (Kündigung von Mietverträgen)
- Text des Stücks (Die Frist beträgt vier Wochen.)
- Metadaten (Dokument, Seite, Datum)
Jedes Stück trägt seine Herkunft mit. Die Kapitelüberschrift davor gibt dem Vektor das Thema.
Jedes Stück sollte seine Herkunft kennen: Dokumentname, Kapitel, Seite, Datum, vielleicht Autor und Gültigkeit. Diese Metadaten werden mit dem Stück im Index gespeichert. Sie haben drei Aufgaben: Du kannst die Quelle in der Antwort nennen, du kannst die Suche einschränken („nur Dokumente aus diesem Jahr“), und du kannst Stücke gezielt austauschen, wenn sich ein Dokument ändert.
Ein einfacher Trick zahlt sich oft aus: Stelle jedem Stück die Überschrift des Kapitels voran, bevor du es einbettest. Aus „Die Frist beträgt vier Wochen.“ wird „Kündigung von Mietverträgen: Die Frist beträgt vier Wochen.“ Der Vektor trägt jetzt das Thema mit.
Wenn die Antwort über eine Grenze reicht
- Überlappung erhöhen (Grenze in beiden Stücken)
- Nachbarn mitholen (davor und danach)
- Klein suchen, groß antworten (Elternabschnitt)
Drei Auswege: mehr Überlappung, Nachbarn mitholen oder klein suchen und groß antworten.
Trotz aller Sorgfalt gibt es Fragen, deren Antwort in zwei benachbarten Stücken steht. Dann hilft eine von drei Maßnahmen.
- Überlappung erhöhen, damit die Grenzstelle in beiden Stücken steht.
- Nachbarn mitholen: Findet die Suche ein Stück, werden das davor und das danach ebenfalls an das Modell gegeben. Das Modell sieht den Zusammenhang.
- Klein suchen, groß antworten: Man sucht in kleinen, genauen Stücken, gibt aber dem Modell den größeren Abschnitt, aus dem das Stück stammt (Elternabschnitt).