Wissen und RAG

Vektorisieren und Embeddings

Kurz gesagt: Ein Embedding ist eine Liste von Zahlen, die einen Text auf einer Bedeutungskarte platziert: Nähe heißt ähnlicher Sinn. Dokumente und Fragen brauchen dasselbe Modell, und bei einem Modellwechsel muss der ganze Index neu berechnet werden. Embeddings sind schwach bei Zahlen, Codes und Eigennamen.

Wie vergleicht ein Computer Bedeutung? Er übersetzt Text in Zahlen, sodass ähnlicher Sinn nah beieinander liegt.

Der Stadtplan: Nähe als Zahlen

Netz
  • Bahnhof
  • Busbahnhof
  • Friedhof
  • Bahnhof verbunden mit Busbahnhof (nah)
  • Busbahnhof verbunden mit Friedhof (weit)

Mit Koordinaten lässt sich Nähe ausrechnen. Bei Text bekommt jedes Stück eine Position nach Sinn.

Fang mit einer Karte an. Jeder Ort auf einem Stadtplan lässt sich mit zwei Zahlen beschreiben: wie weit nach Osten, wie weit nach Norden. Mit diesen zwei Zahlen kann ein Computer etwas Sinnvolles tun. Er rechnet Entfernungen aus und sagt, welche Bäckerei dir am nächsten liegt. Von Bäckereien muss er nichts verstehen.

Diesen Trick nutzt man für Text. Man gibt jedem Textstück eine Position. Stücke mit ähnlicher Bedeutung bekommen Positionen nah beieinander, verschiedene liegen weit auseinander. Dann wird aus „Welcher Text passt zu meiner Frage?“ die Aufgabe „Welche Punkte liegen am nächsten?“.

Was ein Vektor ist

Matrix
  • Zitrone, süß: 4
  • Zitrone, fruchtig: 9
  • Zitrone, cremig: 1
  • Himbeere, süß: 5
  • Himbeere, fruchtig: 9
  • Himbeere, cremig: 2
  • Nuss, süß: 6
  • Nuss, fruchtig: 1
  • Nuss, cremig: 9

Ein Vektor ist eine Liste von Zahlen, bei der jeder Platz immer dasselbe misst.

Eine geordnete Liste von Zahlen heißt Vektor. Die Koordinaten (3, 5) sind ein Vektor mit zwei Einträgen. Jeder Platz in der Liste steht immer für dieselbe Eigenschaft: Die erste Zahl bedeutet stets Ost-West, die zweite stets Nord-Süd. Nur dann kann man zwei Vektoren miteinander vergleichen.

Ein Vektor muss keinen Ort beschreiben. Er kann ein Profil sein.

Was ein Embedding-Modell tut

Ablauf
  • Text (Satz oder Absatz)
  • Embedding-Modell (nomic-embed-text)
  • Vektor (768 Zahlen)

Ein Embedding-Modell macht aus Text eine Zahlenliste. Antworten schreibt es nicht.

Bei den Eissorten hat ein Mensch die drei Skalen festgelegt. Bei Text geht das nicht: Es gäbe zu viele Eigenschaften, und niemand kann sie von Hand bewerten. Deshalb übernimmt ein eigenes neuronales Netz die Aufgabe, das Embedding-Modell. Es bekommt einen Text und gibt einen Vektor zurück. Das Modell in diesem Labor heißt nomic-embed-text und liefert 768 Zahlen je Text.

Ein Embedding-Modell schreibt keine Antworten. Es misst nur, wo ein Text auf der Karte der Bedeutung liegt.

Wie hat es das gelernt? Grob so: Man zeigt dem Modell riesige Textmengen. Die Grundannahme lautet, dass Wörter und Sätze, die in ähnlichen Zusammenhängen vorkommen, Ähnliches bedeuten. Beim Training werden Texte, die zusammengehören, zum Beispiel eine Frage und ihre Antwort, so eingestellt, dass ihre Vektoren nah beieinander liegen. Texte ohne Zusammenhang sollen weit auseinander liegen. Nach sehr vielen solcher Beispiele hat das Netz eine Karte gelernt, auf der Sinn Nähe bedeutet.

Ähnlichkeit messen

Skala
  • -1 entgegengesetzt bis 1 gleiche Richtung, Marker bei 80 Prozent: Texte meist hier

Der Kosinus misst die Richtung zweier Vektoren, von -1 bis 1. Echte Textwerte liegen meist im oberen Teil.

Wie misst man, ob zwei Punkte nah beieinander liegen? Es gibt zwei übliche Wege. Der erste ist der Abstand, die Luftlinie zwischen den Punkten. Der zweite ist die Kosinus-Ähnlichkeit. Sie schaut nicht auf die Entfernung, sondern auf die Richtung der beiden Vektoren.

Bei Text ist die Richtung meist wichtiger als die Länge des Vektors. Ein langer und ein kurzer Text über dasselbe Thema sollen als ähnlich gelten. Deshalb nutzen die meisten Systeme den Kosinus. Sein Wert liegt zwischen -1 und 1. Bei Texten liegen echte Werte meist im oberen Teil dieses Bereichs.

Wichtig: Es gibt keinen festen Wert, ab dem etwas „ähnlich genug“ ist. 0,7 kann bei einem Modell sehr gut sein und bei einem anderen mittelmäßig. Du vergleichst Treffer untereinander. Eine Schwelle musst du an deinem eigenen Material ausprobieren.

Drei Wege, Nähe auszurechnen
MaßWas es misstGut zu wissen
Kosinus-ÄhnlichkeitWinkel zwischen zwei Vektoren, also die RichtungDer Standard für Text. Hoher Wert heißt ähnlich.
Abstand (Luftlinie)Entfernung zwischen den PunktenKleiner Wert heißt ähnlich. Bei normierten Vektoren ordnet er die Treffer wie der Kosinus.
SkalarproduktMischung aus Richtung und LängeBei normierten Vektoren gleich dem Kosinus und sehr schnell zu rechnen.

Dimensionen: warum 768 Zahlen

Kennzahlen
  • 768 Zahlen je Text
  • gut 3 KB je Textstück, 4 Byte je Zahl
  • gut 3 GB für eine Million Stücke

768 Zahlen tragen die Bedeutung eines Textes. Mehr Dimensionen kosten Speicher und Zeit.

Die Zahl der Einträge heißt Dimension. Unser Modell hat 768. Das sind 768 Eigenschaften, wie bei der Eisdiele, nur sehr viel mehr. Man darf sich die einzelnen Zahlen aber nicht als „Süße“ oder „Freundlichkeit“ vorstellen. Das Modell hat sich seine Eigenschaften selbst ausgedacht, und die meisten haben keinen Namen. Erst alle Zahlen zusammen tragen die Bedeutung.

Mehr Dimensionen können feinere Unterschiede festhalten. Sie kosten aber Speicher und Rechenzeit. Ein Rechenbeispiel: Bei vier Bytes je Zahl brauchen 768 Zahlen gut 3 Kilobyte pro Textstück. Eine Million Stücke brauchen dann gut 3 Gigabyte, nur für die Vektoren.

Zeichnen kann man 768 Dimensionen nicht. Für eine Bedeutungskarte wie die oben werden die Punkte auf zwei Dimensionen gedrückt. Dabei geht Information verloren. Die Karte ist eine Skizze: Was dort nah liegt, ist meist auch in Wirklichkeit nah, aber nicht immer.

Worauf du achten musst: Passung

Vergleich
  • Links: Gleiches Modell: Eine gemeinsame Karte, Treffer passen, Frage und Dokument gleich
  • Rechts: Modell gewechselt: Alter Index, neue Karte, Treffer wirken zufällig, Alles neu einbetten
  • Urteil: Wer das Modell wählt, wählt für den ganzen Index mit.

Jedes Modell hat seine eigene Karte. Nach einem Wechsel passt der alte Index nicht mehr.

Embeddings sind keine Zauberei. Sie folgen Regeln, die man kennen muss. Die wichtigste: Dokumente und Fragen müssen mit demselben Modell eingebettet werden. Jedes Modell hat seine eigene Karte.

Stolpersteine bei der Passung
StolpersteinWas passiertWas du tust
Verschiedene Modelle für Dokumente und FragenDie Vektoren sind nicht vergleichbar, Treffer wirken zufälligImmer dasselbe Modell in derselben Version
ModellwechselDer ganze Index passt nicht mehr zur neuen KarteAlle Dokumente neu einbetten, Index neu aufbauen
Falsche Sprache oder FachgebietTexte in schwach vertretener Sprache oder Fachjargon landen ungenauMit eigenen Beispielfragen testen, bei gemischten Sprachen ein mehrsprachiges Modell nehmen
Text zu langJedes Modell hat eine Obergrenze. Der Rest wird abgeschnitten oder verwischtVorher in Stücke teilen, siehe Chunking
Zusatz vor dem TextManche Modelle erwarten einen Vorsatz wie „Frage“ oder „Dokument“In der Beschreibung des Modells nachlesen

Worauf du achten musst: Schwächen

Übersicht
  • Eigennamen (Müller oder Meier)
  • Artikelnummern (4711-B)
  • Fehlercodes (E-4711, E-4712)
  • Versionen (2.3 oder 2.4)
  • Zahlen (14 oder 30)
  • Lange Texte (viele Themen gemischt)

Codes, Namen und Zahlen tragen wenig Sinn, aber viel Genauigkeit. Lange Mischtexte verwischen.

Embeddings sind gut für Sinn und schwach bei allem, wo es auf den genauen Wortlaut ankommt. Eigennamen, Artikelnummern, Fehlercodes, Versionsnummern und Zahlen tragen wenig „Bedeutung“, aber viel Genauigkeit. Das Modell kann „E-4711“ und „E-4712“ für fast gleich halten, obwohl es für dich zwei verschiedene Fehler sind.

Auch die Textlänge zählt. Ein Embedding presst einen ganzen Text in eine einzige Zahlenliste. Je länger der Text ist und je mehr Themen er mischt, desto mehr verwischt sie. Darum bettet man kleine, thematisch einheitliche Stücke ein.

Ein technisches Detail ist die Normalisierung. Viele Systeme skalieren jeden Vektor auf die Länge 1. Dann ist der Kosinus eine einfache Multiplikation mit Aufsummieren, und die Suche wird schnell. Wichtig ist nur, dass Dokumente und Fragen gleich behandelt werden.

Betrieb: Datenschutz, Kosten, Pflege

Übersicht
  • Datenschutz (lokal bleibt im Haus)
  • Kosten (Dokument einmal, Frage jedes Mal)
  • Pflege (Änderung heißt neu berechnen)

Wo der Text hingeht, was Einbetten kostet und wie der Index aktuell bleibt.

Zum Einbetten wird dein Text an ein Modell geschickt. Hier gibt es drei praktische Fragen:

  • Datenschutz: Läuft das Modell auf deinem eigenen Gerät, wie hier auf dem Jetson, verlässt nichts das Haus. Bei einem Dienst in der Cloud gehen deine Texte dorthin. Dann müssen Vertrag, Standort und Speicherung geklärt sein. Auch die Vektoren selbst sind Daten aus dem Text: Aus ihnen lässt sich Inhalt zumindest teilweise ableiten. Behandle sie wie die Originale. Das ist keine Rechtsberatung.
  • Kosten und Geschwindigkeit: Einbetten ist viel billiger als eine Antwort zu schreiben, summiert sich aber bei vielen Dokumenten. Dokumente bettest du einmal ein, die Frage bei jeder Anfrage. Miss die Zeit mit deinen eigenen Texten in der RAG-Werkstatt.
  • Pflege: Ändert sich ein Dokument, muss sein Vektor neu berechnet werden. Sonst sucht die Frage in einer veralteten Karte. Gelöschte Dokumente müssen auch aus dem Index. Wechselst du das Modell, bettest du alles neu ein.

Das nimmst du mit

  • Ein Embedding ist eine Liste von Zahlen, die einen Text auf einer Bedeutungskarte platziert: Nähe heißt ähnlicher Sinn.
  • Dokumente und Fragen brauchen dasselbe Modell, und bei einem Modellwechsel muss der ganze Index neu berechnet werden.
  • Embeddings sind schwach bei Zahlen, Codes und Eigennamen. Dort hilft zusätzlich eine Stichwortsuche.

Teste dich

  1. Was bedeutet es, wenn zwei Texte ein ähnliches Embedding haben?
    Antwort

    Sie haben ähnliche Bedeutung. Das Modell hat gelernt, dass Sinn Nähe bedeutet. Gleiche Wörter sind dafür weder nötig noch ausreichend.

  2. Du tauschst das Embedding-Modell gegen ein neues aus. Was musst du tun?
    Antwort

    Alle Dokumente neu einbetten. Jedes Modell hat seine eigene Karte. Alte Vektoren passen nicht zu den neuen, also muss der gesamte Index neu entstehen.

  3. Warum ist der Kosinus bei Texten oft besser als der reine Abstand?
    Antwort

    Er schaut auf die Richtung, nicht auf die Länge des Vektors. Ein langer und ein kurzer Text über dasselbe Thema zeigen in dieselbe Richtung. Der Kosinus bewertet das als ähnlich.

  4. Eine Wissensbasis enthält viele Fehlercodes wie E-4711 und E-4712. Was ist wahrscheinlich?
    Antwort

    Die Embeddings halten sie leicht für ähnlich, eine Stichwortsuche hilft. Codes tragen wenig Bedeutung, aber genauen Wortlaut. Dort ist die Stichwortsuche stark, und beides zusammen ist am besten.

  5. Was gehört zum Datenschutz beim Einbetten?
    Antwort

    Klären, wohin der Text beim Einbetten geschickt wird, und die Vektoren wie die Originale behandeln. Der Text geht an das Modell, und aus Vektoren lässt sich Inhalt zumindest teilweise ableiten. Lokale Modelle halten die Daten im Haus.

Weiter geht es