Sprache

Wie ein Sprachmodell gebaut ist

Kurz gesagt: Ein Sprachmodell zerlegt Text in Token, macht daraus Zahlen und sagt Stück für Stück das nächste Token voraus. Aufmerksamkeit verbindet jedes Token mit den Stellen im Text, auf die es ankommt. Vortraining gibt Sprachwissen, Feinabstimmung und Feedback machen daraus einen Assistenten.

Wie wird aus einem Stapel Text ein Modell, das Fragen beantwortet? Hier siehst du die Bausteine: Token, Zahlen, Aufmerksamkeit und zwei Lernphasen.

Ein Textvervollständiger im Großformat

Kreislauf
  • Text lesen
  • Token wählen
  • Anhängen
  • Mitte: Nächstes Token

Das Modell sagt das nächste Stück Text voraus, hängt es an und beginnt von vorn.

Ein Sprachmodell macht im Kern eine einzige Sache: Es sagt voraus, welches Stück Text als Nächstes kommt. Alles andere, vom Mailentwurf bis zur Zusammenfassung, entsteht daraus. Das Modell hängt ein Stück an, schaut auf das Ergebnis und hängt das nächste an.

Dass dabei brauchbare Texte herauskommen, liegt an drei Dingen: wie der Text zerlegt wird, wie das Modell Zusammenhänge erkennt und mit wie viel Text es geübt hat. Diese Seite geht die Teile der Reihe nach durch.

Schritt 1: Der Text wird in Token zerlegt

Tokens
  • 3 Stücke: Haus | rat | versicherung

Das Modell liest Stücke aus einem festen Wortschatz. Häufiges ist ein Stück, Seltenes besteht aus mehreren.

Ein Computer rechnet nicht mit Wörtern, sondern mit Zahlen. Darum wird jeder Text zuerst in Token zerlegt. Ein Token ist ein Stück, das häufig vorkommt: ein kurzes Wort, eine Silbe, ein Wortteil, ein Satzzeichen. Die Liste aller Stücke, die das Modell kennt, ist fest und heißt Wortschatz.

Häufige Wörter sind ein Token, seltene bestehen aus mehreren. „Haus“ ist wahrscheinlich ein Stück. „Hausratversicherung“ zerfällt in mehrere. Deutsche Wörter brauchen im Schnitt mehr Token als englische, weil die Wortschätze meist auf viel englischem Text beruhen und Zusammensetzungen lang sind.

Daraus folgen Dinge, die du im Alltag merkst. Das Modell sieht keine Buchstaben, sondern Stücke. Darum verzählt es sich bei der Frage, wie oft ein Buchstabe in einem Wort vorkommt. Und alles, was ein Modell kostet oder fasst, wird in Token gemessen, nicht in Wörtern.

Schritt 2: Jedes Token wird zu Zahlen

Punktwolke
  • Auto, Wagen, Bus: 9 Punkte
  • Zitrone, Apfel, Birne: 9 Punkte

Jedes Token bekommt eine Zahlenliste. Ähnlich verwendete Token liegen im Bedeutungsraum nah beieinander.

Jedes Token bekommt eine lange Liste von Zahlen, ein Embedding. Die Zahlen sind keine Nummerierung. Sie beschreiben, wo das Token im Bedeutungsraum liegt. Tokens mit ähnlicher Verwendung bekommen ähnliche Zahlen, „Auto“ und „Wagen“ liegen nah beieinander, „Auto“ und „Zitrone“ weit auseinander.

Die Zahlenlisten sind lang, meist einige hundert bis mehrere tausend Werte pro Token. Das Modell lernt sie im Training, niemand schreibt sie von Hand. Die Seite Embeddings geht darauf genauer ein, weil dieselbe Idee die Suche in eigenen Dokumenten möglich macht.

Schritt 3: Aufmerksamkeit entscheidet, worauf es ankommt

Netz
  • Koffer
  • Kofferraum
  • er
  • er verbunden mit Koffer (starke Beachtung)
  • er verbunden mit Kofferraum (schwach)

Für jedes Token gewichtet das Modell, welche anderen Token im Text wichtig sind.

Ein Wort allein sagt wenig. Erst der Zusammenhang macht es klar. Das Modell braucht also einen Weg, die Wörter eines Satzes miteinander zu verknüpfen. Dieser Mechanismus heißt Aufmerksamkeit (englisch attention).

Für jedes Token fragt das Modell: Welche anderen Token im Text sind für mich wichtig? Es vergibt Gewichte. Wichtige Token fließen stark in die Deutung ein, unwichtige kaum. Das passiert für alle Token gleichzeitig und viele Male nebeneinander, jedes Mal mit einem anderen Blickwinkel.

Der Transformer: viele Schichten, ein Ergebnis

Schichten
  • Wahrscheinlichkeiten (für jedes Stück)
  • Schicht n (Aufmerksamkeit, kleines Netz)
  • Schicht 2 (Aufmerksamkeit, kleines Netz)
  • Schicht 1 (Aufmerksamkeit, kleines Netz)
  • Token als Zahlen (Eingabe)

Ein Stapel gleich gebauter Schichten verfeinert die Deutung. Oben steht, wie wahrscheinlich jedes Stück als Nächstes ist.

Die Bauweise, die Aufmerksamkeit zum Kern macht, heißt Transformer. Sie wurde 2017 vorgestellt und steckt in nahezu allen heutigen Sprachmodellen. Du brauchst keine Mathematik, um das Prinzip zu verstehen: Es ist ein Stapel gleich gebauter Schichten.

Jede Schicht tut zwei Dinge. Erst mischt die Aufmerksamkeit Informationen aus anderen Token ein. Dann verarbeitet ein kleines neuronales Netz das Ergebnis weiter. Mit jeder Schicht wird die Deutung der Token reicher. Am Ende liegt für das letzte Token eine Liste vor: Wie wahrscheinlich ist jedes Stück des Wortschatzes als Nächstes?

Aus dieser Liste wird ein Token gewählt. Wie mutig, bestimmt die Temperatur. Das Token wird an den Text gehängt, und die ganze Rechnung läuft für das nächste Token von vorn. Im Chat-Labor siehst du jeden dieser Schritte als farbiges Stück.

Vortraining: Lesen, bis die Muster sitzen

Ablauf
  • Text (nächstes Token verdeckt)
  • Raten
  • Vergleich (mit dem echten Token)
  • Anpassen (Parameter)

Nächstes Token verdecken, raten, Fehler messen, Parameter ein Stück anpassen. Unzählige Male.

Im Vortraining bekommt das Modell riesige Mengen Text. Die Aufgabe ist immer gleich: Zeige einen Textanfang, verdecke das nächste Token, und das Modell soll es raten. Liegt es daneben, werden seine Parameter ein kleines Stück angepasst. Dieser Schritt wiederholt sich unzählige Male.

Das Praktische daran: Niemand muss etwas beschriften. Der Text liefert die richtige Antwort selbst, nämlich das Wort, das wirklich folgte. Dabei lernt das Modell Grammatik, Fakten, Schreibstile und Denkmuster, weil sie helfen, das nächste Token zu treffen. Das Ergebnis ist ein Basismodell. Es setzt Text fort, aber es antwortet nicht unbedingt auf Fragen.

Feinabstimmung und menschliches Feedback

Schichten
  • Feedback (Menschen bewerten Antworten)
  • Feinabstimmung (Anweisungen und gute Antworten)
  • Vortraining (riesige Textmengen)

Aus dem Basismodell wird ein Assistent: erst Beispiele für gute Antworten, dann Bewertungen von Menschen.

Ein Basismodell auf die Frage „Wie lang ist ein Marathon?“ könnte mit weiteren Fragen weitermachen, denn so sehen viele Texte im Netz aus. Damit es hilfreich antwortet, folgt die Feinabstimmung: Das Modell sieht Beispiele für Anweisungen und gute Antworten und lernt, Dialoge zu führen.

Danach kommt oft menschliches Feedback (RLHF, grob: Lernen aus Bewertungen). Menschen vergleichen mehrere Antworten und sagen, welche besser ist. Daraus entsteht ein Maßstab für gute Antworten, auf den das Modell ausgerichtet wird. So lernt es, höflich zu bleiben, Anweisungen zu befolgen und bei heiklen Fragen zurückhaltend zu sein.

Die drei Lernphasen im Überblick
PhaseWomitErgebnis
VortrainingRiesige Textmengen, nächstes Token ratenBreites Sprachwissen, setzt Text fort
FeinabstimmungBeispiele für Anweisungen und gute AntwortenBefolgt Aufgaben, führt Dialoge
FeedbackMenschliche Bewertungen von AntwortenHilfreicher, höflicher, vorsichtiger

Größe, kleine Modelle und das Kontextfenster

Balkendiagramm
  • Zwei Byte je Zahl: 6 GB
  • Quantisiert, wie im Chat-Labor: 2 GB

Mehr Parameter heißen mehr Wissen, aber auch mehr Speicher. Gröber gespeicherte Zahlen sparen Platz.

Die Größe eines Modells wird in Parametern angegeben. Das sind die Zahlen, die im Training eingestellt wurden. Das Modell im Chat-Labor hat rund drei Milliarden. Die großen Dienste im Rechenzentrum sind um ein Vielfaches größer. Mehr Parameter bedeuten mehr Platz für Wissen und Muster. Sie bedeuten auch mehr Speicher und mehr Rechenzeit.

Ein kleines Modell kann weniger Fakten behalten und macht bei Spezialthemen mehr Fehler. Es schreibt oft trotzdem gut, denn Sprache braucht weniger Platz als Weltwissen. Im Gegenzug läuft es auf dem Jetson, bleibt privat und antwortet ohne Netzwerk. Rechne mit dem Speicher: Drei Milliarden Zahlen mit je zwei Byte ergeben rund 6 GB. Darum nutzt man verkleinerte Fassungen mit gröber gespeicherten Zahlen (Quantisierung). Das Modell hier belegt rund 2 GB.

Das Kontextfenster ist die Menge an Token, die das Modell auf einmal sehen kann: deine Frage, der bisherige Verlauf, mitgeschickte Texte und die Antwort. Wie groß es ist, hängt vom Modell und von der Einstellung ab. Alles, was draußen bleibt, existiert für das Modell nicht.

Das nimmst du mit

  • Ein Sprachmodell zerlegt Text in Token, macht daraus Zahlen und sagt Stück für Stück das nächste Token voraus.
  • Aufmerksamkeit verbindet jedes Token mit den Stellen im Text, auf die es ankommt.
  • Vortraining gibt Sprachwissen, Feinabstimmung und Feedback machen daraus einen Assistenten. Kleine Modelle wissen weniger, laufen aber lokal.

Teste dich

  1. Was ist ein Token?
    Antwort

    Ein Stück Text aus einem festen Wortschatz, etwa ein Wort, eine Silbe oder ein Satzzeichen. Der Wortschatz besteht aus häufigen Stücken. Kurze Wörter sind ein Token, lange oder seltene werden aus mehreren zusammengesetzt.

  2. Warum verzählt sich ein Sprachmodell oft, wenn es Buchstaben in einem Wort zählen soll?
    Antwort

    Es sieht den Text als Token, nicht als einzelne Buchstaben. Die Zerlegung in Stücke versteckt die Buchstaben. Das Modell muss sie aus dem Gelernten ableiten, statt sie zu sehen.

  3. Was leistet die Aufmerksamkeit im Satz „Der Koffer passt nicht in den Kofferraum, weil er zu groß ist“?
    Antwort

    Sie verknüpft „er“ mit dem Wort, auf das es sich bezieht. Aufmerksamkeit gewichtet, welche anderen Token für ein Token wichtig sind. Genau so löst sich der Bezug von „er“.

  4. Was lernt ein Modell im Vortraining?
    Antwort

    Das nächste Token vorherzusagen, auf riesigen Textmengen. Die Aufgabe ist schlicht, das nächste Token zu raten. Der Text liefert die richtige Lösung selbst, deshalb braucht es keine Etiketten.

  5. Warum weiß ein kleines Modell auf dem Jetson bei Spezialthemen oft weniger als ein großer Dienst?
    Antwort

    Weil es weniger Parameter hat und darin weniger Wissen Platz findet. Die Parameter sind der Speicher für Muster und Wissen. Weniger davon heißt weniger Details, dafür läuft das Modell lokal und privat.

Weiter geht es