Ein Textvervollständiger im Großformat
- Text lesen
- Token wählen
- Anhängen
- Mitte: Nächstes Token
Das Modell sagt das nächste Stück Text voraus, hängt es an und beginnt von vorn.
Ein Sprachmodell macht im Kern eine einzige Sache: Es sagt voraus, welches Stück Text als Nächstes kommt. Alles andere, vom Mailentwurf bis zur Zusammenfassung, entsteht daraus. Das Modell hängt ein Stück an, schaut auf das Ergebnis und hängt das nächste an.
Dass dabei brauchbare Texte herauskommen, liegt an drei Dingen: wie der Text zerlegt wird, wie das Modell Zusammenhänge erkennt und mit wie viel Text es geübt hat. Diese Seite geht die Teile der Reihe nach durch.
Schritt 1: Der Text wird in Token zerlegt
- 3 Stücke: Haus | rat | versicherung
Das Modell liest Stücke aus einem festen Wortschatz. Häufiges ist ein Stück, Seltenes besteht aus mehreren.
Ein Computer rechnet nicht mit Wörtern, sondern mit Zahlen. Darum wird jeder Text zuerst in Token zerlegt. Ein Token ist ein Stück, das häufig vorkommt: ein kurzes Wort, eine Silbe, ein Wortteil, ein Satzzeichen. Die Liste aller Stücke, die das Modell kennt, ist fest und heißt Wortschatz.
Häufige Wörter sind ein Token, seltene bestehen aus mehreren. „Haus“ ist wahrscheinlich ein Stück. „Hausratversicherung“ zerfällt in mehrere. Deutsche Wörter brauchen im Schnitt mehr Token als englische, weil die Wortschätze meist auf viel englischem Text beruhen und Zusammensetzungen lang sind.
Daraus folgen Dinge, die du im Alltag merkst. Das Modell sieht keine Buchstaben, sondern Stücke. Darum verzählt es sich bei der Frage, wie oft ein Buchstabe in einem Wort vorkommt. Und alles, was ein Modell kostet oder fasst, wird in Token gemessen, nicht in Wörtern.
Schritt 2: Jedes Token wird zu Zahlen
- Auto, Wagen, Bus: 9 Punkte
- Zitrone, Apfel, Birne: 9 Punkte
Jedes Token bekommt eine Zahlenliste. Ähnlich verwendete Token liegen im Bedeutungsraum nah beieinander.
Jedes Token bekommt eine lange Liste von Zahlen, ein Embedding. Die Zahlen sind keine Nummerierung. Sie beschreiben, wo das Token im Bedeutungsraum liegt. Tokens mit ähnlicher Verwendung bekommen ähnliche Zahlen, „Auto“ und „Wagen“ liegen nah beieinander, „Auto“ und „Zitrone“ weit auseinander.
Die Zahlenlisten sind lang, meist einige hundert bis mehrere tausend Werte pro Token. Das Modell lernt sie im Training, niemand schreibt sie von Hand. Die Seite Embeddings geht darauf genauer ein, weil dieselbe Idee die Suche in eigenen Dokumenten möglich macht.
Schritt 3: Aufmerksamkeit entscheidet, worauf es ankommt
- Koffer
- Kofferraum
- er
- er verbunden mit Koffer (starke Beachtung)
- er verbunden mit Kofferraum (schwach)
Für jedes Token gewichtet das Modell, welche anderen Token im Text wichtig sind.
Ein Wort allein sagt wenig. Erst der Zusammenhang macht es klar. Das Modell braucht also einen Weg, die Wörter eines Satzes miteinander zu verknüpfen. Dieser Mechanismus heißt Aufmerksamkeit (englisch attention).
Für jedes Token fragt das Modell: Welche anderen Token im Text sind für mich wichtig? Es vergibt Gewichte. Wichtige Token fließen stark in die Deutung ein, unwichtige kaum. Das passiert für alle Token gleichzeitig und viele Male nebeneinander, jedes Mal mit einem anderen Blickwinkel.
Der Transformer: viele Schichten, ein Ergebnis
- Wahrscheinlichkeiten (für jedes Stück)
- Schicht n (Aufmerksamkeit, kleines Netz)
- Schicht 2 (Aufmerksamkeit, kleines Netz)
- Schicht 1 (Aufmerksamkeit, kleines Netz)
- Token als Zahlen (Eingabe)
Ein Stapel gleich gebauter Schichten verfeinert die Deutung. Oben steht, wie wahrscheinlich jedes Stück als Nächstes ist.
Die Bauweise, die Aufmerksamkeit zum Kern macht, heißt Transformer. Sie wurde 2017 vorgestellt und steckt in nahezu allen heutigen Sprachmodellen. Du brauchst keine Mathematik, um das Prinzip zu verstehen: Es ist ein Stapel gleich gebauter Schichten.
Jede Schicht tut zwei Dinge. Erst mischt die Aufmerksamkeit Informationen aus anderen Token ein. Dann verarbeitet ein kleines neuronales Netz das Ergebnis weiter. Mit jeder Schicht wird die Deutung der Token reicher. Am Ende liegt für das letzte Token eine Liste vor: Wie wahrscheinlich ist jedes Stück des Wortschatzes als Nächstes?
Aus dieser Liste wird ein Token gewählt. Wie mutig, bestimmt die Temperatur. Das Token wird an den Text gehängt, und die ganze Rechnung läuft für das nächste Token von vorn. Im Chat-Labor siehst du jeden dieser Schritte als farbiges Stück.
Vortraining: Lesen, bis die Muster sitzen
- Text (nächstes Token verdeckt)
- Raten
- Vergleich (mit dem echten Token)
- Anpassen (Parameter)
Nächstes Token verdecken, raten, Fehler messen, Parameter ein Stück anpassen. Unzählige Male.
Im Vortraining bekommt das Modell riesige Mengen Text. Die Aufgabe ist immer gleich: Zeige einen Textanfang, verdecke das nächste Token, und das Modell soll es raten. Liegt es daneben, werden seine Parameter ein kleines Stück angepasst. Dieser Schritt wiederholt sich unzählige Male.
Das Praktische daran: Niemand muss etwas beschriften. Der Text liefert die richtige Antwort selbst, nämlich das Wort, das wirklich folgte. Dabei lernt das Modell Grammatik, Fakten, Schreibstile und Denkmuster, weil sie helfen, das nächste Token zu treffen. Das Ergebnis ist ein Basismodell. Es setzt Text fort, aber es antwortet nicht unbedingt auf Fragen.
Feinabstimmung und menschliches Feedback
- Feedback (Menschen bewerten Antworten)
- Feinabstimmung (Anweisungen und gute Antworten)
- Vortraining (riesige Textmengen)
Aus dem Basismodell wird ein Assistent: erst Beispiele für gute Antworten, dann Bewertungen von Menschen.
Ein Basismodell auf die Frage „Wie lang ist ein Marathon?“ könnte mit weiteren Fragen weitermachen, denn so sehen viele Texte im Netz aus. Damit es hilfreich antwortet, folgt die Feinabstimmung: Das Modell sieht Beispiele für Anweisungen und gute Antworten und lernt, Dialoge zu führen.
Danach kommt oft menschliches Feedback (RLHF, grob: Lernen aus Bewertungen). Menschen vergleichen mehrere Antworten und sagen, welche besser ist. Daraus entsteht ein Maßstab für gute Antworten, auf den das Modell ausgerichtet wird. So lernt es, höflich zu bleiben, Anweisungen zu befolgen und bei heiklen Fragen zurückhaltend zu sein.
| Phase | Womit | Ergebnis |
|---|---|---|
| Vortraining | Riesige Textmengen, nächstes Token raten | Breites Sprachwissen, setzt Text fort |
| Feinabstimmung | Beispiele für Anweisungen und gute Antworten | Befolgt Aufgaben, führt Dialoge |
| Feedback | Menschliche Bewertungen von Antworten | Hilfreicher, höflicher, vorsichtiger |
Größe, kleine Modelle und das Kontextfenster
- Zwei Byte je Zahl: 6 GB
- Quantisiert, wie im Chat-Labor: 2 GB
Mehr Parameter heißen mehr Wissen, aber auch mehr Speicher. Gröber gespeicherte Zahlen sparen Platz.
Die Größe eines Modells wird in Parametern angegeben. Das sind die Zahlen, die im Training eingestellt wurden. Das Modell im Chat-Labor hat rund drei Milliarden. Die großen Dienste im Rechenzentrum sind um ein Vielfaches größer. Mehr Parameter bedeuten mehr Platz für Wissen und Muster. Sie bedeuten auch mehr Speicher und mehr Rechenzeit.
Ein kleines Modell kann weniger Fakten behalten und macht bei Spezialthemen mehr Fehler. Es schreibt oft trotzdem gut, denn Sprache braucht weniger Platz als Weltwissen. Im Gegenzug läuft es auf dem Jetson, bleibt privat und antwortet ohne Netzwerk. Rechne mit dem Speicher: Drei Milliarden Zahlen mit je zwei Byte ergeben rund 6 GB. Darum nutzt man verkleinerte Fassungen mit gröber gespeicherten Zahlen (Quantisierung). Das Modell hier belegt rund 2 GB.
Das Kontextfenster ist die Menge an Token, die das Modell auf einmal sehen kann: deine Frage, der bisherige Verlauf, mitgeschickte Texte und die Antwort. Wie groß es ist, hängt vom Modell und von der Einstellung ab. Alles, was draußen bleibt, existiert für das Modell nicht.