Grundlagen · Lektion 3

Generative KI

Kurz gesagt: Ein Sprachmodell sagt immer nur das nächste Token voraus. Die Temperatur steuert, wie mutig es wählt. Was nicht im Kontext steht, weiß das Modell nicht.

Ein Sprachmodell wählt Wort für Wort das nächste Stück. Aus vielen kleinen Würfen entsteht ein Text.

Ein Sprachmodell rät das nächste Stück

Tokens
  • 8 Stücke: Der | Him | mel | ist | heute | kla | r | .

Das Modell wählt immer nur das nächste Token und wiederholt das, bis die Antwort steht.

Ein großes Sprachmodell macht im Kern eines: Es berechnet, welches Token als nächstes am wahrscheinlichsten folgt, wählt eines aus und wiederholt das. Ganze Antworten entstehen so Stück für Stück. Dass dabei sinnvolle Texte herauskommen, liegt daran, dass das Modell im Training riesige Textmengen gesehen hat und die Zusammenhänge der Sprache abbildet.

Wie zufällig darf es sein

Skala
  • Vorhersehbar bis Abwechslungsreich, Marker bei 20 Prozent: Fakten: niedrige Temperatur

Die Temperatur legt fest, wie stark das wahrscheinlichste Token bevorzugt wird.

Das Modell liefert keine einzelne Antwort, sondern für jedes Token eine Wahrscheinlichkeit. Die Temperatur bestimmt, wie stark der Favorit bevorzugt wird. Niedrig: vorhersehbar und wiederholbar, gut für Fakten. Hoch: abwechslungsreich, aber auch fehleranfälliger.

Oben kannst du das mit Beispielwerten durchspielen. Danach probierst du es im Chat-Labor mit einem echten Modell.

Das Gedächtnis hat ein Limit

Schichten
  • Kontextfenster (begrenzt)
  • Mitgeschickte Dokumente
  • Bisherige Unterhaltung
  • Deine Frage

Das Modell sieht nur, was im Kontextfenster steht. Alles andere gibt es für es nicht.

Das Modell sieht nur, was im Kontextfenster steht: die bisherige Unterhaltung und alles, was mitgeschickt wird. Was draußen bleibt, existiert für das Modell nicht. Deshalb fügt man gezielt Wissen in den Kontext ein, statt zu hoffen, dass es im Modell steckt.

Plausibel ist nicht wahr

Ablauf
  • Frage
  • Suche (in eigenen Dokumenten)
  • Fundstellen
  • Antwort (mit Quelle)

Gegen erfundene Antworten hilft RAG: erst nachschlagen, dann antworten und die Quelle nennen.

Weil das Modell Wahrscheinliches fortsetzt, kann es Falsches überzeugend formulieren, eine Halluzination. Ein Gegenmittel ist RAG: Erst wird in eigenen Dokumenten nachgeschlagen, dann antwortet das Modell auf Grundlage der Fundstellen und nennt sie als Quelle. Das probierst du im RAG-Labor.

Bilder aus Rauschen

Ablauf
  • Rauschen (plus Beschreibung)
  • Schritt 1 (etwas weniger Rauschen)
  • Schritt n (Umrisse erscheinen)
  • Bild

Diffusion startet mit Rauschen und entfernt es Schritt für Schritt, gelenkt von deiner Beschreibung.

Bildgeneratoren arbeiten meist mit Diffusion. Das Modell hat gelernt, aus verrauschten Bildern das Rauschen Schritt für Schritt zu entfernen. Startet man mit reinem Rauschen und einer Textbeschreibung, entsteht daraus Schritt für Schritt ein neues Bild.

Das nimmst du mit

  • Ein Sprachmodell sagt immer nur das nächste Token voraus.
  • Die Temperatur steuert, wie mutig es wählt.
  • Was nicht im Kontext steht, weiß das Modell nicht. Darum gibt es RAG.

Weiter geht es