Sprache

Sprachmodell im Chat

Kurz gesagt: Jedes farbige Stück ist ein Token, das das Modell einzeln gewählt hat. Das Modell wird einmal in den Speicher geladen, danach rechnet die GPU jedes Token. Das kleine Modell ist sofort da und privat, weiß aber weniger und irrt öfter.

Ein Modell mit etwa drei Milliarden Parametern antwortet lokal auf der GPU. Du siehst jedes Token.

Was du hier steuern kannst

Tokens
  • 9 Stücke: Hal | lo | , | wie | kann | ich | hel | fen | ?

Jedes farbige Stück ist ein Token, das das Modell einzeln gewählt hat.

Tokens zeigen färbt die Antwort Stück für Stück ein. Jedes farbige Stück ist ein Token, das das Modell einzeln gewählt hat. Wörter bestehen oft aus mehreren Tokens, häufige Wörter aus einem.

Die Temperatur wirkt auf die nächste Antwort. Stelle sie auf 0 und stelle dieselbe Frage zweimal: Die Antworten sind fast gleich. Stelle sie auf 1,5, dann weichen sie ab und werden unzuverlässiger.

Was auf dem Jetson passiert

Ablauf
  • SSD (rund 2 GB)
  • Arbeitsspeicher (beim ersten Start)
  • GPU (rechnet Token)
  • Antwort (Stück für Stück)

Das Modell wird einmal in den Speicher geladen, danach rechnet die GPU jedes Token.

Beim ersten Start wird das Modell von der SSD in den Arbeitsspeicher geladen. Das Modell hat etwa drei Milliarden Parameter und belegt rund 2 GB auf der Platte. Danach rechnet die GPU jedes Token. In der Seitenleiste steigen dabei GPU-Last und Leistung.

Warum es kleiner ist als bekannte Chatbots

Vergleich
  • Links: Jetson, drei Mrd. Parameter: Sofort verfügbar, Privat, Weiß weniger, Mehr Fehler
  • Rechts: Große Dienste: Viel mehr Parameter, Im Rechenzentrum, Weiß mehr

Das kleine Modell ist sofort da und privat, weiß aber weniger und irrt öfter.

Die großen Dienste nutzen Modelle mit sehr viel mehr Parametern auf Rechenzentren. Ein kleines Modell auf dem Jetson ist sofort verfügbar und privat, weiß aber weniger und macht mehr Fehler. Frag es nach etwas Speziellem, dann siehst du die Grenze. Beispiel: Frag nach dem „Jetson“. Das Modell hält ihn gern für die Zeichentrickserie.

Im Business

Ein interner Assistent für Entwürfe, Zusammenfassungen und Fragen, ohne dass Firmeninhalte das Haus verlassen.

  • Mail-Entwürfe
  • Zusammenfassung eines langen Textes

Grenzen

  • Kleine Modelle erfinden häufiger Fakten (Halluzination). Prüfe wichtige Aussagen.
  • Der Kontext ist begrenzt. Dieses Labor merkt sich keine frühere Unterhaltung.

Weiter geht es