Was du hier steuern kannst
- 9 Stücke: Hal | lo | , | wie | kann | ich | hel | fen | ?
Jedes farbige Stück ist ein Token, das das Modell einzeln gewählt hat.
Tokens zeigen färbt die Antwort Stück für Stück ein. Jedes farbige Stück ist ein Token, das das Modell einzeln gewählt hat. Wörter bestehen oft aus mehreren Tokens, häufige Wörter aus einem.
Die Temperatur wirkt auf die nächste Antwort. Stelle sie auf 0 und stelle dieselbe Frage zweimal: Die Antworten sind fast gleich. Stelle sie auf 1,5, dann weichen sie ab und werden unzuverlässiger.
Was auf dem Jetson passiert
- SSD (rund 2 GB)
- Arbeitsspeicher (beim ersten Start)
- GPU (rechnet Token)
- Antwort (Stück für Stück)
Das Modell wird einmal in den Speicher geladen, danach rechnet die GPU jedes Token.
Beim ersten Start wird das Modell von der SSD in den Arbeitsspeicher geladen. Das Modell hat etwa drei Milliarden Parameter und belegt rund 2 GB auf der Platte. Danach rechnet die GPU jedes Token. In der Seitenleiste steigen dabei GPU-Last und Leistung.
Warum es kleiner ist als bekannte Chatbots
- Links: Jetson, drei Mrd. Parameter: Sofort verfügbar, Privat, Weiß weniger, Mehr Fehler
- Rechts: Große Dienste: Viel mehr Parameter, Im Rechenzentrum, Weiß mehr
Das kleine Modell ist sofort da und privat, weiß aber weniger und irrt öfter.
Die großen Dienste nutzen Modelle mit sehr viel mehr Parametern auf Rechenzentren. Ein kleines Modell auf dem Jetson ist sofort verfügbar und privat, weiß aber weniger und macht mehr Fehler. Frag es nach etwas Speziellem, dann siehst du die Grenze. Beispiel: Frag nach dem „Jetson“. Das Modell hält ihn gern für die Zeichentrickserie.