Der Rechner dahinter

Der Jetson und seine Hardware

Kurz gesagt: Der Jetson rechnet neuronale Netze effizient auf einer GPU. Der gemeinsame Speicher von 8 GB begrenzt die Modellgröße. Lokal bedeutet: keine Cloud, kurze Wege, Daten bleiben vor Ort.

Ein kleiner Computer mit GPU, gebaut für KI am Gerät. Hier siehst du live, was er gerade tut.

Was ist ein Jetson

Kennzahlen
  • 6 Prozessorkerne
  • 8 GB gemeinsamer Speicher
  • wenige W Stromaufnahme

Ein Computer im Kartenformat mit sechs Kernen und einer GPU, die wenige Watt braucht.

Der NVIDIA Jetson Orin Nano ist ein Computer im Kartenformat. Er hat einen Prozessor mit sechs Kernen und eine GPU, die viele einfache Rechnungen gleichzeitig ausführt. Genau das brauchen neuronale Netze. Er nimmt dabei nur wenige Watt auf.

Gemeinsamer Speicher

Schichten
  • Geladenes Modell (immer nur eins)
  • CPU und GPU (rechnen im selben Speicher)
  • Gemeinsamer Speicher (8 GB für alles)

CPU und GPU teilen sich 8 GB. Ein großes Modell lässt dem Betriebssystem kaum Platz.

CPU und GPU teilen sich denselben Arbeitsspeicher von 8 GB. Ein Modell, das 5 GB braucht, lässt kaum Platz für das Betriebssystem. Das ist der Grund, warum hier kleine Modelle laufen und immer nur eins zur Zeit geladen ist. Der Speicher in der Anzeige oben ist die wichtigste Grenze.

Was die Anzeigen bedeuten

Übersicht
  • GPU (Auslastung)
  • Speicher (belegt)
  • CPU (sechs Kerne)
  • Leistung (Stromaufnahme)
  • Temperatur (heißester Punkt)

Fünf Werte zeigen, wie ausgelastet der Jetson ist und wie viel Spielraum bleibt.

  • GPU: wie ausgelastet der Grafikprozessor ist. Er steigt, wenn ein Modell rechnet.
  • Arbeitsspeicher: belegt von Betriebssystem, Programmen und geladenen Modellen.
  • CPU: Auslastung der sechs Prozessorkerne, im Mittel.
  • Leistung: Strom, den das Board gerade aufnimmt, ohne Netzteilverluste.
  • Temperatur: der heißeste Messpunkt des Chips. Bei zu hoher Temperatur taktet er herunter.

Warum Edge-Geräte wichtig sind

Ablauf
  • Sensor (Daten entstehen)
  • Jetson (rechnet vor Ort)
  • Ergebnis (kurze Wege)

Wer Daten am Entstehungsort auswertet, spart Netz und Wartezeit und hält Sensibles vor Ort.

Wer Kamerabilder, Sprache oder Maschinendaten direkt am Entstehungsort auswertet, spart Netzwerk, Wartezeit und kann sensible Daten vor Ort lassen. Das ist die Idee hinter Edge-Computing.

Das nimmst du mit

  • Der Jetson rechnet neuronale Netze effizient auf einer GPU.
  • Der gemeinsame Speicher von 8 GB begrenzt die Modellgröße.
  • Lokal bedeutet: keine Cloud, kurze Wege, Daten bleiben vor Ort.

Weiter geht es