Was ist ein Jetson
- 6 Prozessorkerne
- 8 GB gemeinsamer Speicher
- wenige W Stromaufnahme
Ein Computer im Kartenformat mit sechs Kernen und einer GPU, die wenige Watt braucht.
Der NVIDIA Jetson Orin Nano ist ein Computer im Kartenformat. Er hat einen Prozessor mit sechs Kernen und eine GPU, die viele einfache Rechnungen gleichzeitig ausführt. Genau das brauchen neuronale Netze. Er nimmt dabei nur wenige Watt auf.
Gemeinsamer Speicher
- Geladenes Modell (immer nur eins)
- CPU und GPU (rechnen im selben Speicher)
- Gemeinsamer Speicher (8 GB für alles)
CPU und GPU teilen sich 8 GB. Ein großes Modell lässt dem Betriebssystem kaum Platz.
CPU und GPU teilen sich denselben Arbeitsspeicher von 8 GB. Ein Modell, das 5 GB braucht, lässt kaum Platz für das Betriebssystem. Das ist der Grund, warum hier kleine Modelle laufen und immer nur eins zur Zeit geladen ist. Der Speicher in der Anzeige oben ist die wichtigste Grenze.
Was die Anzeigen bedeuten
- GPU (Auslastung)
- Speicher (belegt)
- CPU (sechs Kerne)
- Leistung (Stromaufnahme)
- Temperatur (heißester Punkt)
Fünf Werte zeigen, wie ausgelastet der Jetson ist und wie viel Spielraum bleibt.
- GPU: wie ausgelastet der Grafikprozessor ist. Er steigt, wenn ein Modell rechnet.
- Arbeitsspeicher: belegt von Betriebssystem, Programmen und geladenen Modellen.
- CPU: Auslastung der sechs Prozessorkerne, im Mittel.
- Leistung: Strom, den das Board gerade aufnimmt, ohne Netzteilverluste.
- Temperatur: der heißeste Messpunkt des Chips. Bei zu hoher Temperatur taktet er herunter.
Warum Edge-Geräte wichtig sind
- Sensor (Daten entstehen)
- Jetson (rechnet vor Ort)
- Ergebnis (kurze Wege)
Wer Daten am Entstehungsort auswertet, spart Netz und Wartezeit und hält Sensibles vor Ort.
Wer Kamerabilder, Sprache oder Maschinendaten direkt am Entstehungsort auswertet, spart Netzwerk, Wartezeit und kann sensible Daten vor Ort lassen. Das ist die Idee hinter Edge-Computing.