Sehen

Objekterkennung

Kurz gesagt: Das Netz betrachtet das ganze Bild einmal und sagt zugleich, wo etwas ist und was es ist. Jedes Objekt bekommt einen Rahmen, eine von 80 Klassen und eine Konfidenz zwischen 0 und 1. Ab welcher Konfidenz ein Rahmen erscheint, bestimmst du.

Der Jetson benennt, was er im Bild sieht, und markiert jedes Objekt mit einem Rahmen.

Ein Blick reicht

Ablauf
  • Ganzes Bild (ein Durchgang)
  • YOLOX
  • Ort und Klasse (gleichzeitig)

Das Netz betrachtet das ganze Bild einmal und sagt zugleich, wo etwas ist und was es ist.

Hier läuft YOLOX, ein Verfahren aus der YOLO-Familie. Das Netz betrachtet das ganze Bild einmal und sagt gleichzeitig, wo Objekte sind und was sie sind. Deshalb ist es schnell genug für Video.

Rahmen, Klasse, Sicherheit

Mehrere Tassen auf einem Tisch
Beispielfoto: Pro Objekt entstehen Rahmen, Klasse und Konfidenz

Jedes Objekt bekommt einen Rahmen, eine von 80 Klassen und eine Konfidenz zwischen 0 und 1.

Für jedes Objekt liefert das Netz einen Rahmen, eine Klasse aus 80 Alltagsklassen (Person, Tasse, Laptop, Stuhl und so weiter) und eine Konfidenz: wie sicher es sich ist.

Die Schwelle: Treffer gegen Fehlalarme

Skala
  • Mehr Treffer, mehr Fehlalarme bis Weniger Fehlalarme, mehr übersehen, Marker bei 50 Prozent: Regler Schwelle

Ab welcher Konfidenz ein Rahmen erscheint, bestimmst du. Niedrig findet mehr, hoch irrt weniger.

Der Regler Schwelle legt fest, ab welcher Konfidenz ein Rahmen angezeigt wird. Niedrig: mehr Treffer, aber auch mehr Fehlalarme. Hoch: weniger Fehlalarme, dafür werden Objekte übersehen. Diese Abwägung gibt es bei jeder Erkennung, auch in der Fertigung. Probiere es live aus.

Doppelte Rahmen aufräumen

Vergleich
  • Links: Vorher: Mehrere Rahmen je Objekt, Leicht versetzt
  • Rechts: Nach NMS: Sicherster Rahmen bleibt, Überlappende fallen weg

Das Netz meldet ein Objekt oft mehrfach. Die Aufräumung behält nur den sichersten Rahmen.

Das Netz meldet dasselbe Objekt oft mehrfach mit leicht versetzten Rahmen. Ein Aufräumschritt, die Non-Maximum Suppression, behält den sichersten und wirft überlappende weg.

Wie schnell ist das

Schichten
  • Labor im Browser
  • YOLOX (Modell)
  • OpenCV (heute genutzt)
  • Prozessor (GPU mit TensorRT möglich)

Hier rechnet der Prozessor mit OpenCV. Das Erkennen braucht den größten Teil der Zeit.

Das Modell läuft hier bewusst einfach über OpenCV auf dem Prozessor. Der Streifen über dem Bild zeigt, dass das Erkennen den größten Teil der Zeit braucht. Auf der GPU des Jetson ließe sich das mit TensorRT deutlich beschleunigen.

Im Business

Zählen und Prüfen am Band, Lager- und Regalkontrolle, Flächen- und Verkehrsmonitoring, Sicherheit auf Baustellen.

  • Paletten im Lager zählen
  • Prüfen, ob Schutzausrüstung getragen wird

Grenzen

  • Das Modell kennt nur seine 80 Klassen. Alles andere wird übersehen oder falsch benannt.
  • Ungewöhnliche Blickwinkel, Verdeckung und Gegenlicht erhöhen Fehler.

Weiter geht es