Business-Use-Cases

Bauteile nach Typ sortieren

Kurz gesagt: Teile mit klar verschiedener Form lassen sich schon aus wenigen Beispielen je Typ zuverlässig sortieren. Im Beispiel waren 12 von 12 und 90 von 90 richtig. Das sind Werte für gezeichnete Bilder, echte Teile glänzen und verdecken sich.

Schrauben, Muttern und Scheiben liegen gemischt in einer Kiste. Wie schnell lernt eine Kamera, sie nach Typ zu trennen, und warum klappt es hier so viel leichter als bei der Fehlersuche?

Die Ausgangslage im Betrieb

Vergleich
  • Links: Von Hand: Fleißarbeit ohne Denken, Bindet Personal, Fehler fallen spät auf
  • Rechts: Mit Kamera: Erkennt den Typ, Gleichmäßig bei jedem Tempo, Mensch macht Ausnahmen
  • Urteil: Gleichförmige Arbeit mit großen Unterschieden passt zur Kamera.

Gemischte Kleinteile werden von Hand sortiert. Das bindet Menschen, und Fehlsortierungen fallen erst in der Montage auf.

In der Kommissionierung eines Betriebs kommt Kleinteile-Nachschub in großen Kisten an. Schrauben, Muttern und Scheiben sind gemischt. Bevor ein Teil in sein Fach kommt, sortiert jemand die Kiste von Hand durch: Schraube nach links, Mutter nach vorn, Scheibe nach rechts.

Das ist Fleißarbeit ohne viel Denken. Sie bindet Menschen, die woanders gebraucht würden, und sie ist fehleranfällig, wenn es schnell gehen soll. Eine falsch einsortierte Mutter fällt erst auf, wenn bei der Montage das passende Teil fehlt.

Was das System tun soll

Ablauf
  • Bild des Teils
  • Modell (ein Balken je Klasse)
  • Drei Klassen (Schraube, Mutter, Scheibe)

Ein Bild des Teils geht hinein, eine von drei Klassen kommt heraus. Greifer oder Weiche gehören nicht dazu.

Das Ziel in einem Satz: Eine Kamera über dem Tisch erkennt, ob ein Teil eine Schraube, eine Mutter oder eine Scheibe ist.

Die Eingabe ist ein Bild des Teils, die Ausgabe eine von drei Klassen mit je einem Balken. Anders als bei der Sichtprüfung gibt es hier keine feinen Fehler zu finden. Die Typen unterscheiden sich in der Grundform: lang mit Gewinde, sechseckig mit Loch, flach und rund mit Loch.

Was danach passiert, ist eine eigene Aufgabe. Ein Greifer oder eine Weiche, die das Teil ins richtige Fach bringt, gehört nicht zum Beispiel. Das System liefert nur die Klasse.

Welche Daten es braucht

Schraube liegt schräg auf grauem Untergrund
Schraube
Sechskantmutter mit Loch auf grauem Untergrund
Mutter
Flache runde Scheibe mit Loch auf grauem Untergrund
Scheibe (alle gezeichnet)

20 Bilder je Typ, in verschiedenen Lagen und Drehungen, an der späteren Station aufgenommen.

Gebraucht werden Fotos von jedem Typ, mit einem Etikett je Bild. Im fertigen Beispiel liegen je 20 Bilder der Klassen Schraube, Mutter und Scheibe, zusammen 60. Dazu kommen 12 Testbilder und weitere 90 frisch erzeugte Prüfbilder.

Wichtig ist die Vielfalt: Die Teile sollen in verschiedenen Lagen und Drehungen zu sehen sein. Ein Bild, auf dem die Schraube immer von links nach rechts liegt, bringt nicht bei, dass sie auch schräg oder hochkant eine Schraube bleibt.

Die Bilder entstehen am besten dort, wo später sortiert wird: gleiche Kamera, gleicher Abstand, gleicher Tisch. Die Etiketten sind hier leicht, denn jeder erkennt eine Schraube. Personenbezogene Daten spielen kaum eine Rolle. Achte nur darauf, dass keine Hände oder Gesichter im Bild landen.

Wie es funktioniert

Punktwolke
  • Schraube: 18 Punkte
  • Mutter: 18 Punkte
  • Scheibe: 18 Punkte

Ähnliche Bilder liegen beieinander. Das neue Bild bekommt die Klasse seiner drei nächsten Nachbarn.

Das Verfahren ist dasselbe wie im Labor Bildmodell anlernen und wie bei der Sichtprüfung:

  • Ein vorgefertigtes Bildmodell macht aus jedem Foto eine Zahlenliste, die beschreibt, was zu sehen ist. Siehe Wie Netze Bilder verstehen.
  • Die Zahlenlisten der 60 Beispielbilder werden mit ihrem Etikett gespeichert.
  • Bei einem neuen Bild sucht das System die 3 ähnlichsten Beispiele (nächste Nachbarn), die Mehrheit gewinnt.

Das Beispiel zum Starten

Zeitachse
  • 1: Beispiel starten
  • 2: Testbild wählen
  • 3: Zuordnen lassen
  • 4: Balken lesen

Vier Schritte im Labor: anlernen, Testbild wählen, zuordnen lassen, die drei Balken lesen.

Das Beispiel enthält gezeichnete Bilder von Schrauben, Muttern und Scheiben. Du startest es, und der Jetson nimmt je 20 Bilder pro Klasse auf. Dann wählst du ein Testbild und lässt es zuordnen.

Achte darauf, dass die Teile in jeder Lage und Drehung richtig erkannt werden. Vergleiche die drei Balken: Bei klar verschiedenen Formen ist der Abstand groß. Nach dem Klick landest du im Labor Anlernen mit den vorbereiteten Beispielen.

Beispiel starten

Was dabei herauskommt

Kennzahlen
  • 12 von 12 Testbilder richtig (Beispielwerte)
  • 90 von 90 Prüfbilder richtig (Beispielwerte)
Skala
  • Grobe Form, leicht bis Feiner Fehler, schwer, Marker bei 15 Prozent: Sortieren nach Typ

Alle 12 Testbilder und alle 90 Prüfbilder wurden richtig zugeordnet. Die Formen unterscheiden sich deutlich.

Gemessen wurde mit genau diesen Bildern und dem Verfahren des Labors: Alle 12 Testbilder wurden richtig zugeordnet. Bei 90 weiteren, frisch erzeugten Bildern waren es ebenfalls alle 90. Die Formen unterscheiden sich so deutlich, dass das Verfahren hier sehr sicher ist. Gemessen wurde auf einem Entwicklungsrechner mit denselben Modelldateien, nicht auf dem Jetson. Das sind Beispielwerte.

Einordnung: Die Bilder sind gezeichnet. Echte Teile glänzen, spiegeln und liegen übereinander. Das macht es schwerer, besonders wenn ein Teil ein anderes halb verdeckt. Auch 12 Testbilder sind wenig. Aus „12 von 12“ folgt nicht, dass nie ein Fehler passiert, nur dass bei diesen Bildern keiner passiert ist.

Gegenüber der Sichtprüfung zeigt sich der Unterschied: Grobe Formen sind leicht, feine Fehler sind schwer. Ein gutes Projekt beginnt oft mit der leichten Aufgabe.

Stolpersteine

Übersicht
  • Glanz und Spiegelung (diffuses Licht, matter Grund)
  • Verdeckung (Teile vereinzeln)
  • Mehrere Teile im Bild (ein Teil je Bild)
  • Neue Teiletypen (neue Klasse anlegen)
  • Fast gleiche Typen (messen statt sehen)

Glanz, Verdeckung und fast gleiche Typen bringen das Verfahren ins Straucheln. Unten das Gegenmittel.

  • Glanz und Spiegelung: Metall wirft Lichtflecken, die wie Teile der Form aussehen. Gegenmittel: diffuses, gleichmäßiges Licht und matter Untergrund.
  • Verdeckung: Liegen Teile übereinander, sieht die Kamera nur Bruchstücke. Gegenmittel: Teile vereinzeln, zum Beispiel über ein Förderband mit Abstand.
  • Mehrere Teile im Bild: Das Verfahren ordnet ein ganzes Bild einer Klasse zu. Liegen zwei Teile im Bild, ist das Ergebnis unklar. Gegenmittel: ein Teil je Bild oder ein Verfahren, das Teile einzeln findet, siehe Objekterkennung.
  • Neue Teiletypen: Kommt eine Unterlegscheibe mit Zacken oder eine Flügelmutter dazu, ordnet das System sie nach Ähnlichkeit zu, oft falsch. Gegenmittel: neue Klasse mit Beispielen anlegen.
  • Fast gleiche Typen: Zwei Schraubenlängen mit gleichem Kopf sind für das Bild fast dasselbe. Hier hilft Messen besser als Sehen.

Nutzen und Aufwand

Übersicht
  • Welche Entscheidung? (Welcher Typ ist das Teil?)
  • Welche Daten? (Fotos je Typ, viele Lagen)
  • Wer prüft? (Person kontrolliert die Fächer)

Die Kamera liefert nur die Klasse. Mechanik, Stichproben und Pflege bleiben beim Betrieb.

Der Nutzen liegt in der Entlastung bei gleichförmiger Arbeit. Die Kamera wird nicht müde und sortiert gleichmäßig. Die Menschen, die bisher sortiert haben, können Ausnahmen, Nachschub und Kontrolle übernehmen.

Handarbeit bleibt: die Aufnahme der Beispielbilder, die Mechanik, die ein erkanntes Teil auch wirklich ins Fach befördert, und die Pflege bei neuen Teiletypen. Das Bild löst nur den Erkennungsteil.

Das Ergebnis prüft ein Mensch mit Stichproben aus den Fächern. Ein falsch einsortiertes Teil fällt sonst erst in der Montage auf.

  • Welche Entscheidung? Zu welchem Typ gehört das Teil auf dem Tisch?
  • Welche Daten? Eigene Fotos je Typ in verschiedenen Lagen, im Licht der späteren Station.
  • Wer prüft? Eine Person kontrolliert regelmäßig Stichproben aus den Fächern.

Das nimmst du mit

  • Teile mit klar verschiedener Form lassen sich schon aus wenigen Beispielen je Typ zuverlässig sortieren.
  • Im Beispiel waren 12 von 12 und 90 von 90 richtig. Das sind Werte für gezeichnete Bilder, echte Teile glänzen und verdecken sich.
  • Die Kamera liefert nur die Klasse. Mechanik, Stichproben und Pflege bleiben Aufgabe des Betriebs.

Teste dich

  1. Warum ist Sortieren nach Typ leichter als die Fehlersuche an einer Scheibe?
    Antwort

    Weil die Typen sich in der Grundform deutlich unterscheiden, Fehler aber fein sind. Grobe Unterschiede sind für das Verfahren leicht zu trennen. Feine Fehler an wechselnden Stellen brauchen mehr Beispiele und mehr Vorsicht.

  2. Wozu sollen die Teile in den Beispielbildern in verschiedenen Lagen liegen?
    Antwort

    Damit das System lernt, dass ein Typ in jeder Lage derselbe bleibt. Sonst lernt das System nur die eine Lage, die es kennt. Im Betrieb liegen die Teile aber so, wie sie fallen.

  3. Zwei Schrauben liegen sich überlappend im Bild. Was ist das Problem?
    Antwort

    Das Verfahren ordnet ein ganzes Bild einer Klasse zu und sieht nur Bruchstücke. Das Verfahren im Beispiel urteilt über das ganze Bild. Teile sollten vereinzelt werden, oder man nimmt ein Verfahren, das Objekte einzeln findet.

  4. Das System erkennt 12 von 12 Testbildern richtig. Was folgt daraus sicher?
    Antwort

    Dass es bei diesen Testbildern keinen Fehler gemacht hat. Eine kleine Testmenge zeigt nur, wie es bei diesen Bildern lief. Für echte Teile braucht es einen Pilot mit echten Daten.

  5. Was gehört nicht zum Erkennungsteil, muss aber für ein fertiges Sortiersystem gelöst werden?
    Antwort

    Die Mechanik, die das Teil ins richtige Fach bringt. Die Kamera liefert nur die Klasse. Greifer oder Weiche und die Anbindung an die Anlage sind eigene Arbeit.

Weiter geht es