Sehen

Wie Netze Bilder verstehen

Kurz gesagt: Ein Filter ist eine kleine Zahlenschablone. Er wandert über das Bild und meldet, wo sein Muster vorkommt. Die Filter lernt das Netz selbst.

Ein Netz für Bilder sucht erst Kanten, dann Formen, dann Dinge. Hier siehst du ohne Formeln, wie das gelingt und wo es danebenliegt.

Das Problem: Zahlen in Bedeutung verwandeln

Vergleich
  • Links: Früher: Merkmale von Hand, Kanten zählen, Ecken suchen
  • Rechts: Heute: Netz lernt Merkmale, Aus vielen Beispielen

Eine feste Regel für Pixel scheitert. Heute lernt ein Netz die Merkmale selbst aus Beispielen.

Die Seite Wie ein Computer ein Bild sieht endet mit einer Tabelle aus Zahlen. Aus ihr soll „Katze“ oder „Gesicht“ werden. Eine Regel wie „wenn Pixel 400 hell ist, dann Katze“ funktioniert nicht, denn jede Katze sieht anders aus und steht anders im Bild.

Ältere Verfahren haben Merkmale von Hand beschrieben: Kanten zählen, Ecken suchen. Heute lernt ein Netz solche Merkmale selbst aus vielen Beispielen. Das Netz heißt faltendes Netz (englisch Convolutional Neural Network, kurz CNN). Es ist eine Art Deep Learning, gebaut für Bilder.

Ein Filter ist eine Schablone, die über das Bild wandert

Ablauf
  • Ausschnitt (3 mal 3 Pixel)
  • Mal Filter (Feld für Feld)
  • Summe (eine Zahl)
  • Neues Bild (Filter rückt weiter)

Ein kleiner Filter wird Stück für Stück über das Bild geschoben und meldet, wo sein Muster liegt.

Ein Filter ist ein kleines Zahlenraster, oft drei mal drei Felder. Du legst es auf einen Bildausschnitt gleicher Größe, rechnest Pixelwert mal Filterwert, addierst alles und erhältst eine einzige Zahl. Dann schiebst du den Filter einen Pixel weiter und wiederholst das. Am Ende hast du ein neues Bild aus lauter solchen Zahlen. Dieser Vorgang heißt Faltung.

Der Filter entscheidet, wonach gesucht wird. Ein Filter mit links negativen und rechts positiven Zahlen antwortet stark, wo es von dunkel nach hell geht, also an einer senkrechten Kante. Auf glatten Flächen antwortet er schwach. Das Ergebnisbild leuchtet dort, wo der Filter sein Muster gefunden hat.

Die Filter lernt das Netz selbst

Kreislauf
  • Beispiel
  • Antwort
  • Fehler
  • Filter anpassen
  • Mitte: Training

Die Filterwerte starten zufällig und werden nach jedem Fehler ein Stück verbessert.

Wer Filter von Hand baut, kann Kanten finden, schärfen oder weichzeichnen. Ein Netz braucht aber hunderte Filter für Muster, die kein Mensch aufschreiben könnte: Fellstruktur, Radkreise, eine Augenpartie.

Beim Training startet das Netz mit zufälligen Filterwerten und verbessert sie nach jedem Fehler ein kleines Stück. Wie das genau abläuft, erklärt die Seite Neuronale Netze. Für diese Seite reicht: Die Zahlen in den Filtern sind die Parameter des Netzes, und sie entstehen aus Beispielen.

Kanten, Formen, Dinge: Schicht für Schicht

Schichten
  • Objekte (späte Schichten)
  • Formen, Texturen (mittlere Schichten)
  • Kanten, Farbverläufe (frühe Schichten)

Jede Schicht baut auf der vorigen auf: von einfachen zu zusammengesetzten Merkmalen.

Ein Netz hat viele Schichten hintereinander. Jede Schicht bekommt das Ergebnis der vorigen. Grob lässt sich beobachten, was jede Stufe leistet:

  • Frühe Schichten finden einfache Dinge: Kanten in verschiedenen Richtungen, Farbverläufe, kleine Flecken.
  • Mittlere Schichten kombinieren Kanten zu Ecken, Kurven und Texturen wie Fell, Maschen oder Wellen.
  • Späte Schichten setzen Formen zu Teilen und Objekten zusammen: ein Rad, ein Auge, ein Gesicht.

Pooling: kleiner werden, Wesentliches behalten

Kennzahlen
  • 4 zu 1 Pixel je 2-mal-2-Block
  • Halb Kantenlänge danach
  • Max Der größte Wert bleibt

Aus jedem kleinen Block bleibt nur der größte Wert. Das Zwischenbild schrumpft.

Zwischen den Faltungen verkleinert das Netz die Zwischenbilder. Beim Pooling wird das Bild in kleine Blöcke geteilt, zum Beispiel zwei mal zwei Pixel. Aus jedem Block bleibt der größte Wert übrig. So halbiert sich die Kantenlänge, das Netz muss weniger rechnen, und die stärksten Antworten bleiben erhalten.

Das macht das Netz unempfindlich gegen kleine Verschiebungen. Liegt ein Auge im Bild einen Pixel weiter links, bleibt der Maximalwert im Block derselbe. Zusammen mit den Filtern, die überall nach demselben Muster suchen, kommt das Netz damit zurecht, dass ein Objekt an anderer Stelle im Bild steht.

Vortraining: Das Sehen muss nicht jeder neu lernen

Ablauf
  • Dein Bild
  • Vortrainiertes Netz (MobileNet)
  • 1000 Zahlen (Embedding)
  • Deine Klasse (10 bis 20 Beispiele)

Ein vortrainiertes Netz liefert die Merkmale, ein einfaches Verfahren obendrauf entscheidet.

Ein Netz von null zu trainieren, braucht Millionen Bilder und viel Rechenzeit. Deshalb nutzt man fertig trainierte Netze weiter. Ein solches Netz hat auf sehr vielen Fotos gelernt, Kanten, Formen und Objektteile zu erkennen. Dieses Wissen ist allgemein nützlich, auch für Bilder, die das Netz nie gesehen hat.

Das Anlern-Labor macht genau das. Es nutzt das Netz MobileNet bis zur letzten Stufe und liest die 1000 Zahlen aus, die das Bild beschreiben (Embedding). Nur diese Zahlen vergleicht es mit deinen Beispielen. Das Netz liefert die Merkmale, die Entscheidung trifft ein einfaches Verfahren obendrauf. Dieses Vorgehen heißt Vortraining und Weiterverwenden. Es ist der Grund, warum 10 bis 20 Beispiele je Klasse genügen können.

Wo solche Netze irren

Vergleich
  • Links: Mensch achtet auf: Umriss und Form, Das Tier selbst
  • Rechts: Netz achtet oft auf: Oberflächenmuster, Schnee im Hintergrund
  • Urteil: Husky im Schnee wird zum Wolf.

Das Netz lernt, was mit der Antwort zusammenhängt, und das ist nicht immer, was du meinst.

Das Netz lernt, was in den Beispielen mit der Antwort zusammenhängt. Das muss nicht das sein, was du meinst.

  • Hintergrund und Kontext: Ein oft genanntes Beispiel ist ein Netz, das Wölfe und Huskys trennen sollte und stattdessen auf Schnee im Hintergrund achtete. Zeigt man einen Husky im Schnee, kommt „Wolf“.
  • Texturen: Netze achten oft stärker auf Oberflächenmuster als Menschen auf Umrisse.
  • Unscheinbare Störungen: Winzige, für Menschen kaum sichtbare Änderungen an den Pixeln können ein Netz zu einer völlig falschen Antwort bringen.
  • Unbekanntes: Was in den Trainingsbildern nicht vorkam, wird in eine bekannte Klasse gepresst. Das Objekt-Labor kennt nur 80 Klassen.

Was die Labore damit zu tun haben

Übersicht
  • Gesicht (YuNet)
  • Objekte (YOLOX)
  • Anlernen (MobileNet)

Drei Labore, ein Prinzip: Filter, Schichten und gelernte Zahlen.

Die Gesichtserkennung YuNet, der Objekterkenner YOLOX und das MobileNet im Anlern-Labor sind faltende Netze. Sie unterscheiden sich im Aufbau und in der Aufgabe, nicht im Grundprinzip: Filter, Schichten und gelernte Zahlen. Neuere Netze nutzen teils andere Bausteine, aber auch dort gilt die Idee vom Einfachen zum Zusammengesetzten.

Im Baustein oben probierst du selbst Filter aus. Probiere Kanten, Weichzeichnen und einen eigenen Filter und beobachte, was auf dem Bild hell wird.

Das nimmst du mit

  • Ein Filter ist eine kleine Zahlenschablone. Er wandert über das Bild und meldet, wo sein Muster vorkommt.
  • Die Filter lernt das Netz selbst. Frühe Schichten sehen Kanten, mittlere Formen, späte Objekte.
  • Ein vortrainiertes Netz liefert Merkmale zum Weiterverwenden, kann aber wegen Hintergrund und Mustern irren.

Teste dich

  1. Was macht ein Filter in einem Bildnetz?
    Antwort

    Er sucht überall im Bild nach demselben kleinen Muster. Der Filter wird über das ganze Bild geschoben und antwortet dort stark, wo sein Muster liegt, zum Beispiel eine senkrechte Kante.

  2. Was erkennen die frühen Schichten eines Bildnetzes grob?
    Antwort

    Einfache Dinge wie Kanten und Farbverläufe. Frühe Schichten finden einfache Merkmale. Erst spätere setzen sie zu Formen und Objekten zusammen.

  3. Warum nutzt man vortrainierte Netze weiter, statt jedes Mal neu zu trainieren?
    Antwort

    Weil das Sehen von Kanten und Formen schon gelernt ist und allgemein nützt. Das Wissen aus vielen Bildern lässt sich übertragen. Deshalb reichen im Anlern-Labor wenige Beispiele.

  4. Ein Netz sollte Wölfe erkennen und achtete auf Schnee. Was lehrt das?
    Antwort

    Das Netz kann an der falschen Eigenschaft lernen, die zufällig zur Antwort passt. Das Netz nutzt, was in den Beispielen mit der Antwort zusammenfiel. Das kann der Hintergrund sein und nicht das Tier.

  5. Wozu dient Pooling?
    Antwort

    Es verkleinert die Zwischenbilder und macht kleine Verschiebungen unwichtig. Pooling fasst Blöcke zusammen, meist über den größten Wert. Das Netz rechnet weniger und reagiert weniger auf einen verschobenen Pixel.

Weiter geht es