Sehen

Wie ein Computer ein Bild sieht

Kurz gesagt: Ein Bild ist eine Tabelle aus Zahlen: Ein Wert von 0 bis 255 je Pixel und Farbkanal. Auflösung, Belichtung und Rauschen entscheiden, welche Informationen überhaupt beim Modell ankommen. Verkleinern spart Rechenzeit, kostet aber kleine Details.

Du siehst ein Foto, ein Computer sieht eine Tabelle voller Zahlen. Hier lernst du, wie aus Licht Zahlen werden und warum jede Bilderkennung damit beginnt.

Ein Bild ist ein Raster aus Punkten

Ablauf
  • Foto
  • Raster (Pixel in Reihen)
  • Tabelle (nur Zahlen)

Ein Bild ist eine Tabelle: Jeder Pixel hat eine Zeile, eine Spalte und eine Farbe.

Jedes digitale Bild besteht aus winzigen Quadraten, den Pixeln. Sie liegen in Reihen und Spalten wie die Felder auf einem Schachbrett. Jedes Quadrat hat genau eine Farbe. Aus der Ferne verschmelzen die Quadrate zu einem Bild.

Ein Pixel weiß nichts von seinen Nachbarn. Es ist nur ein Eintrag in einer Tabelle: Zeile 40, Spalte 120, Farbe so und so. Alles, was ein Computer über ein Bild weiß, steht in dieser Tabelle.

Helligkeit ist eine Zahl

Skala
  • 0 Schwarz bis 255 Weiß, Marker bei 50 Prozent: 128 Mittelgrau

Je Pixel ein Wert von 0 bis 255: 0 ist Schwarz, 255 ist Weiß.

Fangen wir mit einem Schwarzweißbild an. Jeder Pixel bekommt eine Zahl für seine Helligkeit. Üblich ist ein Wert von 0 bis 255. Die 0 steht für Schwarz, die 255 für Weiß, die 128 ungefähr für mittleres Grau.

Warum gerade 255? Ein Computer speichert Zahlen in Bits. Mit acht Bits gibt es 256 verschiedene Werte, gezählt von 0 bis 255. Das ist fein genug, dass das Auge keine Stufen sieht, und klein genug, um wenig Speicher zu brauchen.

Farbe: drei Zahlen pro Pixel

Übersicht
  • Rot (0 bis 255)
  • Grün (0 bis 255)
  • Blau (0 bis 255)
  • Gelb (255, 255, 0)

Ein Farbpixel besteht aus drei Zahlen für Rot, Grün und Blau, je 0 bis 255.

Ein Farbpixel braucht drei Zahlen, je eine für Rot, Grün und Blau. Diese drei Werte heißen Farbkanäle. Jeder läuft von 0 bis 255. Ein Farbbild ist also drei übereinandergelegte Zahlentabellen.

Warum diese drei? Das Auge hat Sinneszellen für ungefähr diese drei Bereiche des Lichts. Ein Bildschirm mischt die Farbe aus drei kleinen Lichtpunkten. Die Mischung bei Licht funktioniert anders als bei Malfarben: Rot und Grün zusammen ergeben bei Licht Gelb.

Einige Farben als Zahlentripel (Rot, Grün, Blau)
FarbeRotGrünBlau
Schwarz000
Weiß255255255
Mittelgrau128128128
Reines Rot25500
Gelb2552550
Himmelblau (grob)135206235

Auflösung und Dateigröße

Vergleich
  • Links: Grob: 480 mal 360: 172.800 Pixel, rund 0,5 MB roh, Wenig Rechnung, Kleine Dinge fehlen
  • Rechts: Fein: 4K: 8.294.400 Pixel, rund 24,9 MB roh, Mehr Rechnung, Viele Details

Mehr Pixel zeigen mehr Details, kosten aber viel mehr Speicher und Rechenzeit.

Die Auflösung gibt an, wie viele Pixel ein Bild breit und hoch ist. Mehr Pixel bedeuten mehr Details, aber auch mehr Zahlen. Ein Pixel braucht im Rohformat drei Byte, eines je Farbkanal. Daraus lässt sich die Größe leicht rechnen: Breite mal Höhe mal drei.

Fotodateien sind meist viel kleiner als diese Rohgröße, weil das Format JPEG Bildteile zusammenfasst und feine Unterschiede weglässt. Das ist verlustbehaftet: Beim Speichern gehen Details verloren, die man nicht zurückholen kann.

Rohgröße ohne Komprimierung (drei Byte je Pixel, gerundet)
AuflösungPixelRohdaten
480 mal 360 (Bildgröße im Kamera-Labor)172.800rund 0,5 MB
1920 mal 1080 (Full HD)2.073.600rund 6,2 MB
3840 mal 2160 (4K)8.294.400rund 24,9 MB

Was Belichtung, Kontrast und Rauschen mit den Zahlen machen

Übersicht
  • Belichtung (Werte hoch oder tief)
  • Kontrast (Abstand hell zu dunkel)
  • Rauschen (Zufällige Abweichung)

Alle drei verändern nur die Pixelwerte. Was dabei verloren geht, holt kein Modell zurück.

Alle drei Begriffe kennst du aus der Fotografie. Mit Zahlen sind sie leicht zu fassen.

  • Belichtung: Alle Helligkeitswerte liegen höher oder tiefer. Ein überbelichtetes Bild hat viele Pixel bei 255. Bei 255 ist Schluss: Heller geht nicht, die Unterschiede dort sind unwiederbringlich weg.
  • Kontrast: Der Abstand zwischen hellen und dunklen Werten. Bei wenig Kontrast liegen fast alle Werte nah beieinander, das Bild wirkt wie im Nebel. Bei hohem Kontrast liegen sie weit auseinander.
  • Rauschen: Zufällige kleine Abweichungen in jedem Pixel. Es entsteht vor allem bei wenig Licht, wenn die Kamera schwache Signale verstärkt. Aus dem glatten Grau wird ein körniges Muster.

Verkleinern und Zuschneiden vor der Erkennung

Balkendiagramm
  • Vollbild: 20 Pixel
  • Nach dem Verkleinern: 3 Pixel

Verkleinern spart Rechenzeit, lässt aber kleine Dinge verschwinden.

Fast kein Modell frisst ein Bild in beliebiger Größe. Meist erwartet es eine feste Größe, bei vielen Bildnetzen sind es einige hundert Pixel in Breite und Höhe. Das Bild wird deshalb vorher verkleinert oder zugeschnitten. Im Gesichts-Labor passiert genau das: Der Browser verkleinert jedes Kamerabild auf 480 mal 360 Pixel, bevor es zum Jetson geht. Das spart Übertragungszeit und Rechenzeit.

Verkleinern hat einen Preis. Wenn aus zehn Pixeln einer wird, verschwinden kleine Dinge. Eine Schraube, die auf dem Vollbild 20 Pixel groß ist, hat nach dem Verkleinern vielleicht nur noch 3. Dann findet auch das beste Modell sie nicht mehr. Zuschneiden hilft: Wer nur den Bereich ansieht, in dem das Teil liegt, behält dort die volle Auflösung.

Beim Zuschneiden und Strecken kommt es auf das Seitenverhältnis an. Wird ein breites Bild auf ein Quadrat gepresst, wirken alle Objekte schmal und verzerrt. Das Modell hat sie vielleicht nie so gesehen. Darum sollten Training und Einsatz dieselbe Vorbereitung nutzen.

Warum Computer nur Zahlen sehen

Vergleich
  • Links: Du: Ohren, Fell, Haltung, Sieht sofort das Ganze
  • Rechts: Computer: Tabelle aus Zahlen, Bedeutung erst durch Rechnen
  • Urteil: Ein Pixel Verschiebung ändert fast jeden Tabelleneintrag.

Du siehst Ohren und Fell, der Computer eine Tabelle. Die Bedeutung entsteht erst im Modell.

Wenn du eine Katze erkennst, siehst du Ohren, Fell und eine Haltung. Der Computer hat nur eine Tabelle. Dass daraus eine Katze wird, entsteht erst im Modell: Es rechnet auf den Zahlen und liefert am Ende eine Antwort. Wie das geht, zeigt die Seite Wie Netze Bilder verstehen.

Zahlen haben eine Folge, die überrascht. Verschiebst du ein Bild um einen Pixel, ändert sich in der Tabelle fast jeder Eintrag, obwohl du praktisch nichts siehst. Gute Modelle müssen mit solchen Änderungen zurechtkommen. Auch die Labore Objekte und Anlernen verlassen sich darauf.

Datenschutz bei Bildern

Übersicht
  • Gesichter
  • Kennzeichen
  • Bildschirmtext
  • Metadaten (Zeit, Gerät, Ort)

Ein Bild verrät oft mehr, als du beim Aufnehmen bedenkst, auch im Hintergrund.

Ein Bild enthält oft mehr, als du beim Aufnehmen bedenkst. Im Hintergrund stehen Gesichter, Autokennzeichen, ein Bildschirm mit Text oder ein Dokument auf dem Tisch. Sobald eine Person erkennbar ist, handelt es sich um personenbezogene Daten.

Dazu kommen versteckte Angaben in der Datei, die Metadaten: Aufnahmezeit, Gerät und manchmal der genaue Ort. Sie sind für dich unsichtbar, aber auslesbar.

Das Labor hält ein Kamerabild nur im Arbeitsspeicher, solange gerechnet wird, und speichert es nicht. Im Betrieb solltest du dasselbe anstreben: so wenig Bild wie nötig, so kurz wie möglich, möglichst am Gerät verarbeitet. Dies ist ein Überblick und keine Rechtsberatung. Für einen echten Einsatz brauchst du eine Prüfung durch Fachleute.

Das nimmst du mit

  • Ein Bild ist eine Tabelle aus Zahlen: Ein Wert von 0 bis 255 je Pixel und Farbkanal.
  • Auflösung, Belichtung und Rauschen entscheiden, welche Informationen überhaupt beim Modell ankommen.
  • Verkleinern spart Rechenzeit, kostet aber kleine Details. Ein Bild kann mehr verraten als gedacht, darum zählt Datenschutz.

Teste dich

  1. Wie viele Zahlen braucht ein Farbpixel im üblichen Format?
    Antwort

    Drei Zahlen: Rot, Grün und Blau. Je ein Wert von 0 bis 255 für Rot, Grün und Blau. Aus den drei Kanälen mischt der Bildschirm jede Farbe.

  2. Ein Foto im Schnee ist stark überbelichtet. Was gilt für die Pixel im Schnee?
    Antwort

    Viele liegen bei 255, die Unterschiede dort sind verloren. Heller als 255 geht nicht. Was dort ausgebrannt ist, steckt nicht mehr in den Zahlen, und kein Modell holt es zurück.

  3. Eine Kamera liefert 1920 mal 1080 Pixel. Was spricht dafür, das Bild vor der Erkennung zu verkleinern?
    Antwort

    Es spart Übertragungs- und Rechenzeit, kostet aber kleine Details. Weniger Pixel heißt weniger Rechnung. Dafür können kleine Objekte verschwinden. Beides muss man abwägen.

  4. Wie groß ist ein 1000 mal 1000 Pixel großes Farbbild im Rohformat ungefähr?
    Antwort

    3 Megabyte. 1000 mal 1000 mal 3 Byte sind drei Millionen Byte. Das Motiv spielt im Rohformat keine Rolle. Erst die Komprimierung macht es motivabhängig.

  5. Ein Bild enthält im Hintergrund ein Autokennzeichen. Was bedeutet das für den Datenschutz?
    Antwort

    Es kann ein personenbezogenes Datum sein, auch wenn es nicht das Hauptmotiv ist. Ein Kennzeichen lässt sich einer Person zuordnen. Bilder enthalten oft Nebeninformationen, die man beim Aufnehmen nicht bedenkt.

Weiter geht es