Grundlagen · Lektion

Daten, der Rohstoff

Kurz gesagt: Merkmale sind die Eingabe, das Etikett ist die gesuchte Antwort. Beides kommt aus den Daten. Vielfalt und Qualität zählen mehr als reine Menge.

Ein Modell kann nur lernen, was in seinen Daten steckt. Was zählt als Datum, wie sieht gute Qualität aus, und wie viel braucht man?

Was für eine KI als Datum gilt

Übersicht
  • Tabelle (Zahlen in Spalten)
  • Bild (Helligkeitswerte)
  • Text (Wortstücke)
  • Ton (Schwingungen)
  • Messreihe (Werte in Folge)

Alles, was sich festhalten lässt, kann ein Datum sein. Für das Modell wird es am Ende zu Zahlen.

Fast alles, was sich festhalten lässt, kann ein Datum sein: eine Tabellenzeile, ein Foto, ein Satz, eine Tonaufnahme, die Temperatur einer Maschine im Sekundentakt. Für ein Modell ist all das am Ende eine Menge Zahlen. Ein Foto besteht aus Helligkeitswerten, ein Text aus Wortstücken, ein Ton aus Schwingungen.

Die Daten sind deshalb der eigentliche Rohstoff. Das Verfahren ist oft fertig aus dem Regal. Was ein Projekt unverwechselbar macht und gelingen oder scheitern lässt, sind die Daten, die du hineingibst.

Merkmale und Etiketten

Ablauf
  • Merkmale (Baujahr, Kilometer, Zustand)
  • Modell (lernt den Zusammenhang)
  • Etikett (Preis)

Merkmale gehen hinein, das Etikett ist die gesuchte Antwort, etwa der Preis eines Gebrauchtwagens.

Jedes Beispiel wird durch Merkmale beschrieben. Das sind die Eigenschaften, an denen sich das Modell orientiert. Beim überwachten Lernen kommt das Etikett dazu: die richtige Antwort, die das Modell vorhersagen soll.

Strukturierte und unstrukturierte Daten

Vergleich
  • Links: Strukturiert: Spalten mit Namen, Zeilen mit Werten, Einfache Verfahren reichen
  • Rechts: Unstrukturiert: Bild, Text, Ton, Information im Inhalt, Meist tiefe Netze

Tabellen haben ein festes Raster. Bilder, Texte und Töne tragen ihre Information im Inhalt.

Strukturierte Daten haben ein festes Raster: Spalten mit Namen, Zeilen mit Werten, wie in einer Tabelle. Unstrukturierte Daten haben keines. Bei Bildern, Texten und Tönen steckt die Information im Inhalt selbst.

Für Tabellen reichen oft einfache Verfahren. Bei Bildern, Sprache und Ton setzt man meist tiefe Netze ein. Sie leiten die Merkmale selbst aus den Rohdaten ab.

Datenarten im Vergleich
DatenartBeispielWas das Modell siehtTypische Aufgabe
TabelleBestellungen, Messwerte je ZeileZahlen und Kategorien in SpaltenPreis schätzen, Kündigung vorhersagen
BildFoto eines WerkstücksHelligkeitswerte je BildpunktFehler erkennen, Objekte zählen
TextE-Mail, VertragFolge von WortstückenSortieren, zusammenfassen, beantworten
TonAufnahme eines GesprächsSchwingungen über die ZeitSprache in Text umwandeln
MessreiheTemperatur einer MaschineWerte in zeitlicher FolgeAusfälle früh erkennen

Datenqualität: Müll hinein, Müll heraus

Vergleich
  • Links: Saubere Daten: Werte stimmen, Keine Lücken, Keine Dubletten, Vielfältig
  • Rechts: Schmutzige Daten: Falsche Werte, Lücken, Dubletten, Einseitig
  • Urteil: Müll hinein, Müll heraus.

Ein Modell prüft nicht, ob seine Daten stimmen. Es lernt, was da ist, auch Fehler.

Ein Modell kann nicht prüfen, ob seine Daten stimmen. Es lernt, was da ist. Vier Probleme begegnen dir dabei immer wieder:

  • Fehler: falsch erfasste Werte, vertauschte Spalten, ein Preis in der falschen Einheit, ein falsches Etikett.
  • Lücken: fehlende Werte. Sie sind selten zufällig. Fehlt der Wert immer bei einer bestimmten Gruppe, lernt das Modell diese Gruppe schlechter.
  • Dubletten: dasselbe Beispiel mehrfach. Das Modell gewichtet es dadurch zu stark. Steckt dieselbe Zeile in Training und Test, sieht das Testergebnis besser aus, als es ist.
  • Verzerrung: Die Daten bilden die Wirklichkeit einseitig ab. Mehr dazu auf der Seite Fairness und Verzerrung.

Wie viel Daten reichen?

Skala
  • Nur Menge bis Vielfalt, Marker bei 78 Prozent: Was dem Modell mehr nützt

Vielfalt zählt mehr als Menge. Hundert verschiedene Fotos helfen oft mehr als tausend fast gleiche.

Eine feste Zahl gibt es nicht. Sie hängt von der Aufgabe, vom Verfahren und von der Streuung der Fälle ab. Eine brauchbare Faustregel lautet: Vielfalt vor Menge. Tausend fast gleiche Fotos bringen weniger als hundert, die verschiedene Lichtverhältnisse, Blickwinkel und Hintergründe zeigen.

Teste deshalb früh mit wenigen Daten, schau dir die Fehler an und sammle gezielt das, was fehlt. Das ist meist billiger als blind mehr vom Gleichen zu sammeln.

Trainings-, Validierungs- und Testdaten

Ablauf
  • Training (lernen)
  • Validierung (einstellen)
  • Test (Endnote, einmal)
Balkendiagramm
  • Training: 70 %
  • Validierung: 15 %
  • Test: 15 %

Drei Töpfe für drei Zwecke: lernen, einstellen, ehrlich prüfen. Der Test bleibt bis zum Schluss unberührt.

Man teilt die Daten in drei Teile. Mit den Trainingsdaten lernt das Modell. Die Validierungsdaten dienen zum Einstellen und Vergleichen. Die Testdaten bleiben bis zum Schluss unberührt und zeigen, wie gut das Modell bei Neuem ist.

Würde man auf den Trainingsdaten messen, könnte das Modell die Beispiele einfach auswendig gelernt haben. Das nennt man Überanpassung. Erst Daten, die es nie gesehen hat, verraten die Wahrheit.

Drei Töpfe für drei Zwecke
TeilAlltagsbildWofürWie oft benutzt
TrainingÜben mit LösungenDas Modell stellt seine Zahlen einSehr oft
ValidierungProbeklausurEinstellungen vergleichen, Abbruch entscheidenImmer wieder
TestEchte KlausurEhrliche Endnote vor dem EinsatzEinmal

Datenschutz-Basics

Übersicht
  • Zweck (nicht still umwidmen)
  • Sparsamkeit (nur das Nötige)
  • Kontrolle (wo, wer, wie lange)

Personenbezogene Daten brauchen einen Zweck, sparsame Erhebung und Kontrolle über den Verbleib.

Sobald Daten sich auf eine Person beziehen lassen, sind sie personenbezogen: Namen, Fotos, Stimmen, aber auch Kombinationen wie Wohnort, Alter und Beruf. Dafür gelten Regeln. Drei Grundgedanken helfen bei jedem Projekt:

  • Zweck: Du sammelst Daten für einen bestimmten Zweck und nutzt sie nicht still für etwas anderes.
  • Sparsamkeit: Du erhebst nur, was du wirklich brauchst. Was du nicht hast, kann nicht verloren gehen.
  • Kontrolle: Du weißt, wo die Daten liegen, wer sie sieht und wann sie gelöscht werden.

Datenpflege ist Dauerarbeit

Kreislauf
  • Qualität prüfen
  • Neue Fälle ergänzen
  • Altes löschen
  • Modell beobachten
  • Mitte: Datenpflege

Die Welt ändert sich, die Daten altern. Ohne Pflege wird das Modell schleichend schlechter.

Mit dem ersten Training ist die Arbeit nicht fertig. Die Welt ändert sich: Neue Produkte erscheinen, Kunden verhalten sich anders, ein Sensor wird getauscht. Daten, die gestern gut waren, passen nach einem Jahr womöglich nicht mehr zur Wirklichkeit. Das Modell wird dann schleichend schlechter, ohne dass jemand eine Fehlermeldung sieht.

Darum gehören zu jedem Einsatz klare Zuständigkeiten: Wer prüft die Qualität, wer ergänzt neue Fälle, wer löscht Altes? Eine Datenpflege, die nebenbei läuft, fällt bei Zeitdruck als Erstes weg.

Das nimmst du mit

  • Merkmale sind die Eingabe, das Etikett ist die gesuchte Antwort. Beides kommt aus den Daten.
  • Vielfalt und Qualität zählen mehr als reine Menge. Prüfen darfst du nur mit Daten, die das Modell nie gesehen hat.
  • Personenbezogene Daten brauchen einen Zweck und Sparsamkeit, und Datenpflege hört nie auf.

Teste dich

  1. Was ist bei einem Gebrauchtwagen-Inserat das Etikett?
    Antwort

    Der Verkaufspreis, den das Modell vorhersagen soll. Das Etikett ist die gesuchte Antwort. Kilometerstand, Baujahr und Zustand sind Merkmale, aus denen das Modell den Preis ableitet.

  2. Ein Team hat 5000 fast gleiche Fotos und 200 sehr verschiedene. Was nützt dem Modell voraussichtlich mehr?
    Antwort

    Die 200 verschiedenen, weil sie mehr Fälle abdecken. Vielfalt vor Menge: Viele fast gleiche Beispiele bringen wenig Neues. Entscheidend ist, dass die Fälle im Einsatz vorkommen.

  3. Warum darf man ein Modell nicht mit seinen Trainingsdaten bewerten?
    Antwort

    Weil es sie auswendig gelernt haben könnte und das Ergebnis zu gut aussieht. Auswendiglernen nennt man Überanpassung. Ehrlich wird die Prüfung nur mit Daten, die das Modell vorher nie gesehen hat.

  4. In deinen Daten fehlen Werte fast nur bei einer bestimmten Kundengruppe. Was ist das Risiko?
    Antwort

    Das Modell lernt diese Gruppe schlechter und behandelt sie womöglich schlechter. Lücken sind selten zufällig. Fehlt etwas systematisch bei einer Gruppe, ist das Modell dort ungenauer.

  5. Du hast Kundendaten für Rechnungen erhoben und willst sie jetzt für Werbung nutzen. Was gilt als Faustregel?
    Antwort

    Der Zweck ändert sich, also musst du neu prüfen, ob das zulässig ist. Daten werden für einen Zweck erhoben. Eine neue Nutzung braucht eine eigene Prüfung, im Zweifel Rat von der Datenschutzstelle.

Weiter geht es