Was für eine KI als Datum gilt
- Tabelle (Zahlen in Spalten)
- Bild (Helligkeitswerte)
- Text (Wortstücke)
- Ton (Schwingungen)
- Messreihe (Werte in Folge)
Alles, was sich festhalten lässt, kann ein Datum sein. Für das Modell wird es am Ende zu Zahlen.
Fast alles, was sich festhalten lässt, kann ein Datum sein: eine Tabellenzeile, ein Foto, ein Satz, eine Tonaufnahme, die Temperatur einer Maschine im Sekundentakt. Für ein Modell ist all das am Ende eine Menge Zahlen. Ein Foto besteht aus Helligkeitswerten, ein Text aus Wortstücken, ein Ton aus Schwingungen.
Die Daten sind deshalb der eigentliche Rohstoff. Das Verfahren ist oft fertig aus dem Regal. Was ein Projekt unverwechselbar macht und gelingen oder scheitern lässt, sind die Daten, die du hineingibst.
Merkmale und Etiketten
- Merkmale (Baujahr, Kilometer, Zustand)
- Modell (lernt den Zusammenhang)
- Etikett (Preis)
Merkmale gehen hinein, das Etikett ist die gesuchte Antwort, etwa der Preis eines Gebrauchtwagens.
Jedes Beispiel wird durch Merkmale beschrieben. Das sind die Eigenschaften, an denen sich das Modell orientiert. Beim überwachten Lernen kommt das Etikett dazu: die richtige Antwort, die das Modell vorhersagen soll.
Strukturierte und unstrukturierte Daten
- Links: Strukturiert: Spalten mit Namen, Zeilen mit Werten, Einfache Verfahren reichen
- Rechts: Unstrukturiert: Bild, Text, Ton, Information im Inhalt, Meist tiefe Netze
Tabellen haben ein festes Raster. Bilder, Texte und Töne tragen ihre Information im Inhalt.
Strukturierte Daten haben ein festes Raster: Spalten mit Namen, Zeilen mit Werten, wie in einer Tabelle. Unstrukturierte Daten haben keines. Bei Bildern, Texten und Tönen steckt die Information im Inhalt selbst.
Für Tabellen reichen oft einfache Verfahren. Bei Bildern, Sprache und Ton setzt man meist tiefe Netze ein. Sie leiten die Merkmale selbst aus den Rohdaten ab.
| Datenart | Beispiel | Was das Modell sieht | Typische Aufgabe |
|---|---|---|---|
| Tabelle | Bestellungen, Messwerte je Zeile | Zahlen und Kategorien in Spalten | Preis schätzen, Kündigung vorhersagen |
| Bild | Foto eines Werkstücks | Helligkeitswerte je Bildpunkt | Fehler erkennen, Objekte zählen |
| Text | E-Mail, Vertrag | Folge von Wortstücken | Sortieren, zusammenfassen, beantworten |
| Ton | Aufnahme eines Gesprächs | Schwingungen über die Zeit | Sprache in Text umwandeln |
| Messreihe | Temperatur einer Maschine | Werte in zeitlicher Folge | Ausfälle früh erkennen |
Datenqualität: Müll hinein, Müll heraus
- Links: Saubere Daten: Werte stimmen, Keine Lücken, Keine Dubletten, Vielfältig
- Rechts: Schmutzige Daten: Falsche Werte, Lücken, Dubletten, Einseitig
- Urteil: Müll hinein, Müll heraus.
Ein Modell prüft nicht, ob seine Daten stimmen. Es lernt, was da ist, auch Fehler.
Ein Modell kann nicht prüfen, ob seine Daten stimmen. Es lernt, was da ist. Vier Probleme begegnen dir dabei immer wieder:
- Fehler: falsch erfasste Werte, vertauschte Spalten, ein Preis in der falschen Einheit, ein falsches Etikett.
- Lücken: fehlende Werte. Sie sind selten zufällig. Fehlt der Wert immer bei einer bestimmten Gruppe, lernt das Modell diese Gruppe schlechter.
- Dubletten: dasselbe Beispiel mehrfach. Das Modell gewichtet es dadurch zu stark. Steckt dieselbe Zeile in Training und Test, sieht das Testergebnis besser aus, als es ist.
- Verzerrung: Die Daten bilden die Wirklichkeit einseitig ab. Mehr dazu auf der Seite Fairness und Verzerrung.
Wie viel Daten reichen?
- Nur Menge bis Vielfalt, Marker bei 78 Prozent: Was dem Modell mehr nützt
Vielfalt zählt mehr als Menge. Hundert verschiedene Fotos helfen oft mehr als tausend fast gleiche.
Eine feste Zahl gibt es nicht. Sie hängt von der Aufgabe, vom Verfahren und von der Streuung der Fälle ab. Eine brauchbare Faustregel lautet: Vielfalt vor Menge. Tausend fast gleiche Fotos bringen weniger als hundert, die verschiedene Lichtverhältnisse, Blickwinkel und Hintergründe zeigen.
Teste deshalb früh mit wenigen Daten, schau dir die Fehler an und sammle gezielt das, was fehlt. Das ist meist billiger als blind mehr vom Gleichen zu sammeln.
Trainings-, Validierungs- und Testdaten
- Training (lernen)
- Validierung (einstellen)
- Test (Endnote, einmal)
- Training: 70 %
- Validierung: 15 %
- Test: 15 %
Drei Töpfe für drei Zwecke: lernen, einstellen, ehrlich prüfen. Der Test bleibt bis zum Schluss unberührt.
Man teilt die Daten in drei Teile. Mit den Trainingsdaten lernt das Modell. Die Validierungsdaten dienen zum Einstellen und Vergleichen. Die Testdaten bleiben bis zum Schluss unberührt und zeigen, wie gut das Modell bei Neuem ist.
Würde man auf den Trainingsdaten messen, könnte das Modell die Beispiele einfach auswendig gelernt haben. Das nennt man Überanpassung. Erst Daten, die es nie gesehen hat, verraten die Wahrheit.
| Teil | Alltagsbild | Wofür | Wie oft benutzt |
|---|---|---|---|
| Training | Üben mit Lösungen | Das Modell stellt seine Zahlen ein | Sehr oft |
| Validierung | Probeklausur | Einstellungen vergleichen, Abbruch entscheiden | Immer wieder |
| Test | Echte Klausur | Ehrliche Endnote vor dem Einsatz | Einmal |
Datenschutz-Basics
- Zweck (nicht still umwidmen)
- Sparsamkeit (nur das Nötige)
- Kontrolle (wo, wer, wie lange)
Personenbezogene Daten brauchen einen Zweck, sparsame Erhebung und Kontrolle über den Verbleib.
Sobald Daten sich auf eine Person beziehen lassen, sind sie personenbezogen: Namen, Fotos, Stimmen, aber auch Kombinationen wie Wohnort, Alter und Beruf. Dafür gelten Regeln. Drei Grundgedanken helfen bei jedem Projekt:
- Zweck: Du sammelst Daten für einen bestimmten Zweck und nutzt sie nicht still für etwas anderes.
- Sparsamkeit: Du erhebst nur, was du wirklich brauchst. Was du nicht hast, kann nicht verloren gehen.
- Kontrolle: Du weißt, wo die Daten liegen, wer sie sieht und wann sie gelöscht werden.
Datenpflege ist Dauerarbeit
- Qualität prüfen
- Neue Fälle ergänzen
- Altes löschen
- Modell beobachten
- Mitte: Datenpflege
Die Welt ändert sich, die Daten altern. Ohne Pflege wird das Modell schleichend schlechter.
Mit dem ersten Training ist die Arbeit nicht fertig. Die Welt ändert sich: Neue Produkte erscheinen, Kunden verhalten sich anders, ein Sensor wird getauscht. Daten, die gestern gut waren, passen nach einem Jahr womöglich nicht mehr zur Wirklichkeit. Das Modell wird dann schleichend schlechter, ohne dass jemand eine Fehlermeldung sieht.
Darum gehören zu jedem Einsatz klare Zuständigkeiten: Wer prüft die Qualität, wer ergänzt neue Fälle, wer löscht Altes? Eine Datenpflege, die nebenbei läuft, fällt bei Zeitdruck als Erstes weg.