Was Verzerrung bedeutet
- Einseitige Daten (manche fehlen)
- Modell (lernt das Muster)
- Schiefe Entscheidung (trifft Gruppen ungleich)
Ein Modell kann Muster nicht in erwünscht und unfair trennen. Einseitige Daten ergeben schiefe Entscheidungen.
Ein Modell lernt Muster aus Beispielen. Es kann nicht unterscheiden, welche Muster erwünscht und welche unfair sind. Bilden die Beispiele die Wirklichkeit einseitig ab oder haben Menschen früher unfair entschieden, übernimmt das Modell das. Diese Schlagseite heißt Verzerrung. Im Englischen sagt man Bias.
Wichtig: Ein Modell hat keine Absicht. Das Problem liegt in den Daten, in der Aufgabe und im Einsatz, also an Stellen, die Menschen gestalten.
Vier Wege, auf denen Verzerrung entsteht
- Daten (Gruppen ungleich vertreten)
- Auswahl (manche ausgeschlossen)
- Etiketten (Urteile mit Vorurteil)
- Rückkopplung (Ausgabe prägt neue Daten)
Meist wirken mehrere Quellen zusammen: Daten, Auswahl, Etiketten und Rückkopplung.
Die Quellen lassen sich grob in vier Gruppen sortieren. Meist wirken mehrere zusammen.
| Quelle | Was passiert | Beispiel |
|---|---|---|
| Daten | Gruppen sind unterschiedlich gut vertreten oder erfasst | Wenige Fotos älterer Menschen im Trainingsbestand |
| Auswahl | Die Stichprobe entsteht auf einem Weg, der manche ausschließt | Befragung nur online |
| Etiketten | Die „richtigen“ Antworten stammen von Menschen mit Vorurteilen oder Fehlern | Frühere Einstellungsentscheidungen als Maßstab |
| Rückkopplung | Die Ausgabe des Modells beeinflusst, welche Daten später entstehen | Mehr Kontrollen in einem Viertel führen zu mehr Funden dort, was wieder mehr Kontrollen auslöst |
Beispiel Bewerberauswahl
- Frühere Einstellungen
- Als Etikett
- Modell lernt
- Neue Vorauswahl
- Mitte: Altes Muster
Lernt ein Modell aus früheren Einstellungen, schreibt es deren Muster fort und das tausendfach.
Ein Unternehmen lässt ein Modell Bewerbungen vorsortieren. Als Etikett dienen frühere Einstellungen: „eingeladen“ oder „abgelehnt“. Waren frühere Entscheidungen einseitig, lernt das Modell diese Einseitigkeit. Es erkennt Muster in Lebensläufen, die mit früheren Auswahlen zusammenhingen, etwa bestimmte Hochschulen, Berufswege oder Lücken im Lebenslauf.
Das Modell nimmt dann Menschen aus dem Rennen, ohne dass jemand es so wollte. Weil es schnell und in Menge arbeitet, wiederholt sich der Fehler tausendfach.
Beispiel Kreditscoring und Stellvertretermerkmale
- Herkunft (weggelassen)
- Postleitzahl
- Vorname
- Score
- Herkunft (weggelassen) verbunden mit Postleitzahl (hängt zusammen)
- Vorname verbunden mit Herkunft (weggelassen) (verrät)
- Postleitzahl verbunden mit Score (fließt ein)
- Vorname verbunden mit Score (fließt ein)
Wer ein sensibles Merkmal weglässt, hat es nicht los. Stellvertreter wie die Postleitzahl bringen es zurück.
Auch wenn man ein sensibles Merkmal wie Herkunft oder Geschlecht weglässt, kann ein Modell es über Stellvertreter rekonstruieren. Postleitzahl, Vorname oder Einkaufsverhalten hängen oft mit solchen Merkmalen zusammen. Das Modell nutzt sie, weil sie in den Daten Vorhersagekraft haben.
Das Weglassen eines Merkmals genügt also nicht. Man muss die Ergebnisse nach Gruppen ansehen und fragen, ob einzelne Gruppen systematisch schlechter wegkommen.
Beispiel Gesichtserkennung
- Gruppe A: 1 %
- Gruppe B: 2 %
- Gruppe C: 9 %
Eine hohe Gesamtgenauigkeit kann verdecken, dass eine kleine Gruppe oft falsch erkannt wird.
Untersuchungen zu Gesichtserkennung haben gezeigt, dass die Fehlerquote zwischen Personengruppen unterschiedlich ausfallen kann, zum Beispiel nach Hautfarbe und Geschlecht. Eine häufige Ursache sind Trainingsdaten, in denen manche Gruppen deutlich seltener vorkommen.
Eine Gesamtgenauigkeit verdeckt das. Liegt sie hoch, aber eine kleine Gruppe wird oft falsch erkannt, merkt es nur, wer die Ergebnisse getrennt nach Gruppen auswertet. Hat eine Fehlentscheidung Folgen, etwa eine falsche Verdächtigung, trifft sie diese Gruppe überproportional.
Erklärbarkeit und Transparenz
- Geringe Folgen bis Große Folgen, Marker bei 85 Prozent: Mehr Begründung nötig
Je folgenreicher eine Entscheidung, desto mehr Begründung braucht sie.
Wer von einer Entscheidung betroffen ist, will wissen, warum. Bei Netzen ist das schwer, weil sie Blackboxes sind. Die Anforderung bleibt trotzdem bestehen: Je folgenreicher die Entscheidung, desto mehr Begründung braucht sie.
Mehrere Hebel helfen. Bei wichtigen Entscheidungen kann man einfachere, besser erklärbare Verfahren wählen. Man kann festhalten, welche Daten und welche Version eines Modells entschieden haben. Und man kann Betroffenen sagen, dass ein Modell beteiligt war und an wen sie sich wenden können.
Verantwortung und menschliche Entscheidung
- Mensch mit Befugnis (kann überstimmen)
- Organisation (trägt die Verantwortung)
- Modell (bereitet nur vor)
Ein Modell kann nicht haften. Es bereitet vor, Menschen und Organisationen verantworten.
Ein Modell kann nicht haften. Verantwortlich sind Menschen und Organisationen: die, die es einsetzen, und die, die es liefern. Wer ein Modell in einen Ablauf einbaut, trägt Verantwortung für die Folgen, auch wenn er das Modell nicht selbst gebaut hat.
Deshalb gehört vor den Einsatz die Klärung: Wer wird informiert, wenn etwas schiefgeht? Wer darf ein Ergebnis überstimmen? Wo wird festgehalten, was entschieden wurde? Ohne diese Antworten bleibt bei einem Fehler unklar, wer ihn beheben muss.
Hat eine Entscheidung Folgen für Menschen, etwa bei Einstellung, Kredit, Leistung oder Überwachung, sollte ein Modell vorbereiten und nicht allein entscheiden. Die Person, die es überstimmen kann, braucht dazu Zeit, Wissen und die Erlaubnis. Sonst drückt sie nur auf „Bestätigen“. Für bestimmte Entscheidungen verlangt das Recht sogar menschliche Beteiligung. Mehr dazu auf der Seite Recht und Regeln.
Prüfen vor dem Einsatz: eine Fragenliste
- Folgen (wer trägt den Fehler?)
- Datenherkunft (wer fehlt?)
- Gruppen (Unterschiede?)
- Stellvertreter (versteckte Merkmale?)
- Einspruch (widersprechen?)
- Überstimmen (wirklich möglich?)
- Beobachtung (wer greift ein?)
Sieben Fragen klären Folgen, Datenherkunft, Gruppenunterschiede, Einspruch und Aufsicht.
Diese Fragen helfen vor jedem Einsatz, besonders bei Entscheidungen über Menschen:
- Wofür genau wird das Modell eingesetzt, und welche Folgen hat ein Fehler für wen?
- Woher stammen die Daten, und wer fehlt darin?
- Wurden die Ergebnisse getrennt nach Gruppen ausgewertet, und gibt es auffällige Unterschiede?
- Welche Stellvertretermerkmale könnten sensible Merkmale ersetzen?
- Können Betroffene erfahren, dass ein Modell beteiligt war, und Einspruch einlegen?
- Wer entscheidet im Zweifel, und kann diese Person das Ergebnis wirklich überstimmen?
- Wie wird das Modell nach dem Start beobachtet, und wer greift bei Auffälligkeiten ein?