Grundlagen · Lektion

Fairness, Verzerrung und Verantwortung

Kurz gesagt: Ein Modell wiederholt Muster aus seinen Daten, auch unfaire. Verzerrung entsteht durch Daten, Auswahl, Etiketten und Rückkopplung. Ein Merkmal wegzulassen reicht nicht, denn Stellvertreter schleichen sich ein.

Ein Modell wiederholt, was in seinen Daten steckt, auch das Unfaire. Wie entsteht das, wie erkennst du es, und wer trägt die Verantwortung?

Was Verzerrung bedeutet

Ablauf
  • Einseitige Daten (manche fehlen)
  • Modell (lernt das Muster)
  • Schiefe Entscheidung (trifft Gruppen ungleich)

Ein Modell kann Muster nicht in erwünscht und unfair trennen. Einseitige Daten ergeben schiefe Entscheidungen.

Ein Modell lernt Muster aus Beispielen. Es kann nicht unterscheiden, welche Muster erwünscht und welche unfair sind. Bilden die Beispiele die Wirklichkeit einseitig ab oder haben Menschen früher unfair entschieden, übernimmt das Modell das. Diese Schlagseite heißt Verzerrung. Im Englischen sagt man Bias.

Wichtig: Ein Modell hat keine Absicht. Das Problem liegt in den Daten, in der Aufgabe und im Einsatz, also an Stellen, die Menschen gestalten.

Vier Wege, auf denen Verzerrung entsteht

Übersicht
  • Daten (Gruppen ungleich vertreten)
  • Auswahl (manche ausgeschlossen)
  • Etiketten (Urteile mit Vorurteil)
  • Rückkopplung (Ausgabe prägt neue Daten)

Meist wirken mehrere Quellen zusammen: Daten, Auswahl, Etiketten und Rückkopplung.

Die Quellen lassen sich grob in vier Gruppen sortieren. Meist wirken mehrere zusammen.

Quellen von Verzerrung
QuelleWas passiertBeispiel
DatenGruppen sind unterschiedlich gut vertreten oder erfasstWenige Fotos älterer Menschen im Trainingsbestand
AuswahlDie Stichprobe entsteht auf einem Weg, der manche ausschließtBefragung nur online
EtikettenDie „richtigen“ Antworten stammen von Menschen mit Vorurteilen oder FehlernFrühere Einstellungsentscheidungen als Maßstab
RückkopplungDie Ausgabe des Modells beeinflusst, welche Daten später entstehenMehr Kontrollen in einem Viertel führen zu mehr Funden dort, was wieder mehr Kontrollen auslöst

Beispiel Bewerberauswahl

Kreislauf
  • Frühere Einstellungen
  • Als Etikett
  • Modell lernt
  • Neue Vorauswahl
  • Mitte: Altes Muster

Lernt ein Modell aus früheren Einstellungen, schreibt es deren Muster fort und das tausendfach.

Ein Unternehmen lässt ein Modell Bewerbungen vorsortieren. Als Etikett dienen frühere Einstellungen: „eingeladen“ oder „abgelehnt“. Waren frühere Entscheidungen einseitig, lernt das Modell diese Einseitigkeit. Es erkennt Muster in Lebensläufen, die mit früheren Auswahlen zusammenhingen, etwa bestimmte Hochschulen, Berufswege oder Lücken im Lebenslauf.

Das Modell nimmt dann Menschen aus dem Rennen, ohne dass jemand es so wollte. Weil es schnell und in Menge arbeitet, wiederholt sich der Fehler tausendfach.

Beispiel Kreditscoring und Stellvertretermerkmale

Netz
  • Herkunft (weggelassen)
  • Postleitzahl
  • Vorname
  • Score
  • Herkunft (weggelassen) verbunden mit Postleitzahl (hängt zusammen)
  • Vorname verbunden mit Herkunft (weggelassen) (verrät)
  • Postleitzahl verbunden mit Score (fließt ein)
  • Vorname verbunden mit Score (fließt ein)

Wer ein sensibles Merkmal weglässt, hat es nicht los. Stellvertreter wie die Postleitzahl bringen es zurück.

Auch wenn man ein sensibles Merkmal wie Herkunft oder Geschlecht weglässt, kann ein Modell es über Stellvertreter rekonstruieren. Postleitzahl, Vorname oder Einkaufsverhalten hängen oft mit solchen Merkmalen zusammen. Das Modell nutzt sie, weil sie in den Daten Vorhersagekraft haben.

Das Weglassen eines Merkmals genügt also nicht. Man muss die Ergebnisse nach Gruppen ansehen und fragen, ob einzelne Gruppen systematisch schlechter wegkommen.

Beispiel Gesichtserkennung

Balkendiagramm
  • Gruppe A: 1 %
  • Gruppe B: 2 %
  • Gruppe C: 9 %

Eine hohe Gesamtgenauigkeit kann verdecken, dass eine kleine Gruppe oft falsch erkannt wird.

Untersuchungen zu Gesichtserkennung haben gezeigt, dass die Fehlerquote zwischen Personengruppen unterschiedlich ausfallen kann, zum Beispiel nach Hautfarbe und Geschlecht. Eine häufige Ursache sind Trainingsdaten, in denen manche Gruppen deutlich seltener vorkommen.

Eine Gesamtgenauigkeit verdeckt das. Liegt sie hoch, aber eine kleine Gruppe wird oft falsch erkannt, merkt es nur, wer die Ergebnisse getrennt nach Gruppen auswertet. Hat eine Fehlentscheidung Folgen, etwa eine falsche Verdächtigung, trifft sie diese Gruppe überproportional.

Erklärbarkeit und Transparenz

Skala
  • Geringe Folgen bis Große Folgen, Marker bei 85 Prozent: Mehr Begründung nötig

Je folgenreicher eine Entscheidung, desto mehr Begründung braucht sie.

Wer von einer Entscheidung betroffen ist, will wissen, warum. Bei Netzen ist das schwer, weil sie Blackboxes sind. Die Anforderung bleibt trotzdem bestehen: Je folgenreicher die Entscheidung, desto mehr Begründung braucht sie.

Mehrere Hebel helfen. Bei wichtigen Entscheidungen kann man einfachere, besser erklärbare Verfahren wählen. Man kann festhalten, welche Daten und welche Version eines Modells entschieden haben. Und man kann Betroffenen sagen, dass ein Modell beteiligt war und an wen sie sich wenden können.

Verantwortung und menschliche Entscheidung

Schichten
  • Mensch mit Befugnis (kann überstimmen)
  • Organisation (trägt die Verantwortung)
  • Modell (bereitet nur vor)

Ein Modell kann nicht haften. Es bereitet vor, Menschen und Organisationen verantworten.

Ein Modell kann nicht haften. Verantwortlich sind Menschen und Organisationen: die, die es einsetzen, und die, die es liefern. Wer ein Modell in einen Ablauf einbaut, trägt Verantwortung für die Folgen, auch wenn er das Modell nicht selbst gebaut hat.

Deshalb gehört vor den Einsatz die Klärung: Wer wird informiert, wenn etwas schiefgeht? Wer darf ein Ergebnis überstimmen? Wo wird festgehalten, was entschieden wurde? Ohne diese Antworten bleibt bei einem Fehler unklar, wer ihn beheben muss.

Hat eine Entscheidung Folgen für Menschen, etwa bei Einstellung, Kredit, Leistung oder Überwachung, sollte ein Modell vorbereiten und nicht allein entscheiden. Die Person, die es überstimmen kann, braucht dazu Zeit, Wissen und die Erlaubnis. Sonst drückt sie nur auf „Bestätigen“. Für bestimmte Entscheidungen verlangt das Recht sogar menschliche Beteiligung. Mehr dazu auf der Seite Recht und Regeln.

Prüfen vor dem Einsatz: eine Fragenliste

Übersicht
  • Folgen (wer trägt den Fehler?)
  • Datenherkunft (wer fehlt?)
  • Gruppen (Unterschiede?)
  • Stellvertreter (versteckte Merkmale?)
  • Einspruch (widersprechen?)
  • Überstimmen (wirklich möglich?)
  • Beobachtung (wer greift ein?)

Sieben Fragen klären Folgen, Datenherkunft, Gruppenunterschiede, Einspruch und Aufsicht.

Diese Fragen helfen vor jedem Einsatz, besonders bei Entscheidungen über Menschen:

  • Wofür genau wird das Modell eingesetzt, und welche Folgen hat ein Fehler für wen?
  • Woher stammen die Daten, und wer fehlt darin?
  • Wurden die Ergebnisse getrennt nach Gruppen ausgewertet, und gibt es auffällige Unterschiede?
  • Welche Stellvertretermerkmale könnten sensible Merkmale ersetzen?
  • Können Betroffene erfahren, dass ein Modell beteiligt war, und Einspruch einlegen?
  • Wer entscheidet im Zweifel, und kann diese Person das Ergebnis wirklich überstimmen?
  • Wie wird das Modell nach dem Start beobachtet, und wer greift bei Auffälligkeiten ein?

Das nimmst du mit

  • Ein Modell wiederholt Muster aus seinen Daten, auch unfaire. Verzerrung entsteht durch Daten, Auswahl, Etiketten und Rückkopplung.
  • Ein Merkmal wegzulassen reicht nicht, denn Stellvertreter schleichen sich ein. Ergebnisse gehören nach Gruppen ausgewertet.
  • Menschen und Organisationen tragen die Verantwortung. Bei Folgen für Menschen entscheidet ein Mensch, der wirklich überstimmen kann.

Teste dich

  1. Ein Modell sortiert Bewerbungen vor und lernt aus früheren Einstellungen. Was ist das Risiko?
    Antwort

    Es übernimmt Einseitigkeiten früherer Entscheidungen. Die früheren Entscheidungen sind das Etikett. Waren sie einseitig, lernt das Modell diese Einseitigkeit mit.

  2. Ein Kreditmodell bekommt kein Geschlecht und keine Herkunft, benachteiligt aber trotzdem eine Gruppe. Warum kann das passieren?
    Antwort

    Weil Stellvertretermerkmale wie die Postleitzahl die Information mittragen. Merkmale hängen oft zusammen. Das Modell nutzt, was Vorhersagekraft hat, auch wenn das ein Stellvertreter ist.

  3. Ein Gesichtserkenner hat insgesamt 98 Prozent Genauigkeit. Was lässt sich daraus sicher sagen?
    Antwort

    Nichts über einzelne Gruppen, dafür muss man getrennt auswerten. Eine Gesamtzahl kann Unterschiede zwischen Gruppen verdecken. Erst die getrennte Auswertung zeigt sie.

  4. Was meint Rückkopplung bei Verzerrung?
    Antwort

    Die Ausgabe des Modells beeinflusst, welche Daten später entstehen, und verstärkt so das Muster. Beispiel: Mehr Kontrollen an einem Ort bringen dort mehr Funde, die wieder mehr Kontrollen begründen. Das Muster schaukelt sich auf.

  5. Wer ist für Fehler eines eingesetzten Modells verantwortlich?
    Antwort

    Die Menschen und Organisationen, die es einsetzen und liefern. Ein Modell kann nicht haften. Die Zuständigkeit muss vor dem Einsatz geklärt sein.

Weiter geht es