Warum „95 Prozent richtig“ täuschen kann
- 99 % richtig, ohne je Alarm
- 0 von 10 Auffällige gefunden
- 1000 Fälle geprüft
Bei seltenen Ereignissen ist ein Modell, das nie Alarm schlägt, fast immer richtig und trotzdem wertlos.
Die Genauigkeit gibt den Anteil richtiger Antworten an. Sie ist leicht zu verstehen, aber sie wird unbrauchbar, wenn ein Ereignis selten ist. Ein Modell, das immer „alles in Ordnung“ sagt, liegt dann fast immer richtig und ist trotzdem wertlos.
Rechenbeispiel: Von 1000 geprüften Fällen sind 10 echt auffällig. Ein Modell, das nie Alarm schlägt, hat 990 von 1000 richtig, also 99 Prozent. Gefunden hat es nichts.
Die Konfusionsmatrix: vier Fälle
- Spam, Spam: Treffer
- Spam, Kein Spam: Übersehen
- Kein Spam, Spam: Fehlalarm
- Kein Spam, Kein Spam: Richtig durch
Zwei Fragen, vier Felder: Was war es wirklich, und was sagte das Modell? Hier am Spamfilter.
Wer wissen will, wie ein Modell wirklich liegt, zählt die Fälle nach zwei Fragen: Was war es wirklich, und was hat das Modell gesagt? Daraus entstehen vier Felder. Das ist die Konfusionsmatrix.
| Fall | Wirklich | Modell sagt | Bedeutung |
|---|---|---|---|
| Richtig positiv | Spam | Spam | Treffer: Spam wurde aussortiert |
| Falsch positiv | Kein Spam | Spam | Fehlalarm: eine gute Mail ist im Spamordner |
| Falsch negativ | Spam | Kein Spam | Übersehen: Spam landet im Posteingang |
| Richtig negativ | Kein Spam | Kein Spam | Treffer: gute Mail kommt an |
Durchgerechnet: ein Spamfilter
- 97,2 % Genauigkeit
- 18 gute Mails aussortiert
- 10 Spammails übersehen
97,2 Prozent klingen hervorragend. Doch 18 gute Mails sind weg und 10 Spammails kamen durch.
Beispielzahlen, die nur zum Rechnen dienen: Ein Filter prüft 1000 Mails. 100 sind Spam, 900 sind gute Mails. Er erwischt 90 der Spammails (richtig positiv) und übersieht 10 (falsch negativ). Von den guten Mails stuft er 18 fälschlich als Spam ein (falsch positiv), 882 gehen richtig durch (richtig negativ).
Die Genauigkeit beträgt (90 + 882) von 1000, also 97,2 Prozent. Das klingt hervorragend. Die Matrix zeigt aber, dass 18 gute Mails weggefiltert wurden und 10 Spammails durchkamen.
Precision und Recall in Worten
- Genauigkeit: 97,2 %
- Precision: 83,3 %
- Recall: 90 %
Precision: Wie viele Alarme stimmen? Recall: Wie viele echte Fälle werden gefunden?
Zwei Fragen lassen sich getrennt beantworten.
- Precision: Wenn das Modell anschlägt, wie oft stimmt das? Im Beispiel 90 von 108 Alarmen, also gut 83 Prozent. Niedrig bedeutet viele Fehlalarme.
- Recall: Von allen echten Fällen, wie viele findet das Modell? Im Beispiel 90 von 100, also 90 Prozent. Niedrig bedeutet, dass viel übersehen wird.
| Kennzahl | Frage in Worten | Im Spamfilter-Beispiel |
|---|---|---|
| Genauigkeit | Wie oft liegt das Modell insgesamt richtig? | 97,2 Prozent |
| Precision | Wie viele Alarme stimmen? | gut 83 Prozent |
| Recall | Wie viele echte Fälle werden gefunden? | 90 Prozent |
Die Schwelle: Fehlalarme gegen Übersehenes
- Niedrige Schwelle bis Hohe Schwelle, Marker bei 30 Prozent: Mehr Funde, mehr Fehlalarme
Eine niedrige Schwelle findet mehr, schlägt aber öfter grundlos an. Was ein Fehler kostet, entscheidet.
Viele Modelle geben keine feste Antwort, sondern einen Wert, etwa „Schimmel zu 70 Prozent wahrscheinlich“. Wo du die Grenze für „Alarm“ ziehst, ist die Schwelle. Senkst du sie, schlägt das Modell öfter an: Recall steigt, Precision sinkt. Hebst du sie, ist es umgekehrt.
Es gibt keine allgemein richtige Schwelle. Sie hängt davon ab, was ein Fehler kostet.
Nur mit ungesehenen Daten testen
- Links: Auf Trainingsdaten: Modell kennt sie, Zu gutes Ergebnis
- Rechts: Auf ungesehenen Daten: Ehrliche Note, Ähnlich dem Einsatz
Kennzahlen zählen nur auf Daten, die das Modell nie gesehen hat und die dem echten Einsatz ähneln.
Jede Kennzahl sagt nur etwas, wenn sie auf Daten berechnet wird, die das Modell nie gesehen hat. Auf Trainingsdaten sehen fast alle Modelle gut aus, weil sie die Beispiele kennen. Darum bleiben Testdaten bis zum Schluss unberührt (siehe Daten, der Rohstoff).
Achte außerdem darauf, dass die Testdaten dem echten Einsatz ähneln. Ein Modell, das mit Fotos aus dem Labor getestet wurde, kann in der Halle mit schlechtem Licht deutlich schlechter sein.
Der Vergleich mit dem heutigen Ablauf
- Zwei Menschen heute: 85 %
- Einfacher Zähler: 88 %
- Modell: 90 %
Eine Kennzahl nützt erst im Vergleich mit der Baseline: dem heutigen Ablauf oder einem einfachen Verfahren.
Eine Zahl wie „90 Prozent Recall“ ist erst nützlich, wenn du weißt, was ohne Modell passiert. Diese Vergleichsmarke heißt Baseline. Das kann ein einfaches Verfahren sein, eine feste Regel oder der heutige Ablauf mit Menschen.
Prüfen zwei Menschen heute 85 von 100 Fällen richtig, ist ein Modell mit 90 interessant. Schafft ein einfacher Zähler schon 88, lohnt der Aufwand womöglich nicht. Miss den Vergleich auf denselben Daten und mit denselben Kennzahlen.
Der Mensch in der Schleife
- Modell prüft
- Mensch klärt
- Korrektur
- Neue Trainingsdaten
- Mitte: Mensch in der Schleife
Das Modell erledigt klare Fälle, unklare gehen an eine Person. Ihre Korrekturen werden neue Trainingsdaten.
Kein Modell trifft immer. Deshalb entscheidet man, was mit unsicheren Fällen passiert. Ein verbreitetes Muster: Das Modell erledigt klare Fälle selbst, unklare gehen an eine Person (Mensch in der Schleife). Die Personen werten die Ergebnisse aus, und aus ihren Korrekturen entstehen neue Trainingsdaten.
Die Gesamtleistung des Ablaufs zählt, nicht nur die des Modells: Wie viele Fälle gehen an Menschen, wie viele Fehler schlüpfen durch, und wie schnell fällt Schlechtes auf?