Daten und Prognosen

Auffälliges finden

Kurz gesagt: Ein Modell lernt, wie Normal aussieht, und meldet, was davon abweicht. Dafür braucht es keine Fehlerbeispiele. Der Schwellenwert bestimmt das Verhältnis aus Fehlalarmen und übersehenen Fällen.

Wie findet ein Verfahren das Ungewöhnliche, wenn es kaum Beispiele dafür gibt, und wie viele Fehlalarme sind vertretbar?

Die seltsame Abbuchung

Punktwolke
  • Normal: 40 Punkte
  • Auffällig: 7 Punkte
  • Trennung: Kreis um die erste Gruppe

Du kennst dein Normales und siehst, was nicht passt. Ein Modell lernt genauso, wie normal aussieht.

Du blätterst durch deinen Kontoauszug und bleibst bei einer Zeile hängen: 89 Euro an einen Shop, bei dem du nie warst. Du hast kein Handbuch für Betrug gelesen. Du kennst nur sehr gut, was auf deinem Konto normalerweise passiert, und siehst, was nicht dazu passt.

Genau das machen Verfahren zur Anomalieerkennung. Sie lernen, wie „normal“ aussieht, und melden alles, was davon deutlich abweicht. Das Wissen über das Ungewöhnliche steckt nicht in Beispielen, sondern im Gegenteil: im gut verstandenen Normalen.

Was eine Anomalie ist und was nicht

Übersicht
  • Ausreißer (ein Wert weit außerhalb)
  • Im Zusammenhang (35 Grad im Januar)
  • Muster (Reihenfolge stimmt nicht)

Eine Anomalie ist selten und weicht ab, aber sie ist kein Urteil. Sie ist ein Anlass nachzusehen.

Eine Anomalie ist etwas Seltenes, das vom Gewohnten abweicht. Sie ist nicht automatisch ein Fehler. Ein plötzlicher Spitzenverbrauch kann ein Defekt sein, aber auch eine Sonderschicht. Das Verfahren sagt dir nur: „Schau hier hin.“ Was es bedeutet, entscheidet jemand mit Fachwissen.

Man unterscheidet grob drei Arten: den einzelnen Ausreißer (ein Messwert weit außerhalb), die Auffälligkeit im Zusammenhang (35 Grad im Januar) und das auffällige Muster (jeder Wert ist normal, aber die Reihenfolge nicht, wie bei einem unregelmäßigen Herzschlag).

Wie ein Modell Normal lernt

Ablauf
  • Normales sammeln (ungestörter Betrieb)
  • Normal lernen
  • Neuer Wert (wie weit weg?)
  • Abweichung melden

Das Modell sieht nur Normales. Was davon abweicht, meldet es.

Die einfachste Form: Du berechnest Mittelwert und Streuung der Messwerte. Ein neuer Wert, der um ein Mehrfaches der üblichen Streuung vom Mittelwert entfernt liegt, gilt als auffällig. Das geht mit einer Spalte. Für viele Spalten gleichzeitig braucht man Verfahren, die auf andere Weise vorgehen:

  • Abstand zu bekannten Fällen: Wer weit weg von allen normalen Fällen liegt, ist auffällig.
  • Isolation: Auffälliges lässt sich mit wenigen Fragen aus der Menge herauslösen, Normales braucht viele. Das nutzt Bäume, wie auf der Seite Entscheidungsbäume.
  • Rekonstruktion: Ein neuronales Netz lernt, normale Daten zusammenzufassen und wiederherzustellen. Bei Auffälligem misslingt die Wiederherstellung, und der Fehler dabei ist das Warnsignal.

Gute Daten für das Normale

Vergleich
  • Links: Saubere Referenz: Aus gesunden Zeiten, Anlauf, Volllast, Leerlauf, Sommer und Winter
  • Rechts: Verunreinigt: Defekte unbemerkt dabei, Defekt gilt als normal, Kein Alarm später

Was du als normal zeigst, hält das Modell für normal. Stecken schon Defekte drin, lernt es sie mit.

Ein Modell für das Normale ist nur so gut wie das, was du ihm als normal zeigst. Stecken in den Trainingsdaten unbemerkt schon Defekte, lernt es sie als normal. Sammle deshalb Daten aus Zeiten, in denen die Maschine nachweislich gut lief, und nimm alle üblichen Betriebszustände mit: Anlauf, Volllast, Leerlauf, Wochenende, Sommer und Winter.

Was heute normal ist, kann nächstes Jahr anders sein. Eine neue Charge Material oder eine gewechselte Einstellung verschiebt das Normale. Dann melden sich plötzlich viele Alarme, ohne dass etwas kaputt ist. Das Modell muss mit der Zeit nachgeführt werden, siehe Vom Prototyp in den Betrieb.

Warum man Fehler nicht einfach als Klasse lernt

Vergleich
  • Links: Fehler als Klasse: Braucht Fehlerbeispiele, Findet Bekanntes, Sagt, welcher Fehler
  • Rechts: Normal lernen: Braucht Normaldaten, Findet auch Neues, Sagt nur: abweichend

Fehlerbeispiele sind selten, und der nächste Fehler sieht anders aus. Ein Modell fürs Normale findet auch Unbekanntes.

Man könnte versuchen, wie beim überwachten Lernen zwei Klassen zu trainieren: „normal“ und „Fehler“. Das scheitert oft an drei Dingen. Erstens gibt es von Fehlern sehr wenige Beispiele. Zweitens sind die vorhandenen Fehler nur die, die bisher auftraten, ein neuer Fehler sieht anders aus. Drittens muss jemand jeden Fehlerfall von Hand etikettieren.

Ein Modell für „normal“ braucht nur Daten aus dem ungestörten Betrieb und erkennt auch Fehlerarten, die noch niemand gesehen hat. Dafür kann es dir nicht sagen, welcher Fehler vorliegt, nur dass etwas ungewöhnlich ist.

Zwei Wege im Vergleich
Fehler als Klasse lernenNormal lernen und Abweichung melden
BrauchtViele etikettierte FehlerbeispieleViele Daten aus dem Normalbetrieb
FindetBekannte FehlerartenAuch neue, unbekannte Auffälligkeiten
Sagt dirWelcher Fehler es istDass etwas abweicht, und wo
Gut beiHäufigen, gut erfassten FehlernSeltenen Fehlern und neuen Fehlerarten

Schwellenwert und Fehlalarme

Matrix
  • Auffällig, Gemeldet: 9 gefunden
  • Auffällig, Nicht gemeldet: 1 übersehen
  • Normal, Gemeldet: rund 100 Fehlalarme
  • Normal, Nicht gemeldet: rund 9 890 ruhig

Der Schwellenwert tauscht Fehlalarme gegen übersehene Fälle. Bei Seltenem sind auch bei gutem Verfahren die meisten Meldungen falsch.

Das Modell gibt für jeden Fall einen Auffälligkeitswert aus. Ab welchem Wert meldest du? Das legt der Schwellenwert fest. Stellst du ihn niedrig, meldet das System viel, und es gibt viele Fehlalarme. Stellst du ihn hoch, bleiben echte Fälle unentdeckt. Einen richtigen Wert gibt es nicht, nur einen, der zu den Kosten beider Fehler passt.

Eine Rechnung zeigt, wie stark seltene Ereignisse die Lage verschieben. Angenommen, an einem Tag gibt es 10 000 Buchungen. Eine von tausend ist wirklich auffällig, also 10. Das Verfahren findet davon 9 und schlägt bei 1 Prozent der normalen Buchungen an, das sind rund 100. Es kommen etwa 109 Meldungen, aber nur 9 davon sind echt. Das sind grob 8 von 100. Das Verfahren ist gut, und trotzdem sind die meisten Meldungen falsch. Das liegt an der Seltenheit. Mehr dazu auf der Seite Wie gut ist ein Modell?.

Wo das im Betrieb gebraucht wird

Übersicht
  • Fertigung (Vibration, Temperatur)
  • Betrug (Zahlungen)
  • IT-Betrieb (Anmeldungen, Last)
  • Qualität (Teil auf dem Band)

Überall, wo etwas Seltenes zwischen viel Normalem steckt.

  • Fertigung: Vibration, Temperatur oder Stromaufnahme einer Maschine weichen vom Üblichen ab, oft lange bevor etwas ausfällt. Auf einem kleinen Gerät wie dem Jetson lassen sich solche Sensordaten direkt an der Maschine auswerten.
  • Betrugserkennung: ungewöhnliche Zahlungen, Orte oder Uhrzeiten bei einem Konto.
  • IT-Betrieb: plötzlich viele Anmeldeversuche, ungewöhnlicher Datenverkehr, ein Server mit auffälliger Last.
  • Qualität: ein Teil auf dem Band, das anders aussieht als tausend vorherige.

Der Mensch prüft die Verdachtsfälle

Kreislauf
  • Meldung
  • Prüfung
  • Entscheidung
  • Schwelle anpassen
  • Mitte: Verdachtsfall

Eine Meldung ist ein Verdacht. Ein Mensch entscheidet, und seine Entscheidung verbessert die Schwelle.

Ein Verdachtsfall ist kein Urteil. Sinnvoll ist eine Warteschlange: Das System sortiert nach Auffälligkeit, zeigt, welcher Wert abweicht, und eine Person entscheidet. Bei hohen Folgen, etwa einer Kontosperre für einen Menschen, entscheidet nie die Maschine allein.

Aus den Entscheidungen lernst du weiter: Jeder bestätigte Fehlalarm und jeder bestätigte Fund ist ein Etikett. Nach einer Weile kannst du den Schwellenwert besser einstellen oder zusätzlich ein Modell für bekannte Fälle trainieren. Wer prüft, wie schnell und mit welchem Ergebnis, gehört vor dem Start geklärt, siehe KI im Unternehmen einführen.

Das nimmst du mit

  • Ein Modell lernt, wie Normal aussieht, und meldet, was davon abweicht. Dafür braucht es keine Fehlerbeispiele.
  • Der Schwellenwert bestimmt das Verhältnis aus Fehlalarmen und übersehenen Fällen. Bei seltenen Ereignissen sind selbst bei guten Verfahren die meisten Meldungen falsch.
  • Eine Meldung ist ein Verdacht. Ein Mensch prüft und entscheidet, vor allem wenn die Folgen für Personen groß sind.

Teste dich

  1. Warum lernt man Anomalieerkennung meist über das Normale und nicht über Fehlerbeispiele?
    Antwort

    Fehler sind selten und es gibt immer wieder neue Fehlerarten. Von Fehlern gibt es wenige Beispiele, und der nächste Fehler sieht anders aus. Wer das Normale kennt, erkennt auch Unbekanntes.

  2. Du stellst den Schwellenwert niedriger. Was passiert im Normalfall?
    Antwort

    Mehr Fehlalarme, weniger übersehene Fälle. Ein niedriger Schwellenwert macht das System empfindlicher. Es meldet mehr, darunter mehr Falsches, und übersieht weniger.

  3. Von 10 000 Buchungen sind 10 auffällig. Das Verfahren findet 9 und schlägt zusätzlich bei rund 100 normalen an. Was stimmt?
    Antwort

    Die meisten Meldungen sind falsch, obwohl das Verfahren gut ist. Weil auffällige Fälle so selten sind, überwiegen selbst bei 1 Prozent Fehlalarmrate die falschen Meldungen. Darum braucht es einen Prüfschritt.

  4. Die Temperatur einer Maschine steigt beim Anlauf stark an, das ist jedes Mal so. Was bedeutet das für die Erkennung?
    Antwort

    Das Modell muss den Anlauf als eigenen Zusammenhang kennen. Auffälligkeit hängt vom Zusammenhang ab. Ein Wert, der im Dauerbetrieb alarmiert, ist beim Anlauf normal. Das Modell braucht diese Information.

  5. Wer sollte bei einem Verdachtsfall mit großen Folgen für eine Person entscheiden?
    Antwort

    Eine Person, die die Meldung prüft. Ein Verdacht ist kein Urteil. Bei hohen Folgen entscheidet ein Mensch, der die Meldung mit Fachwissen prüft.

Weiter geht es