Das Ratespiel mit den Ja-Nein-Fragen
- Ist es ein Tier?
- Vier Beine?
- Pflanze
- Hund
- Vogel
- Ist es ein Tier? verbunden mit Vier Beine? (ja)
- Ist es ein Tier? verbunden mit Pflanze (nein)
- Vier Beine? verbunden mit Hund (ja)
- Vier Beine? verbunden mit Vogel (nein)
Ein Entscheidungsbaum ist eine Kette von Ja-Nein-Fragen. Am Ende jedes Wegs steht eine Antwort.
Du kennst das Spiel: Jemand denkt sich ein Ding aus, du darfst nur Fragen stellen, die man mit Ja oder Nein beantwortet. „Ist es ein Tier?“ „Hat es vier Beine?“ „Lebt es im Wasser?“ Mit wenigen klugen Fragen landest du bei der Lösung.
Genau so arbeitet ein Entscheidungsbaum. Er ist eine Kette von Ja-Nein-Fragen an die Daten, und am Ende steht eine Antwort. Er gehört zum maschinellen Lernen, weil die Fragen nicht von Hand geschrieben, sondern aus Beispielen gefunden werden.
Ein Baum ist ein Fragebogen
- Zeile (ein Fall)
- Spalte (ein Merkmal)
- Frage (teilt die Fälle)
- Blatt (das Ergebnis)
Jede Zeile der Tabelle ist ein Fall, jede Spalte ein Merkmal. Der Baum fragt nach Merkmalen und endet in einem Blatt.
Stell dir vor, eine Bank prüft einen Kreditantrag. Ein Baum könnte so aussehen: Gibt es Zahlungsrückstände? Wenn ja, prüfe die Höhe der Rate im Verhältnis zum Einkommen. Wenn nein, prüfe, wie lange das Konto besteht. Jede Frage ist ein Verzweigungspunkt, jede Antwort ein Ast, und das Ende ist ein Blatt mit dem Ergebnis, etwa „Antrag annehmen“.
Dieselbe Form passt zu vielen Aufgaben mit Tabellen: Bewerbungen vorsortieren, Reparaturaufträge priorisieren, Kundinnen und Kunden einer Gruppe zuordnen. Jede Zeile der Tabelle ist ein Fall, jede Spalte ein Merkmal, also eine Eigenschaft des Falls, nach der der Baum fragen darf.
Wie ein Baum aus Daten lernt: die beste Frage zuerst
- Links: Zahlungsrückstände?: 4 mit Rückstand: 1 zurückgezahlt, 6 ohne: 5 zurückgezahlt, Gruppen einheitlicher
- Rechts: Hausnummer gerade?: Mischung wie vorher, Trennt nichts, Wird verworfen
- Urteil: Beispiel: zehn Kreditanträge, sechs zurückgezahlt.
Der Baum wählt die Frage, nach der die Gruppen am einheitlichsten werden. Eine Frage, die nichts trennt, fliegt raus.
Beim Lernen geht der Baum alle möglichen Fragen durch und prüft, welche die Fälle am saubersten trennt. „Sauber“ heißt: In jeder der beiden Gruppen sollen möglichst gleichartige Fälle landen. Dieses Maß nennt man Reinheit. Dann macht er mit jeder Gruppe dasselbe noch einmal, bis die Gruppen rein genug sind oder eine Grenze erreicht ist.
Ein kleines Rechenbeispiel zeigt das: Von zehn Kreditanträgen wurden sechs zurückgezahlt und vier nicht. Die Frage „Gibt es Zahlungsrückstände?“ teilt sie in vier Anträge mit Rückständen (einer zurückgezahlt, drei nicht) und sechs ohne (fünf zurückgezahlt, einer nicht). Beide Gruppen sind deutlich einheitlicher als die Ausgangsmenge. Die Frage „Ist die Hausnummer gerade?“ ergäbe zwei Gruppen mit je ungefähr demselben Mischungsverhältnis wie vorher. Sie trennt nichts und wird verworfen.
Warum Bäume beliebt sind: man kann sie lesen
- Rückstände? (ja)
- Rate zu hoch? (ja)
- Antrag ablehnen (Begründung: diese zwei Fragen)
Zu jeder Entscheidung gibt es einen Weg aus wenigen Fragen. Den kannst du nachlesen und begründen.
Der größte Vorteil: Du kannst jeden Entscheidungsweg nachlesen. Wenn der Baum einen Antrag ablehnt, siehst du die drei Fragen, die dazu geführt haben. Bei einem neuronalen Netz mit Millionen Zahlen geht das nicht so einfach.
Dazu kommt: Bäume brauchen wenig Vorbereitung. Sie kommen mit Zahlen wie Alter und mit Kategorien wie „Branche“ zurecht, und sie lernen auf einem normalen Rechner in Sekunden. Für Fachabteilungen, die ihre Entscheidungen begründen müssen, ist das oft ausschlaggebend.
Die Grenze: Überanpassung
- Zu tiefer Baum, Training: 100 %
- Zu tiefer Baum, neue Daten: 70 %
- Begrenzter Baum, Training: 90 %
- Begrenzter Baum, neue Daten: 86 %
Ein ungebremster Baum lernt die Trainingsdaten auswendig. Auf neuen Daten fällt er deutlich ab.
Lässt man einen Baum ungebremst wachsen, fragt er so lange weiter, bis jedes Blatt nur noch einen einzigen Fall enthält. Dann hat er die Trainingstabelle perfekt gelernt, aber nichts verstanden. Das ist die Überanpassung, die du schon aus Maschinelles Lernen kennst.
Dagegen helfen drei Dinge: die Tiefe begrenzen (zum Beispiel auf fünf Fragen hintereinander), ein Blatt nur zulassen, wenn es eine Mindestzahl Fälle enthält, und das Ergebnis immer an Daten prüfen, die der Baum nie gesehen hat. Wie man das sauber misst, steht auf der Seite Wie gut ist ein Modell?.
Der Wald: viele Bäume, eine Mehrheit
- Links: Ein Baum: Lesbar, Empfindlich bei Datenänderung, Schnell trainiert
- Rechts: Zufallswald: Viele Bäume stimmen ab, Meist genauer, Kaum lesbar
- Urteil: Tausch: Lesbarkeit gegen Genauigkeit.
Viele Bäume auf zufälligen Ausschnitten stimmen ab. Die Mehrheit gleicht Einzelfehler aus.
Ein einzelner Baum reagiert empfindlich auf kleine Änderungen der Daten. Deshalb trainiert man oft viele Bäume, jeden auf einer zufälligen Auswahl von Zeilen und Spalten, und lässt sie abstimmen. Das Ergebnis heißt Zufallswald. Die Mehrheit gewinnt. Einzelne Ausreißer-Bäume werden überstimmt.
Der Preis ist die Lesbarkeit: Hunderte Bäume lesen sich nicht mehr wie ein Fragebogen. Man bekommt dafür meist die genauere Vorhersage. Eine Verwandte davon baut Bäume nacheinander, wobei jeder die Fehler der vorherigen ausbessert. Solche Verfahren gewinnen auf Tabellen häufig Vergleiche.
Bei Tabellen genügt oft das Einfache
- Tabelle (Baum oder Wald)
- Bilder (Faltungsnetz)
- Text (Sprachmodell)
- Klare Regel (feste Regel)
Bei Tabellen sind Bäume und einfache Modelle meist gut genug. Neuronale Netze brauchst du eher bei Bild, Ton und Text.
Tabellendaten sind Zeilen und Spalten wie in einer Kalkulation: Kunden, Maschinen, Aufträge, Messwerte. Für sie gilt grob: Baumverfahren und einfache Rechenmodelle sind meist ebenso gut wie neuronale Netze, oft besser, und sie sind billiger, schneller und leichter zu erklären. Neuronale Netze spielen ihre Stärke bei Bildern, Ton und Text aus, wo die Merkmale nicht schon fertig in Spalten stehen.
Ein guter Arbeitsablauf beginnt deshalb mit der einfachsten Lösung: erst eine feste Regel, dann ein kleiner Baum, dann ein Wald. Erst wenn das nicht reicht, lohnt der Aufwand für etwas Größeres. So weißt du auch, wie viel das Größere wirklich bringt.
| Daten | Gute erste Wahl | Warum |
|---|---|---|
| Tabelle mit Spalten (Kunden, Maschinen, Aufträge) | Entscheidungsbaum oder Zufallswald | Merkmale sind schon fertig, Ergebnis ist erklärbar |
| Bilder | Neuronales Netz (Faltungsnetz) | Aus Pixeln müssen erst Merkmale entstehen |
| Text und Sprache | Sprachmodell | Bedeutung steckt im Zusammenhang der Wörter |
| Wenige Beispiele, klare Regel | Feste Regel von Hand | Kein Lernen nötig, jederzeit prüfbar |