Zuerst muss man den Fehler messen
- Null: perfekt bis Weit daneben, Marker bei 62 Prozent: Verlust
Der Verlust ist eine Zahl für den Fehler. Null heißt perfekt, je größer, desto schlechter.
Lernen braucht eine Rückmeldung: Wie falsch lag das Modell? Dafür gibt es eine Zahl, den Verlust. Er wird aus den Vorhersagen und den richtigen Antworten berechnet. Null heißt perfekt, je größer, desto schlechter.
Das Ziel des Trainings ist dann klar und rechenbar: die Gewichte so einstellen, dass der Verlust über alle Trainingsbeispiele möglichst klein wird.
Der Kreislauf: vorhersagen, messen, nachjustieren
- Vorhersagen
- Fehler messen
- Gewichte anpassen
- Mitte: Eine Runde
Jede Runde: vorhersagen, Fehler messen, Gewichte ein Stück verschieben. Dann beginnt die nächste.
Jede Trainingsrunde läuft gleich ab. Das Modell sagt für Beispiele etwas voraus. Der Verlust zeigt, wie weit es daneben lag. Dann wird jedes Gewicht ein kleines Stück in die Richtung verschoben, die den Verlust senkt. Danach beginnt die nächste Runde.
Wie man diese Richtung für alle Gewichte effizient bekommt, regelt ein Rechenverfahren namens Rückpropagierung. Es rechnet vom Fehler am Ausgang rückwärts durch die Schichten und stellt fest, wie viel jedes Gewicht dazu beigetragen hat. Du musst die Mathematik nicht kennen, um das Prinzip zu nutzen.
Gradientenabstieg: im Nebel ins Tal
- Runde 1: 90
- Runde 2: 55
- Runde 3: 30
- Runde 4: 15
- Runde 5: 8
Wie im Nebel spürt das Modell nur das Gefälle unter den Füßen und geht Schritt für Schritt bergab.
Stell dir den Verlust als Landschaft vor. Jede Kombination von Gewichten ist ein Ort, die Höhe ist der Verlust. Das Ziel liegt im tiefsten Tal. Das Modell sieht die Landschaft nicht, es spürt nur das Gefälle direkt unter seinen Füßen. Dieses Gefälle heißt Gradient. Er zeigt bergauf, also geht man in die Gegenrichtung.
Dieses Verfahren heißt Gradientenabstieg. Es braucht keine Karte. Es braucht nur an jedem Ort die Frage: Wo geht es hier bergab?
Die Lernrate: wie groß ist der Schritt?
- Zu klein: 1
- Passend: 4
- Zu groß: 11
Zu kleine Schritte kommen nie an, zu große springen über das Tal. Die Lernrate wählst du vor dem Training.
Die Lernrate bestimmt die Schrittweite. Sie ist eine Einstellung, die du vor dem Training wählst, kein Ergebnis des Lernens. Sie entscheidet oft, ob das Training überhaupt klappt.
| Lernrate | Was passiert | Bild |
|---|---|---|
| Viel zu groß | Der Fehler springt hin und her oder wächst | Du springst über das Tal und landest am gegenüberliegenden Hang |
| Passend | Der Fehler sinkt gleichmäßig | Du gehst zügig und sicher nach unten |
| Viel zu klein | Es sinkt, aber extrem langsam | Du setzt Zentimeterschritte und kommst nie an |
Epochen und Päckchen
- Training (viele Epochen)
- Epoche (alle Daten einmal)
- Päckchen (ein Schritt je Päckchen)
Eine Epoche ist ein Durchlauf durch alle Daten. Pro kleinem Päckchen gibt es einen Schritt.
Eine Epoche ist ein vollständiger Durchlauf durch alle Trainingsdaten. Meist braucht ein Modell viele davon. Es sieht jedes Beispiel mehrmals und verbessert sich jedes Mal ein wenig.
Bei großen Datenmengen rechnet man nicht alles auf einmal. Man nimmt kleine Päckchen, schätzt daraus das Gefälle und macht einen Schritt. Das ist ungenauer als ein Blick auf alles, aber viel schneller und funktioniert gut. Der Zufall der Päckchen hilft sogar, nicht in kleinen Mulden hängen zu bleiben.
Überanpassung und Frühstopp
- Links: Trainingsdaten: Verlust sinkt weiter, Auswendig gelernt
- Rechts: Validierungsdaten: Verlust steigt wieder, Neues klappt schlechter
- Urteil: Frühstopp: besten Stand nehmen.
Sinkt der Verlust auf den Übungsdaten weiter, aber steigt er auf den Validierungsdaten, ist es Zeit zu stoppen.
Der Verlust auf den Trainingsdaten sinkt fast immer weiter. Das heißt nicht, dass das Modell besser wird. Irgendwann lernt es Zufälle und Eigenheiten der Beispiele auswendig. Das ist Überanpassung. Auf neuen Daten wird es dann wieder schlechter.
Deshalb beobachtet man den Verlust auf den Validierungsdaten, die nicht zum Lernen dienen. Steigt er, während der Trainingsverlust weiter fällt, ist der Punkt erreicht. Man hält an und nimmt den besten Stand. Das nennt man Frühstopp.
Rechenaufwand und warum GPUs helfen
- Links: Prozessor: Wenige Kerne, Flexibel, Eins nach dem anderen
- Rechts: GPU: Tausende Rechenwerke, Einfach, Alles gleichzeitig
Training sind Millionen gleichartiger Rechnungen. Eine GPU erledigt sie parallel.
Jede Runde besteht aus sehr vielen einfachen Rechnungen: Zahlen multiplizieren und addieren, millionenfach. Sie hängen kaum voneinander ab und lassen sich gleichzeitig erledigen. Genau dafür ist eine GPU gebaut, die tausende Rechenwerke parallel nutzt. Ein normaler Prozessor hat wenige, dafür flexible Kerne.
Darum läuft Training meist auf GPUs, und deshalb kann auch der Jetson Netze flott auswerten. Beim Auswerten, der Inferenz, ist der Aufwand viel kleiner als beim Training.
Vortraining, Feinabstimmung, Kosten und Energie
- Zuerst: Vortraining auf großen Datenmengen
- Danach: Feinabstimmung mit gezielten Beispielen
- Im Einsatz: Auswerten, einmal vorwärts
Große Modelle startet man nicht bei null: erst breit vortrainieren, dann gezielt feinabstimmen. Im Einsatz läuft nur die Auswertung.
Große Modelle trainiert man selten von null. Beim Vortraining lernt ein Modell auf riesigen, allgemeinen Datenmengen die Grundlagen. Bei der Feinabstimmung passt man es mit wenigen, gezielten Beispielen an eine Aufgabe an. Das spart Zeit, Daten und Rechenleistung.
Training kostet Rechenzeit und damit Strom. Je größer das Modell und je mehr Daten, desto mehr. Das Vortraining sehr großer Modelle ist aufwendig und liegt bei wenigen Anbietern. Eine Feinabstimmung kleinerer Modelle ist dagegen oft mit überschaubarem Aufwand machbar. Konkrete Zahlen hängen stark von Modell und Hardware ab und sollten für jedes Projekt neu geschätzt werden.