Ein Neuron ist ein kleiner Entscheider
- Links: Nervenzelle: Zelle im Gehirn, Chemie und Strom, Sehr komplex
- Rechts: Künstliches Neuron: Rechenstelle, Zahlen hinein, Zahl heraus, Sehr einfach
- Urteil: Nur die Grundidee ist gleich.
Ein künstliches Neuron ist nur eine kleine Rechenstelle: mehrere Zahlen hinein, eine Zahl heraus.
Ein künstliches Neuron hat mit einer Nervenzelle nur die Grundidee gemeinsam. Es ist eine kleine Rechenstelle: Sie bekommt mehrere Zahlen herein, rechnet damit und gibt eine Zahl heraus. Mehr nicht. Die Leistung entsteht erst, wenn man sehr viele davon zusammenschaltet.
Eingaben, Gewichte, Summe, Schwelle
- Eingaben (Zahlen)
- Gewichte (mal)
- Summe (plus Verschiebung)
- Schwelle (ja oder nein)
Eingaben mal Gewichte, Summe bilden, Schwelle prüfen. Die Gewichte stellt das Training ein.
Der Ablauf ist immer gleich. Jede Eingabe wird mit ihrem Gewicht multipliziert. Alle Ergebnisse werden addiert. Zur Summe kommt eine feste Zahl, die Verschiebung, hinzu. Dann folgt die Aktivierung: Sie legt fest, wie stark das Neuron meldet.
Die einfachste Aktivierung ist eine Schwelle. Liegt die Summe darüber, meldet das Neuron „ja“, sonst „nein“. Weiche Formen geben stattdessen einen gleitenden Wert aus. Wichtig ist: Gewichte und Verschiebung sind die Zahlen, die beim Training eingestellt werden.
Schichten: Merkmale aus Merkmalen
- Eingabe 1
- Eingabe 2
- Eingabe 3
- Neuron A
- Neuron B
- Neuron C
- Ausgabe
- Eingabe 1 verbunden mit Neuron A
- Eingabe 1 verbunden mit Neuron B
- Eingabe 1 verbunden mit Neuron C
- Eingabe 2 verbunden mit Neuron A
- Eingabe 2 verbunden mit Neuron B
- Eingabe 2 verbunden mit Neuron C
- Eingabe 3 verbunden mit Neuron A
- Eingabe 3 verbunden mit Neuron B
- Eingabe 3 verbunden mit Neuron C
- Neuron A verbunden mit Ausgabe
- Neuron B verbunden mit Ausgabe
- Neuron C verbunden mit Ausgabe
Die Ausgaben einer Schicht sind die Eingaben der nächsten. So entstehen Merkmale aus Merkmalen.
Ein einzelnes Neuron kann nur eine gerade Trennlinie ziehen. Viele Aufgaben brauchen mehr. Deshalb ordnet man Neuronen in Schichten: Die Ausgaben einer Schicht sind die Eingaben der nächsten.
So baut die zweite Schicht auf dem auf, was die erste gefunden hat. Das ist der Kern der Sache: Merkmale entstehen aus Merkmalen. Bei einem Foto erkennen frühe Schichten oft einfache Dinge wie Kanten, spätere setzen daraus Formen zusammen, noch spätere ganze Gegenstände.
Warum mehrere Schichten mehr können
- Klasse A: 24 Punkte
- Klasse B: 22 Punkte
- Trennung: Linie zwischen den Gruppen
- Innen: 34 Punkte
- Außen: 8 Punkte
- Trennung: Kreis um die erste Gruppe
Ein Neuron zieht nur eine gerade Linie. Mit Zwischenschicht und Aktivierung entstehen gebogene Grenzen.
Würde jede Schicht nur multiplizieren und addieren, ließen sich alle Schichten zu einer einzigen zusammenfassen. Erst die Aktivierung dazwischen macht mehrere Schichten sinnvoll. Sie bricht die Geradlinigkeit auf, und das Netz kann gebogene, verschlungene Grenzen zwischen Klassen ziehen.
Ein bekanntes Beispiel: Zwei Gruppen von Punkten liegen so, dass keine Gerade sie trennt. Ein Neuron scheitert. Mit einer Zwischenschicht aus zwei Neuronen klappt es. Probiere das im Baustein oben aus.
| Aufbau | Was das Netz zeichnen kann | Beispiel |
|---|---|---|
| Ein Neuron | Eine gerade Trennlinie | Ist es warm genug für ein Eis? |
| Eine Zwischenschicht | Mehrere Linien, die sich zu Flächen verbinden | Zwei getrennte Bereiche derselben Klasse |
| Viele Schichten | Verschachtelte, sehr feine Muster | Gesichter, Sprache, Schrift |
Parameter zählen und was „tief“ heißt
- Flach: eine Schicht bis Tief: viele Schichten, Marker bei 86 Prozent: Millionen bis Milliarden Parameter
Parameter sind alle Gewichte und Verschiebungen. Tief heißt: viele Schichten hintereinander.
Alle Gewichte und Verschiebungen zusammen heißen Parameter. Ein winziges Netz mit 3 Eingaben, einer Schicht aus 4 Neuronen und einem Ausgabeneuron hat 21 davon: 12 Gewichte und 4 Verschiebungen in der ersten Schicht, 4 Gewichte und 1 Verschiebung in der zweiten.
Das wächst schnell. Eine einzige Schicht aus 100 Neuronen, die ein Bild von 28 mal 28 Punkten bekommt, hat schon 78 500 Parameter. Echte Bildmodelle haben Millionen, große Sprachmodelle viele Milliarden.
„Tief“ in Deep Learning heißt einfach: viele Schichten hintereinander. Mehr Schichten erlauben feinere Muster, brauchen aber mehr Daten und mehr Rechenzeit.
Warum sie wie Blackboxes wirken
- Regel, nachvollziehbar bis Blackbox, Marker bei 90 Prozent: Neuronales Netz
Das Wissen steckt verteilt in Millionen Gewichten. Eine einzelne Zahl bedeutet nichts Greifbares.
Wenn du auf ein Netz schaust, siehst du Millionen Zahlen. Keine einzelne davon bedeutet „Katze“ oder „Fehler“. Das Wissen ist über viele Gewichte verteilt. Darum lässt sich oft nur schwer sagen, warum ein Netz so entschieden hat. Man nennt das eine Blackbox.
Es gibt Werkzeuge, die zeigen, worauf das Netz geachtet hat, etwa welche Bildbereiche eine Entscheidung geprägt haben. Sie geben Hinweise, aber keine vollständige Erklärung.
Stärken, Schwächen und die Verbindung zu den Modellen
- Links: Stark bei: Vielen Beispielen, Bild, Sprache, Ton, Mustern ohne Regeln
- Rechts: Schwach bei: Wenigen Daten, Begründungspflicht, Fremden Fällen
- Urteil: Fremdes beantwortet es trotzdem, oft falsch.
Netze glänzen bei Bildern, Sprache und Ton. Bei wenigen Daten oder Begründungspflicht sind sie oft die falsche Wahl.
Netze sind stark, wenn es viele Beispiele gibt und die Muster sich schwer als Regeln aufschreiben lassen: Bilder, Sprache, Ton. Sie sind schwach, wenn Daten knapp sind, wenn man jede Entscheidung begründen muss oder wenn ein Fall weit von den Trainingsdaten abweicht. Bei Tabellen mit wenigen Merkmalen sind einfache Verfahren oft besser und billiger.
Ein Netz kennt nur, was in den Trainingsdaten vorkam. Zeigst du ihm etwas völlig Fremdes, antwortet es trotzdem, oft mit hoher Sicherheit und falsch. Es sagt nicht „das kenne ich nicht“, solange man ihm das nicht eigens beibringt.
Die Verbindung zu den Modellen im Labor
- Maschinelles Lernen (Modell aus Zahlen)
- Neuronales Netz (Schichten aus Neuronen)
- Sprachmodell im Chat (sagt das nächste Wortstück vor)
Auch Chat, Objekt- und Gesichtserkennung im Labor sind Netze. Das Auswerten läuft einmal vorwärts durch alle Schichten.
Die Seite Maschinelles Lernen hat gezeigt, dass ein Modell aus Zahlen besteht. Ein neuronales Netz ist eine Bauart davon. Auch das Sprachmodell im Chat ist ein sehr großes Netz, das im Kern das nächste Wortstück vorhersagt. Wie die Gewichte eingestellt werden, steht auf der Seite Wie ein Modell lernt.
Auch die Objekt- und Gesichtserkennung im Labor laufen auf Netzen. Dort siehst du, wie schnell ein fertiges Netz auf dem Jetson rechnet, obwohl es Millionen Parameter hat. Die Rechenarbeit passiert beim Auswerten nur einmal vorwärts durch alle Schichten.