Grundlagen · Lektion

Neuronale Netze von Grund auf

Kurz gesagt: Ein Neuron bildet eine gewichtete Summe seiner Eingaben und entscheidet per Aktivierung, wie stark es meldet. Schichten bauen Merkmale aus Merkmalen auf. Erst die Aktivierung dazwischen macht mehrere Schichten wertvoll.

Hinter vielen KI-Anwendungen steckt ein Netz aus winzigen Rechenstellen. Wie entscheidet eine davon, und was entsteht, wenn man viele verschaltet?

Ein Neuron ist ein kleiner Entscheider

Vergleich
  • Links: Nervenzelle: Zelle im Gehirn, Chemie und Strom, Sehr komplex
  • Rechts: Künstliches Neuron: Rechenstelle, Zahlen hinein, Zahl heraus, Sehr einfach
  • Urteil: Nur die Grundidee ist gleich.

Ein künstliches Neuron ist nur eine kleine Rechenstelle: mehrere Zahlen hinein, eine Zahl heraus.

Ein künstliches Neuron hat mit einer Nervenzelle nur die Grundidee gemeinsam. Es ist eine kleine Rechenstelle: Sie bekommt mehrere Zahlen herein, rechnet damit und gibt eine Zahl heraus. Mehr nicht. Die Leistung entsteht erst, wenn man sehr viele davon zusammenschaltet.

Eingaben, Gewichte, Summe, Schwelle

Ablauf
  • Eingaben (Zahlen)
  • Gewichte (mal)
  • Summe (plus Verschiebung)
  • Schwelle (ja oder nein)

Eingaben mal Gewichte, Summe bilden, Schwelle prüfen. Die Gewichte stellt das Training ein.

Der Ablauf ist immer gleich. Jede Eingabe wird mit ihrem Gewicht multipliziert. Alle Ergebnisse werden addiert. Zur Summe kommt eine feste Zahl, die Verschiebung, hinzu. Dann folgt die Aktivierung: Sie legt fest, wie stark das Neuron meldet.

Die einfachste Aktivierung ist eine Schwelle. Liegt die Summe darüber, meldet das Neuron „ja“, sonst „nein“. Weiche Formen geben stattdessen einen gleitenden Wert aus. Wichtig ist: Gewichte und Verschiebung sind die Zahlen, die beim Training eingestellt werden.

Schichten: Merkmale aus Merkmalen

Netz
  • Eingabe 1
  • Eingabe 2
  • Eingabe 3
  • Neuron A
  • Neuron B
  • Neuron C
  • Ausgabe
  • Eingabe 1 verbunden mit Neuron A
  • Eingabe 1 verbunden mit Neuron B
  • Eingabe 1 verbunden mit Neuron C
  • Eingabe 2 verbunden mit Neuron A
  • Eingabe 2 verbunden mit Neuron B
  • Eingabe 2 verbunden mit Neuron C
  • Eingabe 3 verbunden mit Neuron A
  • Eingabe 3 verbunden mit Neuron B
  • Eingabe 3 verbunden mit Neuron C
  • Neuron A verbunden mit Ausgabe
  • Neuron B verbunden mit Ausgabe
  • Neuron C verbunden mit Ausgabe

Die Ausgaben einer Schicht sind die Eingaben der nächsten. So entstehen Merkmale aus Merkmalen.

Ein einzelnes Neuron kann nur eine gerade Trennlinie ziehen. Viele Aufgaben brauchen mehr. Deshalb ordnet man Neuronen in Schichten: Die Ausgaben einer Schicht sind die Eingaben der nächsten.

So baut die zweite Schicht auf dem auf, was die erste gefunden hat. Das ist der Kern der Sache: Merkmale entstehen aus Merkmalen. Bei einem Foto erkennen frühe Schichten oft einfache Dinge wie Kanten, spätere setzen daraus Formen zusammen, noch spätere ganze Gegenstände.

Warum mehrere Schichten mehr können

Punktwolke
  • Klasse A: 24 Punkte
  • Klasse B: 22 Punkte
  • Trennung: Linie zwischen den Gruppen
Punktwolke
  • Innen: 34 Punkte
  • Außen: 8 Punkte
  • Trennung: Kreis um die erste Gruppe

Ein Neuron zieht nur eine gerade Linie. Mit Zwischenschicht und Aktivierung entstehen gebogene Grenzen.

Würde jede Schicht nur multiplizieren und addieren, ließen sich alle Schichten zu einer einzigen zusammenfassen. Erst die Aktivierung dazwischen macht mehrere Schichten sinnvoll. Sie bricht die Geradlinigkeit auf, und das Netz kann gebogene, verschlungene Grenzen zwischen Klassen ziehen.

Ein bekanntes Beispiel: Zwei Gruppen von Punkten liegen so, dass keine Gerade sie trennt. Ein Neuron scheitert. Mit einer Zwischenschicht aus zwei Neuronen klappt es. Probiere das im Baustein oben aus.

Was Schichten verändern
AufbauWas das Netz zeichnen kannBeispiel
Ein NeuronEine gerade TrennlinieIst es warm genug für ein Eis?
Eine ZwischenschichtMehrere Linien, die sich zu Flächen verbindenZwei getrennte Bereiche derselben Klasse
Viele SchichtenVerschachtelte, sehr feine MusterGesichter, Sprache, Schrift

Parameter zählen und was „tief“ heißt

Skala
  • Flach: eine Schicht bis Tief: viele Schichten, Marker bei 86 Prozent: Millionen bis Milliarden Parameter

Parameter sind alle Gewichte und Verschiebungen. Tief heißt: viele Schichten hintereinander.

Alle Gewichte und Verschiebungen zusammen heißen Parameter. Ein winziges Netz mit 3 Eingaben, einer Schicht aus 4 Neuronen und einem Ausgabeneuron hat 21 davon: 12 Gewichte und 4 Verschiebungen in der ersten Schicht, 4 Gewichte und 1 Verschiebung in der zweiten.

Das wächst schnell. Eine einzige Schicht aus 100 Neuronen, die ein Bild von 28 mal 28 Punkten bekommt, hat schon 78 500 Parameter. Echte Bildmodelle haben Millionen, große Sprachmodelle viele Milliarden.

„Tief“ in Deep Learning heißt einfach: viele Schichten hintereinander. Mehr Schichten erlauben feinere Muster, brauchen aber mehr Daten und mehr Rechenzeit.

Warum sie wie Blackboxes wirken

Skala
  • Regel, nachvollziehbar bis Blackbox, Marker bei 90 Prozent: Neuronales Netz

Das Wissen steckt verteilt in Millionen Gewichten. Eine einzelne Zahl bedeutet nichts Greifbares.

Wenn du auf ein Netz schaust, siehst du Millionen Zahlen. Keine einzelne davon bedeutet „Katze“ oder „Fehler“. Das Wissen ist über viele Gewichte verteilt. Darum lässt sich oft nur schwer sagen, warum ein Netz so entschieden hat. Man nennt das eine Blackbox.

Es gibt Werkzeuge, die zeigen, worauf das Netz geachtet hat, etwa welche Bildbereiche eine Entscheidung geprägt haben. Sie geben Hinweise, aber keine vollständige Erklärung.

Stärken, Schwächen und die Verbindung zu den Modellen

Vergleich
  • Links: Stark bei: Vielen Beispielen, Bild, Sprache, Ton, Mustern ohne Regeln
  • Rechts: Schwach bei: Wenigen Daten, Begründungspflicht, Fremden Fällen
  • Urteil: Fremdes beantwortet es trotzdem, oft falsch.

Netze glänzen bei Bildern, Sprache und Ton. Bei wenigen Daten oder Begründungspflicht sind sie oft die falsche Wahl.

Netze sind stark, wenn es viele Beispiele gibt und die Muster sich schwer als Regeln aufschreiben lassen: Bilder, Sprache, Ton. Sie sind schwach, wenn Daten knapp sind, wenn man jede Entscheidung begründen muss oder wenn ein Fall weit von den Trainingsdaten abweicht. Bei Tabellen mit wenigen Merkmalen sind einfache Verfahren oft besser und billiger.

Ein Netz kennt nur, was in den Trainingsdaten vorkam. Zeigst du ihm etwas völlig Fremdes, antwortet es trotzdem, oft mit hoher Sicherheit und falsch. Es sagt nicht „das kenne ich nicht“, solange man ihm das nicht eigens beibringt.

Die Verbindung zu den Modellen im Labor

Schichten
  • Maschinelles Lernen (Modell aus Zahlen)
  • Neuronales Netz (Schichten aus Neuronen)
  • Sprachmodell im Chat (sagt das nächste Wortstück vor)

Auch Chat, Objekt- und Gesichtserkennung im Labor sind Netze. Das Auswerten läuft einmal vorwärts durch alle Schichten.

Die Seite Maschinelles Lernen hat gezeigt, dass ein Modell aus Zahlen besteht. Ein neuronales Netz ist eine Bauart davon. Auch das Sprachmodell im Chat ist ein sehr großes Netz, das im Kern das nächste Wortstück vorhersagt. Wie die Gewichte eingestellt werden, steht auf der Seite Wie ein Modell lernt.

Auch die Objekt- und Gesichtserkennung im Labor laufen auf Netzen. Dort siehst du, wie schnell ein fertiges Netz auf dem Jetson rechnet, obwohl es Millionen Parameter hat. Die Rechenarbeit passiert beim Auswerten nur einmal vorwärts durch alle Schichten.

Das nimmst du mit

  • Ein Neuron bildet eine gewichtete Summe seiner Eingaben und entscheidet per Aktivierung, wie stark es meldet.
  • Schichten bauen Merkmale aus Merkmalen auf. Erst die Aktivierung dazwischen macht mehrere Schichten wertvoll.
  • Netze haben Millionen bis Milliarden Parameter und sind schwer zu erklären. Sie glänzen bei Bildern, Sprache und Ton.

Teste dich

  1. Im Team-Beispiel zählt die Stimme des Grillbesitzers mehr. Was entspricht das im Neuron?
    Antwort

    Ein größeres Gewicht auf dieser Eingabe. Das Gewicht legt fest, wie stark eine Eingabe die Summe beeinflusst. Beim Lernen werden diese Gewichte angepasst.

  2. Warum braucht ein Netz zwischen den Schichten eine Aktivierung?
    Antwort

    Damit mehrere Schichten nicht auf eine einzige Rechnung zusammenschrumpfen. Ohne Aktivierung wäre alles nur Multiplizieren und Addieren, und beliebig viele Schichten könnten nicht mehr als eine. Die Aktivierung erlaubt gebogene Grenzen.

  3. Ein Netz hat 3 Eingaben, 4 Neuronen in der Zwischenschicht und 1 Ausgabeneuron. Wie viele Parameter hat es?
    Antwort

    21. Erste Schicht: 3 mal 4 Gewichte plus 4 Verschiebungen gleich 16. Zweite Schicht: 4 Gewichte plus 1 Verschiebung gleich 5. Zusammen 21.

  4. Was bedeutet „tief“ bei Deep Learning?
    Antwort

    Das Netz hat viele Schichten hintereinander. Tief bezeichnet die Zahl der Schichten. Mehr Schichten erlauben feinere Muster, kosten aber Daten und Rechenzeit.

  5. Warum nennt man Netze oft Blackboxes?
    Antwort

    Weil ihr Wissen auf Millionen Gewichte verteilt ist und sich schwer in Regeln erklären lässt. Keine einzelne Zahl bedeutet etwas Greifbares. Wissen steckt im Zusammenspiel. Erklärwerkzeuge liefern Hinweise, aber keine vollständige Begründung.

Weiter geht es