Wie Diffusion funktioniert
- Links: Training: Echtes Bild, Rauschen kommt dazu, Modell lernt die Umkehr
- Rechts: Erzeugen: Reines Rauschen, Rauschen schrittweise weg, Text lenkt das Bild
Das Training verrauscht echte Bilder und lernt die Umkehrung. Die Beschreibung lenkt, wohin das Rauschen verschwindet.
Beim Training nimmt man echte Bilder und fügt ihnen Schritt für Schritt Rauschen hinzu, bis nur noch Rauschen übrig ist. Das Modell lernt die Umkehrung: aus einem verrauschten Bild ein etwas weniger verrauschtes zu machen. Eine Textbeschreibung steuert, in welche Richtung das Rauschen verschwindet.
Erzeugen in Schritten
- Rauschen (plus Beschreibung)
- Schritt 1 (etwas weniger Rauschen)
- Schritt n (Umrisse erscheinen)
- Bild
Derselbe Entrauschungsschritt läuft 4 bis 50 Mal, bis ein Bild dasteht.
Beim Erzeugen startet man mit reinem Rauschen und wiederholt den Schritt, oft 4 bis 50 Mal. Dabei zeichnet sich Schritt für Schritt ein Bild ab.
Warum hier noch keine Demo läuft
- 8 GB gemeinsamer Speicher für alles
- 4 bis 50 Rechenschritte je Bild
Bildmodelle brauchen viel Speicher, und der ist auf dem Jetson geteilt.
Bildmodelle brauchen PyTorch in einer Jetson-Fassung und viel Speicher. Auf dem Jetson mit 8 GB gemeinsamem Speicher teilen sich Modell und System den Platz. Diese Demo ist noch nicht eingebaut. Der Text hier erklärt das Prinzip, damit du es nachvollziehen kannst.