Erzeugen

Bilder erzeugen

Kurz gesagt: Das Training verrauscht echte Bilder und lernt die Umkehrung. Die Beschreibung lenkt, wohin das Rauschen verschwindet. Derselbe Entrauschungsschritt läuft 4 bis 50 Mal, bis ein Bild dasteht.

Aus einer Beschreibung entsteht ein Bild. Auf dem Jetson ist das möglich, aber langsam.

Wie Diffusion funktioniert

Vergleich
  • Links: Training: Echtes Bild, Rauschen kommt dazu, Modell lernt die Umkehr
  • Rechts: Erzeugen: Reines Rauschen, Rauschen schrittweise weg, Text lenkt das Bild

Das Training verrauscht echte Bilder und lernt die Umkehrung. Die Beschreibung lenkt, wohin das Rauschen verschwindet.

Beim Training nimmt man echte Bilder und fügt ihnen Schritt für Schritt Rauschen hinzu, bis nur noch Rauschen übrig ist. Das Modell lernt die Umkehrung: aus einem verrauschten Bild ein etwas weniger verrauschtes zu machen. Eine Textbeschreibung steuert, in welche Richtung das Rauschen verschwindet.

Erzeugen in Schritten

Ablauf
  • Rauschen (plus Beschreibung)
  • Schritt 1 (etwas weniger Rauschen)
  • Schritt n (Umrisse erscheinen)
  • Bild

Derselbe Entrauschungsschritt läuft 4 bis 50 Mal, bis ein Bild dasteht.

Beim Erzeugen startet man mit reinem Rauschen und wiederholt den Schritt, oft 4 bis 50 Mal. Dabei zeichnet sich Schritt für Schritt ein Bild ab.

Warum hier noch keine Demo läuft

Kennzahlen
  • 8 GB gemeinsamer Speicher für alles
  • 4 bis 50 Rechenschritte je Bild

Bildmodelle brauchen viel Speicher, und der ist auf dem Jetson geteilt.

Bildmodelle brauchen PyTorch in einer Jetson-Fassung und viel Speicher. Auf dem Jetson mit 8 GB gemeinsamem Speicher teilen sich Modell und System den Platz. Diese Demo ist noch nicht eingebaut. Der Text hier erklärt das Prinzip, damit du es nachvollziehen kannst.

Im Business

Produktbilder, Varianten und Entwürfe für Marketing und Design, ohne Bilddaten an einen Dienst zu geben.

  • Moodboards
  • Produktvarianten

Grenzen

  • Urheberrecht und Markenrecht sind bei erzeugten Bildern nicht abschließend geklärt. Prüfe den Einsatz vorab.

Weiter geht es