Sprache

Sprache zu Text

Kurz gesagt: Ton wird in kurze Fenster zerlegt, zu einem Frequenzbild und von einem Netz in Text übersetzt. Ist die Rechenzeit kürzer als die Aufnahme, hält das Modell mit Live-Untertiteln mit.

Sprich in dein Mikrofon, und der Jetson schreibt mit. Das Modell läuft lokal, ohne Cloud.

Wie aus Ton Text wird

Ablauf
  • Mikrofon (im Browser)
  • Fenster (kurze Ausschnitte)
  • Spektrogramm (Bild der Frequenzen)
  • Netz (Token für Token)
  • Text

Ton wird in kurze Fenster zerlegt, zu einem Frequenzbild und von einem Netz in Text übersetzt.

Dein Browser nimmt Ton auf und schickt ihn an den Jetson. Dort zerlegt Whisper den Ton in kurze Fenster, wandelt sie in ein Bild der Frequenzen um (ein Spektrogramm) und lässt ein neuronales Netz daraus Text vorhersagen, Token für Token, ähnlich wie ein Sprachmodell.

Was du beobachten kannst

Balkendiagramm
  • Aufnahme: 10 s
  • Rechenzeit: 4 s

Ist die Rechenzeit kürzer als die Aufnahme, hält das Modell mit Live-Untertiteln mit.

Die Anzeige trennt Aufnahmedauer und Rechenzeit. Ist die Rechenzeit kürzer als die Aufnahme, ist das Modell schneller als Echtzeit. Wenn nicht, kann es für Live-Untertitel nicht mithalten.

Im Business

Besprechungen protokollieren, Diktate, Untertitel und Telefonate durchsuchbar machen, ohne Aufnahmen an einen Cloud-Dienst zu geben.

  • Protokoll einer Besprechung
  • Diktat im Außendienst

Grenzen

  • Dialekt, Hintergrundlärm und Fachbegriffe erhöhen Fehler. Namen und Zahlen immer prüfen.
  • Das Modell erkennt nicht, wer spricht.

Weiter geht es