Wie aus Ton Text wird
- Mikrofon (im Browser)
- Fenster (kurze Ausschnitte)
- Spektrogramm (Bild der Frequenzen)
- Netz (Token für Token)
- Text
Ton wird in kurze Fenster zerlegt, zu einem Frequenzbild und von einem Netz in Text übersetzt.
Dein Browser nimmt Ton auf und schickt ihn an den Jetson. Dort zerlegt Whisper den Ton in kurze Fenster, wandelt sie in ein Bild der Frequenzen um (ein Spektrogramm) und lässt ein neuronales Netz daraus Text vorhersagen, Token für Token, ähnlich wie ein Sprachmodell.
Was du beobachten kannst
- Aufnahme: 10 s
- Rechenzeit: 4 s
Ist die Rechenzeit kürzer als die Aufnahme, hält das Modell mit Live-Untertiteln mit.
Die Anzeige trennt Aufnahmedauer und Rechenzeit. Ist die Rechenzeit kürzer als die Aufnahme, ist das Modell schneller als Echtzeit. Wenn nicht, kann es für Live-Untertitel nicht mithalten.