Die Küche eines Restaurants
- Links: Prototyp: Kochen zu Hause, Fehler: Wiederholung, Eine Person
- Rechts: Betrieb: Restaurantküche, Jeden Abend gleich gut, Feste Abläufe
Zu Hause darf etwas schiefgehen. In der Restaurantküche muss es jeden Abend gleich gut herauskommen.
Zu Hause kochst du ein Gericht für vier Personen. Du probierst, du korrigierst, es darf auch mal schiefgehen. In der Küche eines Restaurants muss dasselbe Gericht jeden Abend hundertmal gleich gut herauskommen, auch wenn ein Koch fehlt, die Tomaten anders schmecken oder es plötzlich voll wird.
Dafür gibt es Einkauf, Vorbereitung, feste Rezepte, Temperaturkontrolle und jemanden, der probiert, bevor der Teller rausgeht. Mit KI ist es genauso. Der Prototyp ist das Kochen zu Hause, der Betrieb die Restaurantküche. Die Arbeit dazwischen heißt MLOps: Abläufe, die ein Modell zuverlässig laufen lassen.
Was sich zwischen Versuch und Alltag ändert
- Daten (Datei wird Strom)
- Nutzung (einmal wird täglich)
- Fehler (kostet echtes Geld)
- Zuständig (benannt)
- Änderung (geplant)
Aus Datei, Fachleuten und Wiederholung werden laufende Daten, viele Nutzer und echte Folgen.
Im Prototyp laufen Daten aus einer Datei, ein Fachmann bedient alles, und ein Fehler kostet eine Wiederholung. Im Betrieb kommen Daten laufend und unsauber, viele Menschen verlassen sich auf das Ergebnis, und ein Ausfall kostet Zeit und Geld.
| Prototyp | Betrieb | |
|---|---|---|
| Daten | Aufbereitete Beispieldatei | Laufend, unvollständig, manchmal fehlerhaft |
| Nutzung | Einmal, durch Fachleute | Täglich, durch viele Personen |
| Fehler | Kostet eine Wiederholung | Kostet Zeit, Geld oder Vertrauen |
| Verantwortung | Unklar, oft eine Person | Benannt und vertreten |
| Veränderung | Nach Lust und Laune | Geplant, nachvollziehbar, mit Rückweg |
Die Stationen im Kreislauf
- Daten
- Training
- Prüfung
- Auslieferung
- Überwachung
- Nachlernen
- Mitte: Betrieb
Ein Modell im Betrieb dreht Runden: Daten, Training, Prüfung, Auslieferung, Überwachung, Nachlernen.
Ein Modell im Betrieb durchläuft immer wieder dieselben Schritte. Es ist ein Kreis, kein einmaliger Weg:
- Daten sammeln: Woher kommen sie, wie sauber sind sie, dürfen wir sie nutzen? (Daten)
- Trainieren: Aus den Daten entsteht ein Modell (Wie ein Modell lernt).
- Prüfen: Das Modell muss an Daten, die es nie sah, gut genug sein (Wie gut ist ein Modell?).
- Ausliefern: Das Modell zieht auf das Gerät oder den Server um, wo es im Alltag arbeitet.
- Überwachen: Läuft es, ist es schnell genug, liegt es noch richtig?
- Nachlernen: Neue Daten und Rückmeldungen fließen ein, und das nächste Modell entsteht.
Drift: die Welt ändert sich, das Modell nicht
- Training: Modell passt zur Welt
- Später: Neues Licht, neuer Lieferant
- Danach: Qualität sinkt schleichend
- Messung: Antwort bekannt, Drift sichtbar
- Reaktion: Mit neuen Daten nachlernen
Das Modell zeigt die Welt zur Trainingszeit. Ändert sich die Welt, sinkt die Qualität, oft schleichend.
Ein Modell ist ein Foto vom Zustand der Welt zur Trainingszeit. Ändert sich die Welt, passt das Foto nicht mehr, und die Qualität sinkt, oft schleichend. Das heißt Drift. Zwei Arten tauchen häufig auf: Die Eingaben ändern sich (neue Beleuchtung an der Kamera, ein neuer Lieferant mit anderer Verpackung), oder der Zusammenhang selbst ändert sich (Kunden kaufen anders als früher).
Du erkennst Drift an zwei Stellen: Die Eingaben von heute sehen anders aus als die der Trainingszeit, und die Trefferquote sinkt, sobald die richtige Antwort bekannt ist, zum Beispiel wenn der Maschinenausfall später doch eintrat oder nicht.
Überwachung: das Armaturenbrett
- Qualität (liegt es richtig?)
- Eingaben (wie beim Training?)
- Tempo (schnell genug?)
- Last (reicht die Hardware?)
- Ausfälle (läuft es?)
Lege vorher fest, was du beobachtest und ab wann jemand Bescheid bekommt.
Im Auto siehst du Tank, Temperatur und Warnleuchten, ohne die Motorhaube zu öffnen. Ein KI-Betrieb braucht dasselbe. Du legst vorher fest, welche Werte du beobachtest und ab wann jemand Bescheid bekommt.
| Was | Frage dahinter | Warnzeichen |
|---|---|---|
| Qualität | Liegt es noch richtig? | Trefferquote sinkt, mehr Beschwerden |
| Eingaben | Sehen die Daten noch aus wie beim Training? | Neue Wertebereiche, fehlende Werte |
| Antwortzeit | Ist es schnell genug? | Wartezeit steigt |
| Auslastung | Reicht die Hardware? | Speicher voll, Gerät zu heiß |
| Verfügbarkeit | Läuft es überhaupt? | Ausfälle, Neustarts |
Versionen und Rückfall
- Version notieren (Daten und Code)
- Kleiner Teil (parallel zur alten)
- Vergleichen
- Ausrollen oder zurück (Rückweg erprobt)
Neue Version zuerst bei wenigen Nutzern, neben der alten. Wird sie schlechter, geht es zurück.
Jedes Modell, das du auslieferst, bekommt eine Version, und du notierst, mit welchen Daten und welchem Code es entstand. So findest du später, warum es sich so verhalten hat. Neue Versionen laufen zuerst bei einem kleinen Teil der Nutzer, am besten parallel zur alten. Wird es schlechter, gehst du zur vorherigen zurück. Dieser Rückfall muss vorher ausprobiert sein, nicht erst im Notfall.
Plane auch den Fall, dass das Modell ganz ausfällt: Gibt es eine einfache Regel als Notlösung oder eine Handarbeit, die einspringt?
Verantwortung und Dokumentation
- Steckbrief (Zweck)
- Trainingsdaten (und ihr Stand)
- Grenzen (bekannte Schwächen)
- Gemessene Qualität
- Version und Datum
Jemand besitzt das Modell, jemand betreibt es. Ein Steckbrief hält fest, was es kann und wo es irrt.
Jemand muss wissen, was das Modell tut, und ist gerufen, wenn es ausfällt oder daneben liegt. Lege dafür fest: Wer besitzt das Modell (fachlich), wer betreibt es (technisch), wer darf Änderungen freigeben?
Schreibe einen Steckbrief dazu: Zweck, Trainingsdaten und ihr Stand, Grenzen, gemessene Qualität, bekannte Schwächen, Version und Datum. Er hilft neuen Kolleginnen und Kollegen und bei Rückfragen von Datenschutz und Prüfern. Je nach Einsatz verlangt auch das Recht Nachweise, mehr auf der Seite Recht und Regeln.
Was auf einem kleinen Gerät wie dem Jetson anders ist
- 8 GB Speicher für CPU und GPU gemeinsam
- wenige Watt Leistungsaufnahme
- 1 Modell meist nur eins zur Zeit
Wenig Speicher, wenig Watt, meist ein Modell zur Zeit. Dafür bleiben die Daten am Gerät.
Auf dem Jetson Orin Nano teilen sich CPU und GPU 8 GB Speicher, und das Gerät nimmt nur wenige Watt auf. Das prägt den Betrieb: Das Modell muss klein genug sein (oft verkleinert, zum Beispiel mit geringerer Zahlengenauigkeit), meist läuft nur ein Modell zur Zeit, und Wärme und Stromversorgung zählen mit. Die Seite Hardware zeigt live Speicher, Auslastung, Leistung und Temperatur, also genau die Werte, die du im Betrieb beobachten würdest.
Ein Vorteil: Die Daten bleiben am Gerät, und es gibt keinen Netzweg. Dafür musst du Updates, Zugriff und Ausfälle vor Ort selbst regeln. Wie das mit Kosten und Strom zusammenhängt, steht auf der Seite Kosten und Energie.