KI im Betrieb

Vom Prototyp in den Betrieb

Kurz gesagt: Zwischen Prototyp und Betrieb liegen Datenpflege, Prüfung, Auslieferung, Überwachung und Nachlernen. Die Welt ändert sich, das Modell nicht. Drift erkennst du an veränderten Eingaben und sinkender Qualität.

Ein Modell, das im Versuch funktioniert, ist erst der Anfang. Was braucht es, damit es jeden Tag zuverlässig arbeitet?

Die Küche eines Restaurants

Vergleich
  • Links: Prototyp: Kochen zu Hause, Fehler: Wiederholung, Eine Person
  • Rechts: Betrieb: Restaurantküche, Jeden Abend gleich gut, Feste Abläufe

Zu Hause darf etwas schiefgehen. In der Restaurantküche muss es jeden Abend gleich gut herauskommen.

Zu Hause kochst du ein Gericht für vier Personen. Du probierst, du korrigierst, es darf auch mal schiefgehen. In der Küche eines Restaurants muss dasselbe Gericht jeden Abend hundertmal gleich gut herauskommen, auch wenn ein Koch fehlt, die Tomaten anders schmecken oder es plötzlich voll wird.

Dafür gibt es Einkauf, Vorbereitung, feste Rezepte, Temperaturkontrolle und jemanden, der probiert, bevor der Teller rausgeht. Mit KI ist es genauso. Der Prototyp ist das Kochen zu Hause, der Betrieb die Restaurantküche. Die Arbeit dazwischen heißt MLOps: Abläufe, die ein Modell zuverlässig laufen lassen.

Was sich zwischen Versuch und Alltag ändert

Übersicht
  • Daten (Datei wird Strom)
  • Nutzung (einmal wird täglich)
  • Fehler (kostet echtes Geld)
  • Zuständig (benannt)
  • Änderung (geplant)

Aus Datei, Fachleuten und Wiederholung werden laufende Daten, viele Nutzer und echte Folgen.

Im Prototyp laufen Daten aus einer Datei, ein Fachmann bedient alles, und ein Fehler kostet eine Wiederholung. Im Betrieb kommen Daten laufend und unsauber, viele Menschen verlassen sich auf das Ergebnis, und ein Ausfall kostet Zeit und Geld.

Prototyp und Betrieb im Vergleich
PrototypBetrieb
DatenAufbereitete BeispieldateiLaufend, unvollständig, manchmal fehlerhaft
NutzungEinmal, durch FachleuteTäglich, durch viele Personen
FehlerKostet eine WiederholungKostet Zeit, Geld oder Vertrauen
VerantwortungUnklar, oft eine PersonBenannt und vertreten
VeränderungNach Lust und LauneGeplant, nachvollziehbar, mit Rückweg

Die Stationen im Kreislauf

Kreislauf
  • Daten
  • Training
  • Prüfung
  • Auslieferung
  • Überwachung
  • Nachlernen
  • Mitte: Betrieb

Ein Modell im Betrieb dreht Runden: Daten, Training, Prüfung, Auslieferung, Überwachung, Nachlernen.

Ein Modell im Betrieb durchläuft immer wieder dieselben Schritte. Es ist ein Kreis, kein einmaliger Weg:

  • Daten sammeln: Woher kommen sie, wie sauber sind sie, dürfen wir sie nutzen? (Daten)
  • Trainieren: Aus den Daten entsteht ein Modell (Wie ein Modell lernt).
  • Prüfen: Das Modell muss an Daten, die es nie sah, gut genug sein (Wie gut ist ein Modell?).
  • Ausliefern: Das Modell zieht auf das Gerät oder den Server um, wo es im Alltag arbeitet.
  • Überwachen: Läuft es, ist es schnell genug, liegt es noch richtig?
  • Nachlernen: Neue Daten und Rückmeldungen fließen ein, und das nächste Modell entsteht.

Drift: die Welt ändert sich, das Modell nicht

Zeitachse
  • Training: Modell passt zur Welt
  • Später: Neues Licht, neuer Lieferant
  • Danach: Qualität sinkt schleichend
  • Messung: Antwort bekannt, Drift sichtbar
  • Reaktion: Mit neuen Daten nachlernen

Das Modell zeigt die Welt zur Trainingszeit. Ändert sich die Welt, sinkt die Qualität, oft schleichend.

Ein Modell ist ein Foto vom Zustand der Welt zur Trainingszeit. Ändert sich die Welt, passt das Foto nicht mehr, und die Qualität sinkt, oft schleichend. Das heißt Drift. Zwei Arten tauchen häufig auf: Die Eingaben ändern sich (neue Beleuchtung an der Kamera, ein neuer Lieferant mit anderer Verpackung), oder der Zusammenhang selbst ändert sich (Kunden kaufen anders als früher).

Du erkennst Drift an zwei Stellen: Die Eingaben von heute sehen anders aus als die der Trainingszeit, und die Trefferquote sinkt, sobald die richtige Antwort bekannt ist, zum Beispiel wenn der Maschinenausfall später doch eintrat oder nicht.

Überwachung: das Armaturenbrett

Übersicht
  • Qualität (liegt es richtig?)
  • Eingaben (wie beim Training?)
  • Tempo (schnell genug?)
  • Last (reicht die Hardware?)
  • Ausfälle (läuft es?)

Lege vorher fest, was du beobachtest und ab wann jemand Bescheid bekommt.

Im Auto siehst du Tank, Temperatur und Warnleuchten, ohne die Motorhaube zu öffnen. Ein KI-Betrieb braucht dasselbe. Du legst vorher fest, welche Werte du beobachtest und ab wann jemand Bescheid bekommt.

Was man bei einem laufenden Modell beobachtet
WasFrage dahinterWarnzeichen
QualitätLiegt es noch richtig?Trefferquote sinkt, mehr Beschwerden
EingabenSehen die Daten noch aus wie beim Training?Neue Wertebereiche, fehlende Werte
AntwortzeitIst es schnell genug?Wartezeit steigt
AuslastungReicht die Hardware?Speicher voll, Gerät zu heiß
VerfügbarkeitLäuft es überhaupt?Ausfälle, Neustarts

Versionen und Rückfall

Ablauf
  • Version notieren (Daten und Code)
  • Kleiner Teil (parallel zur alten)
  • Vergleichen
  • Ausrollen oder zurück (Rückweg erprobt)

Neue Version zuerst bei wenigen Nutzern, neben der alten. Wird sie schlechter, geht es zurück.

Jedes Modell, das du auslieferst, bekommt eine Version, und du notierst, mit welchen Daten und welchem Code es entstand. So findest du später, warum es sich so verhalten hat. Neue Versionen laufen zuerst bei einem kleinen Teil der Nutzer, am besten parallel zur alten. Wird es schlechter, gehst du zur vorherigen zurück. Dieser Rückfall muss vorher ausprobiert sein, nicht erst im Notfall.

Plane auch den Fall, dass das Modell ganz ausfällt: Gibt es eine einfache Regel als Notlösung oder eine Handarbeit, die einspringt?

Verantwortung und Dokumentation

Schichten
  • Steckbrief (Zweck)
  • Trainingsdaten (und ihr Stand)
  • Grenzen (bekannte Schwächen)
  • Gemessene Qualität
  • Version und Datum

Jemand besitzt das Modell, jemand betreibt es. Ein Steckbrief hält fest, was es kann und wo es irrt.

Jemand muss wissen, was das Modell tut, und ist gerufen, wenn es ausfällt oder daneben liegt. Lege dafür fest: Wer besitzt das Modell (fachlich), wer betreibt es (technisch), wer darf Änderungen freigeben?

Schreibe einen Steckbrief dazu: Zweck, Trainingsdaten und ihr Stand, Grenzen, gemessene Qualität, bekannte Schwächen, Version und Datum. Er hilft neuen Kolleginnen und Kollegen und bei Rückfragen von Datenschutz und Prüfern. Je nach Einsatz verlangt auch das Recht Nachweise, mehr auf der Seite Recht und Regeln.

Was auf einem kleinen Gerät wie dem Jetson anders ist

Kennzahlen
  • 8 GB Speicher für CPU und GPU gemeinsam
  • wenige Watt Leistungsaufnahme
  • 1 Modell meist nur eins zur Zeit

Wenig Speicher, wenig Watt, meist ein Modell zur Zeit. Dafür bleiben die Daten am Gerät.

Auf dem Jetson Orin Nano teilen sich CPU und GPU 8 GB Speicher, und das Gerät nimmt nur wenige Watt auf. Das prägt den Betrieb: Das Modell muss klein genug sein (oft verkleinert, zum Beispiel mit geringerer Zahlengenauigkeit), meist läuft nur ein Modell zur Zeit, und Wärme und Stromversorgung zählen mit. Die Seite Hardware zeigt live Speicher, Auslastung, Leistung und Temperatur, also genau die Werte, die du im Betrieb beobachten würdest.

Ein Vorteil: Die Daten bleiben am Gerät, und es gibt keinen Netzweg. Dafür musst du Updates, Zugriff und Ausfälle vor Ort selbst regeln. Wie das mit Kosten und Strom zusammenhängt, steht auf der Seite Kosten und Energie.

Das nimmst du mit

  • Zwischen Prototyp und Betrieb liegen Datenpflege, Prüfung, Auslieferung, Überwachung und Nachlernen. Das ist ein Kreislauf.
  • Die Welt ändert sich, das Modell nicht. Drift erkennst du an veränderten Eingaben und sinkender Qualität.
  • Plane Versionen, einen Rückfall, einen benannten Verantwortlichen und einen Steckbrief ein. Auf kleinen Geräten gelten dazu enge Grenzen bei Speicher, Leistung und Wärme.

Teste dich

  1. Was bedeutet Drift?
    Antwort

    Die Wirklichkeit ändert sich, und das Modell passt nicht mehr dazu. Das Modell spiegelt die Welt zur Trainingszeit. Ändern sich Eingaben oder Zusammenhänge, sinkt die Qualität, oft unbemerkt.

  2. Welche Überwachung zeigt am direktesten, ob das Modell noch richtig liegt?
    Antwort

    Der Vergleich seiner Vorhersagen mit später bekannten richtigen Antworten. Temperatur und Antwortzeit sagen etwas über die Technik, nicht über die Güte. Die Qualität misst man an der Wahrheit, sobald sie bekannt ist.

  3. Wozu dient ein Rückfall auf die vorherige Version?
    Antwort

    Er erlaubt, bei einer schlechteren neuen Version schnell zum funktionierenden Stand zurückzukehren. Neue Versionen können schlechter sein. Ein erprobter Rückweg begrenzt den Schaden.

  4. Was ändert sich auf einem kleinen Gerät wie dem Jetson gegenüber einem Server?
    Antwort

    Speicher, Leistung und Wärme setzen enge Grenzen, und Updates und Ausfälle regelst du vor Ort. Der gemeinsame Speicher von 8 GB und die geringe Leistungsaufnahme prägen die Modellwahl. Dafür bleiben die Daten am Gerät.

  5. Wozu dient ein Steckbrief zum Modell?
    Antwort

    Er hält Zweck, Daten, Grenzen und Qualität fest, damit andere das Modell richtig einordnen. Der Steckbrief macht das Modell nachvollziehbar, für das Team, den Datenschutz und spätere Prüfungen.

Weiter geht es