Agenten

Planen, Schritte, Speicher und Fehler

Kurz gesagt: Zerlege Aufgaben in kleine, klare Schritte. Das Modell wählt dann sicherer. Der Kontext wächst mit jeder Runde.

Je länger die Kette der Schritte, desto mehr kann schiefgehen. Hier lernst du, wie Agenten Aufgaben zerlegen, sich Dinge merken und mit Fehlern umgehen.

Aufgaben zerlegen

Ablauf
  • Umzug planen
  • Termin klären
  • Transporter buchen
  • Kisten besorgen
  • Adressen melden

Große Aufgaben werden in kleine, klare Schritte zerlegt. Manche warten auf andere.

„Plane meinen Umzug“ lässt sich nicht in einem Schritt lösen. Du zerlegst es: Termin klären, Transporter buchen, Kisten besorgen, Adressänderungen melden. Jeder Teil ist klein genug, um ihn zu erledigen. Manche hängen voneinander ab, andere nicht.

Ein Agent muss dasselbe tun. Je klarer ein Schritt formuliert ist, desto sicherer wählt das Modell das passende Werkzeug. Eine große, unklare Aufgabe ist der häufigste Grund für Irrwege.

Erst planen oder gleich handeln?

Vergleich
  • Links: Erst planen: Schrittliste vorab, Vorab prüfbar, Starr bei Überraschung
  • Rechts: Gleich handeln: Nach jedem Ergebnis neu, Reagiert flexibel, Schwerer zu prüfen

Ein Plan ist prüfbar, Handeln mit Neuentscheiden reagiert besser. Meist mischt man beides.

Es gibt zwei Grundmuster. Beim ersten schreibt das Modell zuerst eine Liste von Schritten und arbeitet sie ab. Das ist übersichtlich und lässt sich vorab prüfen. Beim zweiten entscheidet es nach jedem Ergebnis neu, was als Nächstes kommt. Das reagiert besser auf Überraschungen.

In der Praxis mischt man beides: ein grober Plan, der nach jedem Ergebnis angepasst werden darf. Bei kleinen Modellen funktionieren kurze, klar gefasste Pläne besser als lange.

Zwischenergebnisse merken und der wachsende Kontext

Zeitachse
  • Runde 1: Aufgabe und erster Aufruf
  • Runde 2: plus Ergebnis 1
  • Runde 3: plus Ergebnis 2
  • Runde 5: Verlauf lang, Runde langsam

Der Verlauf wächst mit jeder Runde, und das Modell liest ihn jedes Mal ganz neu.

Jeder Werkzeugaufruf und jedes Ergebnis wird an den Kontext angehängt. Der Verlauf wird mit jeder Runde länger. Das hat drei Folgen.

  • Grenze: Das Kontextfenster ist begrenzt. Ist es voll, fällt etwas heraus oder die Aufgabe bricht ab.
  • Kosten und Dauer: Bei jeder Runde liest das Modell den gesamten Verlauf neu. Lange Verläufe machen jede Runde langsamer und, bei bezahlten Diensten, teurer.
  • Aufmerksamkeit: Je länger der Verlauf, desto eher übersieht das Modell etwas Wichtiges mitten drin.

Wenn etwas schiefgeht

Übersicht
  • Werkzeug meldet Fehler
  • Falsche Parameter
  • Ergebnis falsch gedeutet
  • Derselbe Aufruf immer wieder

Fehler gehören dazu: ein Fehlertext vom Werkzeug, erfundene Werte, falsch gedeutete Ergebnisse, Endlosschleifen.

Fehler gehören zum Alltag eines Agenten. Typische Fälle:

  • Das Werkzeug meldet einen Fehler, zum Beispiel „Kunde nicht gefunden“.
  • Das Modell setzt falsche Parameter ein oder erfindet eine Eingabe.
  • Das Modell deutet ein Ergebnis falsch.
  • Es ruft immer wieder dasselbe Werkzeug mit denselben Werten auf und kommt nicht weiter.

Wiederholen, ändern oder aufgeben

Ablauf
  • Fehlermeldung
  • Lesen
  • Anders versuchen
  • Mensch fragen (nach dem Limit, im Labor nach 5 Runden)

Ein guter Agent liest Fehler als Information. Ein Mensch legt die Grenzen fest.

Gute Agenten lesen Fehlermeldungen als Information und probieren etwas anderes, statt dasselbe zu wiederholen. Das gelingt nur, wenn Werkzeuge verständliche Fehlermeldungen liefern. „Fehler 17“ hilft nicht, „Kundennummer fehlt“ schon.

Genauso wichtig ist die Frage, wann Schluss ist. Die Abbruchbedingungen legt ein Mensch fest, nicht das Modell: eine Höchstzahl von Runden (das Labor bricht nach fünf ab), ein Zeitlimit, ein Kostenlimit und die Regel, bei Stillstand oder Unsicherheit einen Menschen zu fragen.

Fehler summieren sich

Balkendiagramm
  • 1 Schritt: 90 %
  • 5 Schritte: 59 %
  • 10 Schritte: 35 %

Gelingt jeder Schritt zu 90 Prozent, schafft eine lange Kette das Ziel immer seltener.

Das ist die wichtigste Zahl, die du dir merken solltest. Angenommen, jeder Schritt gelingt mit 90 Prozent Wahrscheinlichkeit, das ist ein angenommener Wert zum Rechnen. Bei fünf Schritten in Folge gelingt alles nur noch mit etwa 59 Prozent (0,9 mal 0,9 und so weiter, fünfmal). Bei zehn Schritten sind es etwa 35 Prozent.

Das Ergebnis ist ernüchternd: Auch gute Einzelschritte führen bei langen Ketten oft zu Fehlern. Zwei Gegenmittel helfen. Erstens kurze Ketten mit möglichst wenig Schritten. Zweitens Prüfstellen, an denen ein Fehler auffällt, bevor er weiterwandert.

Dazu gehört auch, Ergebnisse gegen etwas Verlässliches zu prüfen: Passt die Summe zur Rechnung? Gibt es die Kundennummer wirklich? Ein Agent, der nur seiner eigenen Zwischenantwort glaubt, trägt einen Irrtum bis zum Ende mit.

Beobachtbarkeit: Wer nicht sieht, kann nicht verbessern

Vergleich
  • Links: Ohne Protokoll: Nur das Ergebnis, Fehler nicht zu finden
  • Rechts: Mit Protokoll: Werkzeug, Werte, Ergebnis, Dauer und Kontext, Fehler nachvollziehbar

Ohne Protokoll jedes Schritts siehst du nur das falsche Ende, nicht die Stelle, an der es entstand.

Ein Agent sollte jeden Schritt protokollieren: Welches Werkzeug mit welchen Werten, welches Ergebnis, wie lange, wie viel Kontext. Ohne dieses Protokoll ist ein Fehler nicht zu finden. Du siehst nur, dass am Ende Unsinn herauskam.

Das Agent-Labor zeigt jeden Schritt in der Reihenfolge. Das ist keine Spielerei, sondern genau das, was du im Betrieb brauchst, um Fehler nachzuvollziehen und Kosten zu verstehen.

Kleine und große Modelle

Matrix
  • Planung, Klein: Falsche Wahl, verliert Faden
  • Planung, Groß: Plant meist besser
  • Kosten, Klein: Schnell, wenig Rechnung
  • Kosten, Groß: Langsamer, teurer

Kleine Modelle sind schnell und günstig, planen aber schwächer. Halte Aufgaben kurz.

Das Labor läuft mit einem kleinen Modell auf dem Jetson. Kleine Modelle wählen häufiger das falsche Werkzeug, erfinden Parameter und verlieren in langen Verläufen den Faden. Große Modelle planen meist besser, brauchen aber mehr Rechenleistung, sind langsamer und kosten mehr.

Praktische Folgerung: Mit einem kleinen Modell hältst du Aufgaben kurz, Werkzeuge wenige und die Beschreibungen eindeutig. Probiere im Baustein oben, wie aus Einzelfehlern eine Kette wird.

Dauer und Kosten wachsen mit der Zahl der Runden. Eine Runde auf einem kleinen Modell dauert nur wenige Sekunden, bei fünf Runden und längerem Verlauf wird daraus spürbare Wartezeit. Bei Diensten gegen Bezahlung zählen die verarbeiteten Tokens, und der wachsende Verlauf treibt die Rechnung. Rechne vor dem Einsatz grob nach: Runden mal Verlauf mal Anfragen pro Tag.

Das nimmst du mit

  • Zerlege Aufgaben in kleine, klare Schritte. Das Modell wählt dann sicherer.
  • Der Kontext wächst mit jeder Runde. Das kostet Zeit und Geld, darum gehören Ergebnisse in kurze Notizen.
  • Fehler summieren sich. Begrenze Runden, Zeit und Kosten, protokolliere jeden Schritt und frage bei Stillstand einen Menschen.

Teste dich

  1. Jeder Schritt eines Agenten gelingt mit 90 Prozent. Wie wahrscheinlich gelingen fünf Schritte hintereinander ungefähr?
    Antwort

    Etwa 59 Prozent. Die Wahrscheinlichkeiten werden multipliziert: 0,9 hoch 5 ist etwa 0,59. Lange Ketten sind deshalb fehleranfälliger als ihre Einzelschritte.

  2. Warum wird jede Runde eines Agenten mit der Zeit langsamer?
    Antwort

    Der Verlauf wächst und wird bei jeder Runde neu gelesen. Jedes Ergebnis wird angehängt, und das Modell liest den ganzen Verlauf erneut. Das kostet Zeit und, bei bezahlten Diensten, Geld.

  3. Welche Abbruchbedingung ist sinnvoll?
    Antwort

    Eine Höchstzahl an Runden und ein Zeitlimit. Grenzen legt ein Mensch im Programm fest. Sie verhindern endlose Schleifen und unbemerkt wachsende Kosten.

  4. Ein Werkzeug antwortet nur „Fehler 17“. Was ist das Problem?
    Antwort

    Das Modell kann daraus kaum lernen, was es ändern soll. Verständliche Meldungen wie „Kundennummer fehlt“ erlauben dem Modell, gezielt zu korrigieren.

  5. Wozu braucht ein Agent im Betrieb ein Protokoll jedes Schritts?
    Antwort

    Um Fehler zu finden, Kosten zu verstehen und Abläufe zu verbessern. Ohne Protokoll siehst du nur das falsche Ergebnis, nicht den Schritt, in dem es entstand.

Weiter geht es