Aufgaben zerlegen
- Umzug planen
- Termin klären
- Transporter buchen
- Kisten besorgen
- Adressen melden
Große Aufgaben werden in kleine, klare Schritte zerlegt. Manche warten auf andere.
„Plane meinen Umzug“ lässt sich nicht in einem Schritt lösen. Du zerlegst es: Termin klären, Transporter buchen, Kisten besorgen, Adressänderungen melden. Jeder Teil ist klein genug, um ihn zu erledigen. Manche hängen voneinander ab, andere nicht.
Ein Agent muss dasselbe tun. Je klarer ein Schritt formuliert ist, desto sicherer wählt das Modell das passende Werkzeug. Eine große, unklare Aufgabe ist der häufigste Grund für Irrwege.
Erst planen oder gleich handeln?
- Links: Erst planen: Schrittliste vorab, Vorab prüfbar, Starr bei Überraschung
- Rechts: Gleich handeln: Nach jedem Ergebnis neu, Reagiert flexibel, Schwerer zu prüfen
Ein Plan ist prüfbar, Handeln mit Neuentscheiden reagiert besser. Meist mischt man beides.
Es gibt zwei Grundmuster. Beim ersten schreibt das Modell zuerst eine Liste von Schritten und arbeitet sie ab. Das ist übersichtlich und lässt sich vorab prüfen. Beim zweiten entscheidet es nach jedem Ergebnis neu, was als Nächstes kommt. Das reagiert besser auf Überraschungen.
In der Praxis mischt man beides: ein grober Plan, der nach jedem Ergebnis angepasst werden darf. Bei kleinen Modellen funktionieren kurze, klar gefasste Pläne besser als lange.
Zwischenergebnisse merken und der wachsende Kontext
- Runde 1: Aufgabe und erster Aufruf
- Runde 2: plus Ergebnis 1
- Runde 3: plus Ergebnis 2
- Runde 5: Verlauf lang, Runde langsam
Der Verlauf wächst mit jeder Runde, und das Modell liest ihn jedes Mal ganz neu.
Jeder Werkzeugaufruf und jedes Ergebnis wird an den Kontext angehängt. Der Verlauf wird mit jeder Runde länger. Das hat drei Folgen.
- Grenze: Das Kontextfenster ist begrenzt. Ist es voll, fällt etwas heraus oder die Aufgabe bricht ab.
- Kosten und Dauer: Bei jeder Runde liest das Modell den gesamten Verlauf neu. Lange Verläufe machen jede Runde langsamer und, bei bezahlten Diensten, teurer.
- Aufmerksamkeit: Je länger der Verlauf, desto eher übersieht das Modell etwas Wichtiges mitten drin.
Wenn etwas schiefgeht
- Werkzeug meldet Fehler
- Falsche Parameter
- Ergebnis falsch gedeutet
- Derselbe Aufruf immer wieder
Fehler gehören dazu: ein Fehlertext vom Werkzeug, erfundene Werte, falsch gedeutete Ergebnisse, Endlosschleifen.
Fehler gehören zum Alltag eines Agenten. Typische Fälle:
- Das Werkzeug meldet einen Fehler, zum Beispiel „Kunde nicht gefunden“.
- Das Modell setzt falsche Parameter ein oder erfindet eine Eingabe.
- Das Modell deutet ein Ergebnis falsch.
- Es ruft immer wieder dasselbe Werkzeug mit denselben Werten auf und kommt nicht weiter.
Wiederholen, ändern oder aufgeben
- Fehlermeldung
- Lesen
- Anders versuchen
- Mensch fragen (nach dem Limit, im Labor nach 5 Runden)
Ein guter Agent liest Fehler als Information. Ein Mensch legt die Grenzen fest.
Gute Agenten lesen Fehlermeldungen als Information und probieren etwas anderes, statt dasselbe zu wiederholen. Das gelingt nur, wenn Werkzeuge verständliche Fehlermeldungen liefern. „Fehler 17“ hilft nicht, „Kundennummer fehlt“ schon.
Genauso wichtig ist die Frage, wann Schluss ist. Die Abbruchbedingungen legt ein Mensch fest, nicht das Modell: eine Höchstzahl von Runden (das Labor bricht nach fünf ab), ein Zeitlimit, ein Kostenlimit und die Regel, bei Stillstand oder Unsicherheit einen Menschen zu fragen.
Fehler summieren sich
- 1 Schritt: 90 %
- 5 Schritte: 59 %
- 10 Schritte: 35 %
Gelingt jeder Schritt zu 90 Prozent, schafft eine lange Kette das Ziel immer seltener.
Das ist die wichtigste Zahl, die du dir merken solltest. Angenommen, jeder Schritt gelingt mit 90 Prozent Wahrscheinlichkeit, das ist ein angenommener Wert zum Rechnen. Bei fünf Schritten in Folge gelingt alles nur noch mit etwa 59 Prozent (0,9 mal 0,9 und so weiter, fünfmal). Bei zehn Schritten sind es etwa 35 Prozent.
Das Ergebnis ist ernüchternd: Auch gute Einzelschritte führen bei langen Ketten oft zu Fehlern. Zwei Gegenmittel helfen. Erstens kurze Ketten mit möglichst wenig Schritten. Zweitens Prüfstellen, an denen ein Fehler auffällt, bevor er weiterwandert.
Dazu gehört auch, Ergebnisse gegen etwas Verlässliches zu prüfen: Passt die Summe zur Rechnung? Gibt es die Kundennummer wirklich? Ein Agent, der nur seiner eigenen Zwischenantwort glaubt, trägt einen Irrtum bis zum Ende mit.
Beobachtbarkeit: Wer nicht sieht, kann nicht verbessern
- Links: Ohne Protokoll: Nur das Ergebnis, Fehler nicht zu finden
- Rechts: Mit Protokoll: Werkzeug, Werte, Ergebnis, Dauer und Kontext, Fehler nachvollziehbar
Ohne Protokoll jedes Schritts siehst du nur das falsche Ende, nicht die Stelle, an der es entstand.
Ein Agent sollte jeden Schritt protokollieren: Welches Werkzeug mit welchen Werten, welches Ergebnis, wie lange, wie viel Kontext. Ohne dieses Protokoll ist ein Fehler nicht zu finden. Du siehst nur, dass am Ende Unsinn herauskam.
Das Agent-Labor zeigt jeden Schritt in der Reihenfolge. Das ist keine Spielerei, sondern genau das, was du im Betrieb brauchst, um Fehler nachzuvollziehen und Kosten zu verstehen.
Kleine und große Modelle
- Planung, Klein: Falsche Wahl, verliert Faden
- Planung, Groß: Plant meist besser
- Kosten, Klein: Schnell, wenig Rechnung
- Kosten, Groß: Langsamer, teurer
Kleine Modelle sind schnell und günstig, planen aber schwächer. Halte Aufgaben kurz.
Das Labor läuft mit einem kleinen Modell auf dem Jetson. Kleine Modelle wählen häufiger das falsche Werkzeug, erfinden Parameter und verlieren in langen Verläufen den Faden. Große Modelle planen meist besser, brauchen aber mehr Rechenleistung, sind langsamer und kosten mehr.
Praktische Folgerung: Mit einem kleinen Modell hältst du Aufgaben kurz, Werkzeuge wenige und die Beschreibungen eindeutig. Probiere im Baustein oben, wie aus Einzelfehlern eine Kette wird.
Dauer und Kosten wachsen mit der Zahl der Runden. Eine Runde auf einem kleinen Modell dauert nur wenige Sekunden, bei fünf Runden und längerem Verlauf wird daraus spürbare Wartezeit. Bei Diensten gegen Bezahlung zählen die verarbeiteten Tokens, und der wachsende Verlauf treibt die Rechnung. Rechne vor dem Einsatz grob nach: Runden mal Verlauf mal Anfragen pro Tag.