Der Unterschied zum Chat
- Links: Chat: Antwortet aus Erinnerung, Kann nichts nachsehen, Führt nichts aus
- Rechts: Agent: Wählt Werkzeuge, Liest Ergebnisse, Macht weiter bis fertig
Ein Chat antwortet aus dem Gelernten. Ein Agent schlägt nach, rechnet und handelt.
Im Chat stellst du eine Frage, das Sprachmodell antwortet aus dem, was es beim Training gelernt hat. Es kann nichts nachschlagen und nichts ausführen. Es kennt weder die aktuelle Uhrzeit noch deinen Auftragsbestand.
Ein Agent bekommt zusätzlich Hilfsmittel. Er kann Informationen abrufen, etwas berechnen, ein Ticket anlegen. Er entscheidet selbst, welches Hilfsmittel er wann braucht. Die Antwort am Ende stützt sich auf echte Ergebnisse statt auf Erinnerung.
Werkzeuge: Funktionen mit Beschreibung
- rechne
- uhrzeit
- dokumentsuche
- Datenbank (abfragen)
- Mail (entwerfen)
- Ticket (anlegen)
Jedes Werkzeug hat Name, Beschreibung und Parameter. Das Modell wählt nach der Beschreibung.
Ein Werkzeug ist eine Funktion, die Software ausführen kann: eine Datenbank abfragen, eine Mail entwerfen, einen Rechner bedienen. Das Modell bekommt zu jedem Werkzeug drei Angaben: einen Namen, eine kurze Beschreibung, wann man es nutzt, und die Parameter, die es braucht.
Das Modell führt das Werkzeug nie selbst aus. Es schreibt nur, welches Werkzeug mit welchen Werten aufgerufen werden soll. Ein normales Programm drumherum führt den Aufruf aus und gibt das Ergebnis zurück. Diese Trennung ist wichtig für die Sicherheit, denn sie erlaubt Kontrolle (siehe Rechte, Prompt-Injection und Freigaben).
Die Schleife: denken, aufrufen, lesen
- Entscheiden
- Werkzeug nennen
- Programm führt aus
- Ergebnis lesen
- Mitte: Agentenschleife
Das Modell entscheidet, nennt ein Werkzeug, liest das Ergebnis und entscheidet neu.
Ein Agent arbeitet in einer Schleife. Dieses Muster heißt oft ReAct (Denken und Handeln im Wechsel).
- Das Modell liest Aufgabe und bisherigen Verlauf und entscheidet: Brauche ich ein Werkzeug, oder kann ich antworten?
- Braucht es eines, nennt es Werkzeug und Parameter.
- Das Programm führt es aus und hängt das Ergebnis an den Verlauf.
- Das Modell liest das Ergebnis und entscheidet neu. So lange, bis es antwortet oder eine Grenze erreicht ist.
Gedächtnis: Kontext und Notizen
- Notizen (Datei, Datenbank: bleiben)
- Kontext (Verlauf: begrenzt)
- Modell (behält nichts)
Das Modell behält nichts. Es kennt nur den mitgeschickten Verlauf und Notizen außerhalb.
Das Modell selbst behält zwischen zwei Aufrufen nichts. Was es „weiß“, steht im Verlauf, der jedes Mal mitgeschickt wird: Aufgabe, bisherige Aufrufe, Ergebnisse. Dieser Verlauf heißt Kontext und hat eine Obergrenze.
Für Dinge, die länger gelten sollen, braucht der Agent Notizen außerhalb des Modells: eine Datei, eine Datenbank oder eine Dokumentensammlung. Er schreibt etwas hinein und liest es später wieder heraus. Genau so funktioniert die Dokumentsuche im RAG-Labor.
Ein Durchlauf an einem Beispiel
- Runde 1: rechne: 240 mal 0,18 = 43,2
- Runde 2: uhrzeit: aktuelle Zeit
- Runde 3: Antwort ohne Aufruf, Ende
Drei Runden, kein Schritt war vorher festgelegt: rechnen, Uhrzeit holen, antworten.
Die Aufgabe lautet: „Wie viel sind 18 Prozent von 240, und wie spät ist es?“ Im Labor läuft das so ab.
- Runde 1: Das Modell erkennt, dass es rechnen muss, und ruft rechne mit „240 mal 0,18“ auf. Ergebnis: 43,2.
- Runde 2: Es merkt, dass die Uhrzeit fehlt, und ruft uhrzeit auf. Ergebnis: die aktuelle Zeit.
- Runde 3: Es hat beide Ergebnisse im Verlauf und formuliert die Antwort. Kein weiterer Aufruf, die Schleife endet.
Wann ein Agent sinnvoll ist
- Fester Ablauf bis Agent, Marker bei 8 Prozent: Bestellbestätigung
- Fester Ablauf bis Agent, Marker bei 92 Prozent: Unklare Beschwerde
Ein Agent lohnt sich, wenn der Weg offen ist. Bei immer gleichen Schritten reicht ein fester Ablauf.
Ein Agent lohnt sich, wenn der Weg zur Lösung nicht vorab feststeht. Eine Kundenanfrage kann den Bestellstatus, eine Preisberechnung oder eine Rückfrage verlangen, je nach Fall. Das Modell wählt den Weg, ein starres Programm müsste jeden Fall vorher kennen.
Er ist die schlechtere Wahl, wenn die Schritte immer gleich sind. Dann ist ein fester Ablauf schneller, billiger und leichter zu prüfen.
| Merkmal | Fester Ablauf | Agent |
|---|---|---|
| Schritte | immer gleich, vorher bekannt | hängen vom Fall ab |
| Ergebnis | bei gleicher Eingabe gleich | kann abweichen |
| Kosten und Dauer | gering, planbar | mehrere Modellaufrufe, schwankend |
| Fehlersuche | einfach | braucht Protokoll jedes Schritts |
| Eignet sich für | Standardprozesse mit klaren Regeln | offene Fälle mit wechselnden Werkzeugen |
Zwei Arten, Fehler zu machen
- Aufgabe
- Werkzeug wählen (falsches Werkzeug, falsche Werte)
- Ergebnis lesen (falsch gedeutet)
- Antwort
Ein Agent scheitert an zwei Stellen: bei der Wahl des Werkzeugs und beim Deuten des Ergebnisses.
Ein Agent kann an zwei Stellen scheitern. Er kann das falsche Werkzeug wählen oder falsche Werte einsetzen. Oder er kann das Ergebnis falsch deuten und etwas Falsches antworten. Kleine Modelle machen beides öfter als große. Darum ist wichtig, dass du jeden Schritt sehen kannst.
Die Seite Planen, Schritte, Speicher und Fehler geht darauf ein. Die Seite Rechte und Freigaben zeigt, wie man verhindert, dass ein Fehler teuer wird.
Dein Weg im Labor
- 3 Werkzeuge im Labor
- etwa 3 Mrd. Parameter im kleinen Modell
- Alle Aufrufe sichtbar
Das Labor zeigt jeden Aufruf, jedes Ergebnis und die Runde, in der es geschah.
Das Agent-Labor verwendet ein kleines Modell mit etwa drei Milliarden Parametern und drei Werkzeugen: rechne, uhrzeit und dokumentsuche. Du siehst jeden Aufruf, jedes Ergebnis und die Runde, in der es geschah. Frage zuerst etwas, das ein Werkzeug braucht, und dann etwas, das keines braucht, und beobachte den Unterschied.
Das Modell dahinter ist ein Sprachmodell, wie es die Seite Generative KI beschreibt. Der Agent ergänzt es um Werkzeuge und die Schleife.