Agenten

Agent mit Werkzeugen

Kurz gesagt: Das Modell entscheidet selbst, ob es ein Werkzeug aufruft oder antwortet. Aufruf, Ergebnis, neue Entscheidung. Nach höchstens fünf Runden endet die Schleife.

Ein Sprachmodell, das selbst entscheidet, wann es ein Werkzeug braucht, und in Schritten zur Antwort kommt.

Ein Agent ist ein Modell mit Werkzeugen

Übersicht
  • rechne (Zahlen, einfache Zeichen)
  • uhrzeit (aktuelle Zeit)
  • dokumentsuche (in den Dokumenten)

Das Modell entscheidet selbst, ob es ein Werkzeug aufruft oder antwortet.

Ein Agent bekommt zusätzlich zur Frage eine Liste von Werkzeugen beschrieben, hier: rechne, uhrzeit und dokumentsuche. Statt sofort zu antworten, kann er einen Werkzeugaufruf ausgeben. Der Jetson führt ihn aus und gibt das Ergebnis zurück. Das Modell entscheidet dann, ob es weiter arbeitet oder antwortet.

Die Schleife

Kreislauf
  • Modell entscheidet
  • Werkzeug läuft
  • Ergebnis zurück
  • Mitte: max. 5 Runden

Aufruf, Ergebnis, neue Entscheidung. Nach höchstens fünf Runden endet die Schleife.

  • Frage und Werkzeugliste gehen an das Modell.
  • Das Modell antwortet entweder mit einem Werkzeugaufruf oder mit dem Ergebnis.
  • Bei einem Aufruf führt der Jetson das Werkzeug aus und hängt das Ergebnis an die Unterhaltung.
  • Das Modell sieht das Ergebnis und entscheidet neu. Nach höchstens fünf Runden endet die Schleife.

Worauf du achten solltest

Vergleich
  • Links: Risiko: Falsches Werkzeug, Erfundene Eingaben
  • Rechts: Schutz: Jeder Schritt sichtbar, Rechner nur für Zahlen

Kleine Modelle greifen manchmal daneben. Darum zeigt das Labor jeden Schritt und begrenzt den Rechner.

Kleine Modelle wählen manchmal das falsche Werkzeug oder erfinden Eingaben. Darum zeigt das Labor jeden Schritt. Werkzeuge sind der Punkt, an dem ein Agent echten Schaden anrichten könnte. Deshalb ist der Rechner hier streng begrenzt: Er versteht nur Zahlen und einfache Rechenzeichen.

Im Business

Abläufe, bei denen mehrere Systeme nacheinander gefragt werden müssen: Auftragsstatus nachschlagen, Preis berechnen, Antwort formulieren.

  • Ticket vorsortieren
  • Bestellstatus abfragen und Kunden informieren

Grenzen

  • Je mächtiger die Werkzeuge, desto wichtiger sind Grenzen und Freigaben durch einen Menschen.
  • Mehrere Schritte multiplizieren Fehler: Ein falscher Zwischenschritt zieht die Antwort mit.

Weiter geht es