KI-Agent erstellen: selbst bauen oder bauen lassen?

Bei einem KI-Agenten steuert ein Sprachmodell den Ablauf. Anthropic grenzt das von einem Workflow ab: Im Workflow laufen Modell und Werkzeuge über feste Pfade, die jemand vorher programmiert hat. Beim Agenten bestimmt das Modell selbst, wie es vorgeht und welche Werkzeuge es nutzt.

Ein Chatbot ist deshalb noch kein Agent. OpenAI zählt einfache Chatbots, einzelne Modellaufrufe und Klassifikatoren ausdrücklich nicht dazu. Sie nutzen ein Modell, steuern damit aber keinen Ablauf.

Auch eine feste Automatisierung ist kein Agent, selbst wenn ein Modell darin einen Schritt übernimmt. Die Schritte und ihre Reihenfolge stehen vorher fest.

OpenAI nennt drei Bestandteile:

• Modell: Das Sprachmodell, das überlegt und entscheidet.
• Werkzeuge: Funktionen oder Schnittstellen, mit denen der Agent Daten holt oder etwas auslöst, zum Beispiel eine Mail senden oder einen Datensatz ändern.
• Anweisungen: Regeln und Grenzen, die festlegen, wie sich der Agent verhält.

Anthropic nennt als Erweiterungen eines Modells außerdem den Abruf von Wissen und Speicher. Den Speicher stellt deine Anwendung bereit. Anthropics Speicher-Werkzeug legt ihn in Dateien ab, die du kontrollierst.

Wie ein Modell Denkschritte und Aktionen abwechselnd erzeugen kann, beschrieb die Forschung 2022 unter dem Namen ReAct.

Ein einfacher Agent braucht wenig Code. Der Kern ist eine Schleife, die Anthropic in fünf Schritten beschreibt:

1. Du schickst die Anfrage und die Beschreibung der Werkzeuge an das Modell.
2. Das Modell antwortet mit einem Werkzeugaufruf.
3. Dein Code führt ihn aus.
4. Du schickst das Ergebnis an das Modell zurück.
5. Das wiederholt sich, solange das Modell weitere Werkzeuge verlangt.

Das Modell führt dabei nichts selbst aus. Alles, was ein Agent tut, läuft über deinen Code, auch jede Grenze, die du ihm setzt.

Anthropic rät, direkt mit den Schnittstellen der Anbieter zu beginnen, weil sich viele Muster in wenigen Zeilen Code umsetzen lassen. Frameworks erleichtern den Einstieg, legen aber zusätzliche Schichten über die Eingaben und Antworten des Modells. Das kann die Fehlersuche erschweren. Ob mit Bibliothek oder von Grund auf: Modell, Werkzeuge und Anweisungen bleiben dieselben.

Selbst bauen heißt also, die Schleife zu schreiben und über Werkzeuge, Rechte, Obergrenzen und Freigaben zu entscheiden. Genau damit beschäftigt sich der nächste Abschnitt.

Sechs Dinge kommen dazu, sobald ein Agent läuft.

Kosten je Aufruf

Jeder Schritt der Schleife ist ein Modellaufruf, und ein Agent braucht mehrere pro Aufgabe. Abgerechnet wird nach Tokens, also nach der Textmenge, die ins Modell geht und herauskommt, samt den Beschreibungen der Werkzeuge. Anthropic schreibt, dass Agenten oft Reaktionszeit und Kosten gegen bessere Ergebnisse tauschen. Setze deshalb eine Obergrenze für die Zahl der Schritte.

Fehler

Ein Modell kann falsche Inhalte so formulieren, als wären sie sicher. Das US-Institut NIST nennt das Konfabulation. Im Agenten wirkt ein Fehler weiter: Anthropic warnt vor sich aufschaukelnden Fehlern und rät zu ausgiebigen Tests in einer abgeschotteten Umgebung. Liest der Agent fremde Texte wie Mails oder Webseiten, kann ein Text Anweisungen enthalten, die das Modell befolgt. OWASP nennt das indirekte Prompt Injection.

Protokoll

Halte jeden Werkzeugaufruf fest. Das Model Context Protocol, eine Spezifikation, mit der Server Werkzeuge für Sprachmodelle bereitstellen, empfiehlt Clients ausdrücklich, deren Nutzung für Prüfungen zu protokollieren. Anthropic rät, die Planungsschritte eines Agenten sichtbar zu machen.

Freigabe durch einen Menschen

OpenAI nennt zwei Auslöser für einen Menschen im Ablauf: wenn der Agent eine festgelegte Zahl von Versuchen überschreitet, und bei Handlungen mit hohem Risiko, etwa Bestellungen stornieren, große Rückerstattungen genehmigen oder Zahlungen auslösen. OWASP empfiehlt, hochwirksame Aktionen von einem Menschen bestätigen zu lassen. Das Model Context Protocol empfiehlt, dass immer ein Mensch Werkzeugaufrufe ablehnen kann.

Rechte der Werkzeuge

Ein Werkzeug soll nicht mehr können, als die Aufgabe braucht. OWASP nennt als Ursachen für übermäßige Handlungsmacht zu viele Funktionen, zu weitreichende Rechte und zu viel Autonomie. OpenAI stuft Werkzeuge nach Risiko ein: nur lesen oder auch schreiben, rückgängig zu machen oder nicht, Rechte des Kontos, Folgen für Geld.

Modellwechsel

Anbieter stellen ältere Modelle ein. Anthropic und OpenAI nennen in ihrer Dokumentation Abschaltdaten, meist mit Nachfolger. Anfragen an ein abgeschaltetes Modell schlagen fehl, schreibt Anthropic, und rät, das neue Modell lange vor dem Datum zu testen. Anwendungen auf Basis eines Modells brauchen deshalb gelegentlich Updates.

Die erste Frage: Kannst du die Schritte vorher aufschreiben? Dann genügt womöglich eine feste Automatisierung. Anthropic empfiehlt, die einfachste Lösung zu suchen und die Komplexität nur zu erhöhen, wenn es nötig ist. Feste Workflows bieten laut Anthropic Berechenbarkeit für klar umrissene Aufgaben. OpenAI schreibt, dass bei unklaren Kriterien eine deterministische Lösung reichen kann.

Einen Mehrwert sieht OpenAI vor allem in drei Fällen: Entscheidungen verlangen Urteilsvermögen und Ausnahmen, ein Regelwerk ist kaum noch zu pflegen, oder es geht um viel unstrukturierten Text, etwa Dokumente und Gespräche.

Die Tabelle ist eine Faustregel, keine Vorgabe aus den Quellen. Sie folgt den Risikokriterien von OpenAI (nur lesen oder schreiben, rückgängig zu machen, Rechte des Kontos, Folgen für Geld) und der Warnung von OWASP vor zu weitreichenden Rechten und fremden Texten. OpenAI leitet daraus ab: Bei hohem Risiko hält der Agent für Prüfungen an oder gibt an einen Menschen ab.

Wie du dich auch entscheidest: Fang klein an. OpenAI rät, mit einem einzelnen Agenten zu beginnen, mit echten Nutzern zu prüfen und erst bei Bedarf auszubauen.

Lautet die Antwort „bauen lassen“, ist das die Leistung KI-Automatisierung in Wien.