Skip to main content
AI8 min read

Das KI-Agenten-Grenzproblem

Der schwierige Teil bei KI-Agenten ist nicht, ihnen Werkzeuge zu geben. Es geht darum, zu entscheiden, wo der Agent aufhört, wo Software beginnt und wo ein Mensch rechenschaftspflichtig bleiben muss.

Part ofAI Engineering->
By Jason TeixeiraJune 16, 2026
AI AgentsAutomationProduct SystemsSafetyWorkflow Design
Share:
On this page

Der einfachste Weg, einen KI-Agenten mächtig aussehen zu lassen, ist ihm zu viel Befugnis zu geben.

Lass ihn alles lesen. Lass ihn überall schreiben. Lass ihn die API aufrufen, die E-Mail senden, das CRM aktualisieren, die Rechnung erstatten und sich anschließend in einem selbstbewussten Absatz erklären.

Das ist kein Produkt. Das ist ein Berechtigungsvorfall, der nur auf eine Kalendereinladung wartet.

Der schwierige Teil bei Agenten ist nicht die Werkzeugnutzung. Der schwierige Teil ist die Grenze.

Ein Agent ist keine Berufsbezeichnung

"Vertriebsagent" ist keine Spezifikation.

Das gilt auch für "Support-Agent", "Forschungs-Agent" oder "Ops-Agent". Diese Formulierungen beschreiben einen Fantasie-Mitarbeiter, keine Software-Grenze.

Eine brauchbare Agenten-Spezifikation benennt die tatsächliche Schleife:

  • diese Eingaben lesen
  • aus diesen Aktionen wählen
  • unter diesen Bedingungen um Genehmigung bitten
  • in diese Systeme schreiben
  • diese Entscheidungen protokollieren
  • anhalten, wenn dies eintritt

Je kleiner die Schleife, desto besser der Agent.

Der Agent sollte eine einzige Entscheidungsfläche besitzen. Routing. Entwurf. Extraktion. Prüfung. Abgleich. Nicht "Betrieb führen".

Agenten-GrenzkarteFläche -> System
EingabeRichtlinieGenehmigungPrüfung

Der sichtbare Agent ist nur die Oberfläche. Das dauerhafte Produkt ist das System darum herum: Richtlinie, Werkzeuggrenzen, Genehmigungstore und eine Prüfspur.

Werkzeuge sollten eng sein, nicht beeindruckend

Die meisten Agenten-Demos zeigen eine Werkzeugliste wie eine Trophäenvitrine.

Das bessere Produktionsmuster ist langweilig:

  • ein Suchwerkzeug
  • ein strukturiertes Lesewerkzeug
  • ein Entwurfswerkzeug
  • ein Schreibwerkzeug mit Genehmigungstor
  • ein Eskalationspfad

Jedes Werkzeug sollte weniger tun, als das Modell möchte. Das Modell kann fragen. Das System entscheidet.

Wenn ein Werkzeug Daten verändern kann, braucht es Einschränkungen außerhalb des Prompts. Schema-Validierung. Erlaubnislisten. Ratenbegrenzungen. Idempotenz-Schlüssel. Prüfprotokolle. Menschliche Genehmigung, wenn Geld, Zugriff oder Reputation betroffen sind.

Der Prompt ist nicht das Berechtigungsmodell.

Menschen sind kein Rückfall für schlechtes Design

"Mensch in der Schleife" wird als dekorative Phrase verwendet.

Es sollte einen echten Kontrollpunkt bedeuten. Ein Mensch sieht die vorgeschlagene Aktion, die Quellenbelege, den Grund, das Risiko und das genaue Diff. Sie können genehmigen, bearbeiten, ablehnen oder an einen anderen Ort weiterleiten.

Wenn der Prüfbildschirm nur die endgültige Antwort zeigt, prüft der Prüfer nicht. Sie raten mit besserer Typografie.

Ein guter Genehmigungsbildschirm zeigt:

  • was sich geändert hat
  • warum der Agent denkt, dass es sich ändern sollte
  • welche Quellen er verwendet hat
  • was er nicht verifizieren konnte
  • was passiert, wenn der Prüfer mit Ja antwortet

Das ist der Unterschied zwischen einem Workflow und einem Zaubertrick.

Normale Software ist immer noch erlaubt

Nicht jeder Workflow braucht einen Agenten.

Wenn der Entscheidungsbaum stabil ist, schreibe Software. Wenn die Ausgabe exakt sein muss, schreibe Software. Wenn die Eingabe strukturiert und die Aktion deterministisch ist, schreibe Software.

Setze einen Agenten dort ein, wo Sprache, Mehrdeutigkeit und Urteilsvermögen das eigentliche Problem sind.

Das bedeutet normalerweise, dass der Agent am Rand eines Systems sitzt und unstrukturierte menschliche Eingaben in strukturierte Arbeit übersetzt. Er ersetzt nicht das System. Er speist es.

Die Grenz-Checkliste

Bevor ich einen Agenten baue, möchte ich fünf Sätze:

  1. Der Agent darf entscheiden: ___.
  2. Der Agent darf nicht entscheiden: ___.
  3. Der Agent kann diese Werkzeuge aufrufen: ___.
  4. Der Agent muss einen Menschen fragen, bevor ___.
  5. Jede Aktion wird protokolliert in: ___.

Wenn diese Sätze schwer zu schreiben sind, ist der Agent nicht bereit zum Bauen.

Die Grenze ist das Produkt.

Reader route

article -> proof -> offer

ReadClusterProofScope

cluster

AI Engineering

intent

AI

route

next step

What to do with this

Turn the note into a build path.

If this topic maps to a real business problem, keep reading the cluster, study the academy path, or route the work into a scoped engagement.

Jason Teixeira
Written by
Jason Teixeira
Founder, Sage Ideas Studio · Principal Engineer
livebuild 5d6c8652026-08-05 06:00Z
// solo studio// no analytics resold// every commit human-reviewed