Sichere Agenten: Rechte, Sandboxes, Reviews und die Kunst des Nein-Sagens

Ein Agent wirkt dann beeindruckend, wenn er nicht nur antwortet, sondern handelt: Dateien sortiert, Informationen vorbereitet, Schritte anstößt oder einen Prozess fortsetzt. Gerade deshalb beginnt gute Gestaltung nicht mit der längsten Aufgabenliste. Sie beginnt mit einer Grenze. Was darf dieses System in dieser Situation tun, welche Wirkung darf es auslösen – und wann muss es anhalten?

Der Unterschied zwischen einem Assistenten und einem Agenten liegt nicht in der Intelligenz, sondern in der Wirkung. Ein Assistent schlägt vor, ein Agent verändert. Sobald ein System die Welt verändern kann, wird die Frage nach Grenzen zur wichtigsten Gestaltungsfrage – wichtiger als jede zusätzliche Fähigkeit.

Rechte sind kein Detail

Jede Fähigkeit eines Agenten ist auch eine Möglichkeit, etwas zu verändern. Lesen, Schreiben, Versenden, Löschen oder Ausführen sind nicht bloß technische Verben. Sie haben unterschiedliche Folgen. Wer diese Folgen nicht trennt, gibt einer bequemen Automatisierung zu viel Raum und merkt den Unterschied erst dann, wenn ein Fehler bereits Wirkung hatte.

Beginne darum mit dem kleinsten sinnvollen Recht. Ein Agent, der Material ordnen soll, muss nicht gleichzeitig veröffentlichen können. Ein Agent, der einen Entwurf vorbereitet, braucht keine Freigabe für eine verbindliche Entscheidung. Rechte wachsen mit beobachteter Zuverlässigkeit und klarer Notwendigkeit – nicht mit dem Wunsch, alles in einem Durchlauf zu erledigen.

Nützlich ist dabei die Unterscheidung zwischen lesenden und verändernden Rechten. Lesen ist selten gefährlich, solange die Daten es zulassen. Verändern und Versenden verlassen den geschützten Raum. Wer beide Arten getrennt vergibt, kann einem Agenten viel Kontext geben, ohne ihm zugleich viel Wirkung zu erlauben.

Abgrenzung macht Fehler klein

Eine Sandbox ist vor allem eine Denkweise: Arbeit wird zuerst in einem begrenzten Raum ausprobiert. Dort können Eingaben, Zwischenergebnisse und Regeln sichtbar werden, ohne dass jeder Versuch sofort echte Folgen hat. Die Frage lautet nicht nur: Kann der Agent diese Aufgabe erledigen? Sie lautet auch: Wo kann er sie erledigen, sodass ein Irrtum überschaubar bleibt?

Die kleinste sichere Umgebung ist oft erstaunlich schlicht. Beispielmaterial statt Originalbestand, Entwürfe statt Veröffentlichung, eine Kopie statt einer dauerhaften Änderung. Diese Trennung schafft eine zweite Chance. Sie erlaubt, aus einem Ablauf zu lernen, bevor man ihm Reichweite gibt.

Eine Sandbox ist kein Käfig, sondern ein Übungsplatz. Ihr Zweck ist nicht, den Agenten klein zu halten, sondern ihm einen Ort zu geben, an dem Zuverlässigkeit sichtbar werden kann. Erst wenn ein Ablauf im begrenzten Raum wiederholt gut funktioniert, ist es begründet, ihm mehr Reichweite zu geben.

Review ist ein Arbeitsschritt, kein Misstrauen

Menschen sollen nicht jeden Klick wiederholen. Aber sie sollten an den Stellen entscheiden, an denen Kontext, Verantwortung oder Folgen zusammenkommen. Ein guter Reviewpunkt ist konkret: Wird diese Information verwendet? Ist diese Änderung sinnvoll? Darf dieses Ergebnis nach außen gehen?

Ein Review wird schwach, wenn er am Ende eines langen Prozesses nur noch „Ja" oder „Nein" verlangt. Besser sind kleine Übergaben: Der Agent fasst zusammen, was er getan hat, benennt seine Grundlage, zeigt offene Unsicherheiten und schlägt den nächsten Schritt vor. Der Mensch entscheidet dann nicht aus Müdigkeit, sondern mit einer lesbaren Lage.

Der beste Reviewpunkt liegt vor der Wirkung, nicht danach. Eine Prüfung, die erst greift, wenn eine E-Mail bereits versendet oder eine Datei bereits gelöscht wurde, ist keine Prüfung, sondern eine Nachricht über einen Schaden. Platziere den Review dort, wo eine Entscheidung noch reversibel ist.

Das Nein gehört zur Qualität

Ein sicheres System darf nicht nur bei Fehlern stoppen. Es muss auch bei Unklarheit innehalten. Fehlende Informationen, widersprüchliche Anweisungen, unerwartete Daten oder eine Wirkung außerhalb des vereinbarten Rahmens sind gute Gründe für eine Rückfrage. Das ist keine Schwäche. Es ist eine präzise Form von Kompetenz.

Schreibe diese Stoppsignale vor dem ersten Lauf auf. „Frage nach, wenn die Zielgruppe fehlt." „Führe keine Änderung aus, wenn sie nicht rückgängig gemacht werden kann." „Gib keine externe Erklärung ab, bevor sie geprüft wurde." Solche Regeln machen aus einem allgemeinen Sicherheitswunsch eine Arbeitsweise, die sich testen lässt.

Sichere Autonomie ist gute Zusammenarbeit

Sichere Autonomie ist keine Frage von Angst oder Kontrolle um der Kontrolle willen. Sie ist eine Form guter Zusammenarbeit. Wenn Rechte klein beginnen, Folgen begrenzt bleiben und ein Nein vorgesehen ist, kann ein Agent nützlich handeln, ohne dass Menschen ihre Verantwortung an ein undurchschaubares System abgeben.

So verschiebt sich die Frage von „Wie viel kann der Agent?" zu „Worauf können wir uns bei ihm verlassen?". Das ist die eigentliche Reife eines Systems: nicht die Länge seiner Fähigkeitsliste, sondern die Verlässlichkeit seiner Grenzen.

Die Sicherheitskarte für einen Agenten

Eine einzige Karte hält die Grenzen zusammen. Sie fasst Aufgabe, erlaubte Rechte, Verbote, Arbeitsraum, Reviewpunkt und Stoppsignal auf einer halben Seite – fülle sie aus, bevor du den Ablauf baust.

# SICHERHEITSKARTE

**Aufgabe**
Der Agent darf …

**Erlaubte Rechte**
Er darf lesen … und vorbereiten …

**Nicht erlaubt**
Er darf nicht …

**Arbeitsraum**
Er arbeitet nur mit …

**Reviewpunkt**
Vor … zeigt er …

**Stoppsignal**
Er hält an und fragt nach, wenn …

Ein sicherer Agent ist keine Abkürzung um Verantwortung herum. Er ist Verantwortung in einer klaren Form. Wenn Rechte, Arbeitsraum, Review und Nein sichtbar sind, kann Autonomie nützlich sein, ohne dass jemand die Kontrolle über die Wirkung verliert.

Übungsblatt: Schreibe eine Sicherheitskarte

Wähle eine konkrete Agentenaufgabe. Baue nicht zuerst den Ablauf. Lege zuerst fest, welche Wirkung erlaubt ist und an welcher Stelle ein Mensch entscheiden muss.

Wirkung beschreiben. Vervollständige: „Nach diesem Schritt darf sich … verändern." Benenne die Veränderung so konkret wie möglich.

Kleinstes Recht wählen. Notiere, was der Agent lesen, vorbereiten oder ausführen darf. Streiche jedes Recht, das für die erste Version nicht nötig ist.

Arbeitsraum begrenzen. Lege fest, mit welchem Material der erste Test arbeitet. Wähle eine Umgebung, in der ein Fehler rückgängig oder sichtbar gemacht werden kann.

Review und Stopp formulieren. Schreibe einen Reviewpunkt und zwei Stoppsignale. Prüfe, ob eine andere Person erkennen könnte, wann der Agent nicht weitermachen darf.

Alle Materialien zum Download – die Themenübersicht und das Übungsblatt: