Die KI darf vorbereiten – der Mensch muss entscheiden

Agentische Systeme können Daten sammeln, Varianten vergleichen, Texte und Code vorbereiten, Richtlinien prüfen und eine Handlung vorschlagen. Gerade diese Produktivität erzeugt eine gefährliche Verwechslung: Weil die Vorbereitung gut aussieht, erscheint die Freigabe nur noch als letzter Klick. Dann entscheidet formal ein Mensch, praktisch aber das System.

Wirksame Kontrolle beginnt deshalb nicht mit der Frage, wo ein „Approve"-Button steht. Sie beginnt mit der Trennung von Vorbereitung, Entscheidung und Ausführung. Die KI darf Evidenz strukturieren und einen Vorschlag begründen. Ein zuständiger Mensch entscheidet bei definierten Folgenfällen. Erst eine an den konkreten Vorschlag gebundene Freigabe darf die Ausführung ermöglichen.

Kein pauschales Gesetz, sondern ein risikobasiertes Prinzip

Nicht jede KI-Anwendung verlangt eine menschliche Einzelentscheidung. Eine Rechtschreibkorrektur, ein reversibler Testlauf oder eine niedrig riskante Sortierung kann automatisiert werden. Bei Personalentscheidungen, Kreditwürdigkeit, Gesundheitsversorgung, Zugang zu Leistungen, Veröffentlichung, Zahlung, Löschung oder weitreichenden Systemänderungen steigen hingegen Wirkung und Schutzbedarf.

Der EU AI Act verlangt für Hochrisiko-KI-Systeme Maßnahmen, die wirksame menschliche Aufsicht ermöglichen. Die DSGVO enthält für bestimmte Entscheidungen, die ausschließlich automatisiert getroffen werden und rechtliche oder ähnlich erhebliche Wirkung entfalten, besondere Regeln. Beide Normen besitzen einen genaueren Anwendungsbereich als der Satz „Ein Mensch muss immer entscheiden". Gute Governance überträgt ihren Kontrollgedanken auf das eigene Risikomodell, ohne falsche Allgemeingültigkeit zu behaupten.

Die Schwelle für menschliche Entscheidung folgt mindestens fünf Dimensionen: Wirkung auf Menschen oder Vermögen, Reversibilität, Reichweite, Datenempfindlichkeit und Unsicherheit. Hinzu kommen regulatorische Vorgaben, externe Sichtbarkeit und die Möglichkeit kumulativer Schäden.

Vorbereitung und Entscheidung brauchen eine harte Grenze

Die KI kann eine Akte vervollständigen, fehlende Nachweise markieren, Alternativen berechnen und eine Empfehlung formulieren. Sie darf aber nicht zugleich die Kriterien heimlich verändern, die Freigabe fingieren oder sich selbst die Rechte zur Ausführung geben. Vorbereitung erzeugt einen Entscheidungsvorschlag; sie erzeugt noch keine Autorisierung.

Diese Grenze wird technisch modelliert. Ein Vorschlag besitzt eine eindeutige ID, Version, Gültigkeitsdauer und einen Hash über den Aktionsumfang. Änderungen an Empfänger, Betrag, Datensatz, Zielsystem, Inhalt oder Bedingungen machen die alte Freigabe ungültig. Die Ausführung prüft nicht nur, ob irgendwann jemand zugestimmt hat, sondern ob genau diese Person genau dieser unveränderten Aktion zustimmen durfte.

Bedeutungsvolle Aufsicht hat sechs Voraussetzungen

Ein Mensch im Prozess ist noch kein Human-in-the-Loop. Wirksame Aufsicht verlangt:

1 · Kompetenz: Die Person versteht Domäne, Systemgrenzen und typische Fehlermuster.

2 · Information: Sie sieht Quellen, Abweichungen, Unsicherheit, Alternativen und erwartete Wirkung.

3 · Zeit: Die Prüfung ist organisatorisch möglich und nicht auf Sekunden reduziert.

4 · Autorität: Die Person darf ablehnen, einschränken, zurückgeben oder eskalieren.

5 · Unabhängigkeit: Zielvorgaben belohnen nicht bloß hohe Freigabequoten.

6 · Rechtzeitigkeit: Die Entscheidung fällt vor externer Wirkung und kann sie tatsächlich verhindern.

Fehlt eine dieser Bedingungen, wird aus Aufsicht leicht Dekoration. Ein fachfremder Prüfer mit hundert Vorgängen pro Stunde und ohne Ablehnungsrecht ist kein wirksamer Entscheider, selbst wenn sein Name im Log steht.

Das Evidenzpaket muss entscheidbar sein

Der Mensch braucht keine vollständige Rohdatendeponie, sondern eine kompakte, prüfbare Entscheidungsvorlage. Sie enthält den vorgeschlagenen Schritt, betroffene Objekte oder Personen, Zweck, verwendete Eingaben und Versionen, relevante Quellen, Abweichungen, Unsicherheiten, Alternativen, Policy-Prüfung, erwartete Nebenwirkungen, Rücknahmeplan und Ablaufzeit.

Zusätzlich zeigt ein Diff, was sich gegenüber dem zuletzt freigegebenen Zustand ändert. Bei großen Mengen werden repräsentative Beispiele, Ausreißer und Grenzfälle sichtbar gemacht. Der Vorschlag nennt auch, was das System nicht weiß. Eine Konfidenzzahl ohne Kalibrierung, Bezugsgröße und Entscheidungskontext ist keine ausreichende Erklärung.

Das Interface darf die Empfehlung nicht als neutrale Wahrheit inszenieren. Ablehnen, bearbeiten und eskalieren müssen ebenso erreichbar sein wie freigeben. Quellen werden vor der Empfehlung präsentiert oder zumindest gleichgewichtig zugänglich gemacht. Sonst verstärkt das Design Automation Bias.

Ampellogik macht Entscheidungsschwellen explizit

Eine Ampel ersetzt kein Urteil, aber sie verhindert improvisierte Zuständigkeit:

Grün: geringe Wirkung, reversibel, bekannte Daten, Policy-konform und innerhalb enger Grenzen. Automatische Ausführung oder Stichprobe kann zulässig sein.

Gelb: neue Datenquelle, Grenzwertnähe, widersprüchliche Evidenz, ungewöhnliche Reichweite oder erhöhte Unsicherheit. Der Prozess pausiert für qualifizierte Prüfung.

Rot: verbotene Aktion, fehlender Pflichtnachweis, sensible oder irreversible Wirkung, Interessenkonflikt oder überschrittenes Limit. Der Vorgang wird abgelehnt oder an eine höhere Instanz eskaliert; Rot ist kein besonders großer Freigabeknopf.

Die Regeln stehen in versionierter Policy und lassen sich testen. Wenn ein Modell seine eigene Ampelstufe frei formuliert, kontrolliert es indirekt seine Aufsicht. Einstufung und Berechtigungsprüfung benötigen daher deterministische Regeln oder eine unabhängige Kontrollkomponente.

Freigabe muss an Wirkung gebunden sein

„Sieht gut aus" in einem Chat ist keine belastbare Autorisierung. Eine Freigabe zeichnet Entscheider, Rolle, Zeitpunkt, Vorschlags-ID, Hash, Umfang, Bedingungen und Ablaufzeit auf. Optional enthält sie ein Vier-Augen-Prinzip für irreversible, finanzielle oder besonders sensible Aktionen.

Die Bestätigung wirkt nur einmal oder über einen ausdrücklich definierten Stapel. Sie darf nicht als dauerhafte Generalvollmacht wiederverwendet werden. Vor Ausführung prüft ein Gate Identität, Rechte, Unverändertheit, Frist und Policy. Danach erzeugt die Aktion eine eigene Ausführungs-ID und einen Ergebnisnachweis.

Diese Kette schützt auch vor Race Conditions: Ändern sich Daten nach der Prüfung wesentlich, muss neu entschieden werden. Bei externen Systemen verhindern Idempotenzschlüssel doppelte Zahlungen, Nachrichten oder Löschungen.

Funktionstrennung reduziert blinde Flecken