Die KI darf vorbereiten – der Mensch muss entscheiden

Agentische Systeme können Daten sammeln, Varianten vergleichen, Texte und Code vorbereiten, Richtlinien prüfen und eine Handlung vorschlagen. Gerade diese Produktivität erzeugt eine gefährliche Verwechslung: Weil die Vorbereitung gut aussieht, erscheint die Freigabe nur noch als letzter Klick. Dann entscheidet formal ein Mensch, praktisch aber das System.

Wirksame Kontrolle beginnt deshalb nicht mit der Frage, wo ein „Approve"-Button steht. Sie beginnt mit der Trennung von Vorbereitung, Entscheidung und Ausführung. Die KI darf Evidenz strukturieren und einen Vorschlag begründen. Ein zuständiger Mensch entscheidet bei definierten Folgenfällen. Erst eine an den konkreten Vorschlag gebundene Freigabe darf die Ausführung ermöglichen.

Kein pauschales Gesetz, sondern ein risikobasiertes Prinzip

Nicht jede KI-Anwendung verlangt eine menschliche Einzelentscheidung. Eine Rechtschreibkorrektur, ein reversibler Testlauf oder eine niedrig riskante Sortierung kann automatisiert werden. Bei Personalentscheidungen, Kreditwürdigkeit, Gesundheitsversorgung, Zugang zu Leistungen, Veröffentlichung, Zahlung, Löschung oder weitreichenden Systemänderungen steigen hingegen Wirkung und Schutzbedarf.

Der EU AI Act verlangt für Hochrisiko-KI-Systeme Maßnahmen, die wirksame menschliche Aufsicht ermöglichen. Die DSGVO enthält für bestimmte Entscheidungen, die ausschließlich automatisiert getroffen werden und rechtliche oder ähnlich erhebliche Wirkung entfalten, besondere Regeln. Beide Normen besitzen einen genaueren Anwendungsbereich als der Satz „Ein Mensch muss immer entscheiden". Gute Governance überträgt ihren Kontrollgedanken auf das eigene Risikomodell, ohne falsche Allgemeingültigkeit zu behaupten.

Die Schwelle für menschliche Entscheidung folgt mindestens fünf Dimensionen: Wirkung auf Menschen oder Vermögen, Reversibilität, Reichweite, Datenempfindlichkeit und Unsicherheit. Hinzu kommen regulatorische Vorgaben, externe Sichtbarkeit und die Möglichkeit kumulativer Schäden.

Vorbereitung und Entscheidung brauchen eine harte Grenze

Die KI kann eine Akte vervollständigen, fehlende Nachweise markieren, Alternativen berechnen und eine Empfehlung formulieren. Sie darf aber nicht zugleich die Kriterien heimlich verändern, die Freigabe fingieren oder sich selbst die Rechte zur Ausführung geben. Vorbereitung erzeugt einen Entscheidungsvorschlag; sie erzeugt noch keine Autorisierung.

Diese Grenze wird technisch modelliert. Ein Vorschlag besitzt eine eindeutige ID, Version, Gültigkeitsdauer und einen Hash über den Aktionsumfang. Änderungen an Empfänger, Betrag, Datensatz, Zielsystem, Inhalt oder Bedingungen machen die alte Freigabe ungültig. Die Ausführung prüft nicht nur, ob irgendwann jemand zugestimmt hat, sondern ob genau diese Person genau dieser unveränderten Aktion zustimmen durfte.

Bedeutungsvolle Aufsicht hat sechs Voraussetzungen

Ein Mensch im Prozess ist noch kein Human-in-the-Loop. Wirksame Aufsicht verlangt:

1 · Kompetenz: Die Person versteht Domäne, Systemgrenzen und typische Fehlermuster.

2 · Information: Sie sieht Quellen, Abweichungen, Unsicherheit, Alternativen und erwartete Wirkung.

3 · Zeit: Die Prüfung ist organisatorisch möglich und nicht auf Sekunden reduziert.

4 · Autorität: Die Person darf ablehnen, einschränken, zurückgeben oder eskalieren.

5 · Unabhängigkeit: Zielvorgaben belohnen nicht bloß hohe Freigabequoten.

6 · Rechtzeitigkeit: Die Entscheidung fällt vor externer Wirkung und kann sie tatsächlich verhindern.

Fehlt eine dieser Bedingungen, wird aus Aufsicht leicht Dekoration. Ein fachfremder Prüfer mit hundert Vorgängen pro Stunde und ohne Ablehnungsrecht ist kein wirksamer Entscheider, selbst wenn sein Name im Log steht.

Das Evidenzpaket muss entscheidbar sein

Der Mensch braucht keine vollständige Rohdatendeponie, sondern eine kompakte, prüfbare Entscheidungsvorlage. Sie enthält den vorgeschlagenen Schritt, betroffene Objekte oder Personen, Zweck, verwendete Eingaben und Versionen, relevante Quellen, Abweichungen, Unsicherheiten, Alternativen, Policy-Prüfung, erwartete Nebenwirkungen, Rücknahmeplan und Ablaufzeit.

Zusätzlich zeigt ein Diff, was sich gegenüber dem zuletzt freigegebenen Zustand ändert. Bei großen Mengen werden repräsentative Beispiele, Ausreißer und Grenzfälle sichtbar gemacht. Der Vorschlag nennt auch, was das System nicht weiß. Eine Konfidenzzahl ohne Kalibrierung, Bezugsgröße und Entscheidungskontext ist keine ausreichende Erklärung.

Das Interface darf die Empfehlung nicht als neutrale Wahrheit inszenieren. Ablehnen, bearbeiten und eskalieren müssen ebenso erreichbar sein wie freigeben. Quellen werden vor der Empfehlung präsentiert oder zumindest gleichgewichtig zugänglich gemacht. Sonst verstärkt das Design Automation Bias.

Ampellogik macht Entscheidungsschwellen explizit

Eine Ampel ersetzt kein Urteil, aber sie verhindert improvisierte Zuständigkeit:

Grün: geringe Wirkung, reversibel, bekannte Daten, Policy-konform und innerhalb enger Grenzen. Automatische Ausführung oder Stichprobe kann zulässig sein.

Gelb: neue Datenquelle, Grenzwertnähe, widersprüchliche Evidenz, ungewöhnliche Reichweite oder erhöhte Unsicherheit. Der Prozess pausiert für qualifizierte Prüfung.

Rot: verbotene Aktion, fehlender Pflichtnachweis, sensible oder irreversible Wirkung, Interessenkonflikt oder überschrittenes Limit. Der Vorgang wird abgelehnt oder an eine höhere Instanz eskaliert; Rot ist kein besonders großer Freigabeknopf.

Die Regeln stehen in versionierter Policy und lassen sich testen. Wenn ein Modell seine eigene Ampelstufe frei formuliert, kontrolliert es indirekt seine Aufsicht. Einstufung und Berechtigungsprüfung benötigen daher deterministische Regeln oder eine unabhängige Kontrollkomponente.

Freigabe muss an Wirkung gebunden sein

„Sieht gut aus" in einem Chat ist keine belastbare Autorisierung. Eine Freigabe zeichnet Entscheider, Rolle, Zeitpunkt, Vorschlags-ID, Hash, Umfang, Bedingungen und Ablaufzeit auf. Optional enthält sie ein Vier-Augen-Prinzip für irreversible, finanzielle oder besonders sensible Aktionen.

Die Bestätigung wirkt nur einmal oder über einen ausdrücklich definierten Stapel. Sie darf nicht als dauerhafte Generalvollmacht wiederverwendet werden. Vor Ausführung prüft ein Gate Identität, Rechte, Unverändertheit, Frist und Policy. Danach erzeugt die Aktion eine eigene Ausführungs-ID und einen Ergebnisnachweis.

Diese Kette schützt auch vor Race Conditions: Ändern sich Daten nach der Prüfung wesentlich, muss neu entschieden werden. Bei externen Systemen verhindern Idempotenzschlüssel doppelte Zahlungen, Nachrichten oder Löschungen.

Funktionstrennung reduziert blinde Flecken

In kritischen Abläufen sollten Vorbereitung, fachliche Prüfung und technische Ausführung nicht bei derselben Identität liegen. Die KI bereitet vor, ein fachlich zuständiger Mensch entscheidet, und ein eng begrenzter Executor setzt die freigegebene Aktion um. Für sehr hohe Wirkung können zwei voneinander unabhängige Freigaben erforderlich sein.

Funktionstrennung ist kein Selbstzweck. Bei kleinen Teams kann eine zweite Rolle über Stichprobe, Schwellenwert oder Eskalation eingebunden werden. Entscheidend ist, dass niemand zugleich Vorschlag, Policy-Ausnahme und Auditnachweis unkontrolliert erzeugt.

Eskalation ist ein eigener Prozess

Ein gelber oder roter Fall darf nicht in einer Warteschlange verschwinden. Das System kennt fachliche und technische Eskalationswege, Stellvertretungen, Reaktionszeiten und sichere Zwischenzustände. Solange die Entscheidung offen ist, bleibt die Wirkung blockiert. Ein Timeout führt nicht automatisch zur Zustimmung.

Eskalationspakete enthalten den bisherigen Prüfpfad und die konkrete offene Frage. Die höhere Instanz sieht, warum die erste Prüfung nicht ausreichte. Entscheidungen mit Bedingungen werden maschinenlesbar zurückgegeben: etwa reduzierte Reichweite, zusätzliche Validierung oder ein engeres Zeitfenster.

Automation Bias wird gemessen, nicht nur erwähnt

Menschen folgen plausibel formulierten Empfehlungen oft zu schnell, besonders unter Zeitdruck. Gegenmaßnahmen sind unabhängige Erstprüfung ausgewählter Fakten, verdeckte Qualitätsfälle, wechselnde Darstellung, Begründungspflicht bei hoher Wirkung und regelmäßige Kalibrierung der Reviewer.

Kennzahlen dürfen nicht nur Durchsatz messen. Relevant sind Override-Rate, Übereinstimmung zwischen Prüfern, Anteil zurückgegebener Fälle, Dauer nach Risikostufe, nachträglich erkannte Fehlfreigaben, falsche Eskalationen und Ergebnisse für betroffene Gruppen. Eine extrem niedrige Ablehnungsquote kann Qualität bedeuten – oder Rubber Stamping. Deshalb wird sie zusammen mit Testfällen und Outcome-Daten interpretiert.

Betroffene brauchen einen Weg zum Widerspruch

Wo Entscheidungen Menschen erheblich betreffen, endet Human-in-the-Loop nicht an der internen Freigabe. Betroffene benötigen je nach Kontext verständliche Information, eine erreichbare Ansprechstelle, die Möglichkeit zur Korrektur falscher Daten und eine erneute Prüfung. Der zweite Blick muss mehr sein als die Wiederholung derselben Modellantwort.

Das Decision Log verbindet Vorschlag, Quellen, verantwortliche Person, Bedingungen, Ausführung und spätere Korrektur. Provenienz ermöglicht zu erklären, auf welchem Daten- und Policy-Stand entschieden wurde. Zugriffe auf dieses Log werden geschützt, weil es häufig sensible Informationen enthält.

Auch die Aufsicht selbst wird getestet

Ein Kontrollprozess wird vor Einführung mit Szenarien geprüft: fehlender Nachweis, widersprüchliche Daten, manipulierte Empfehlung, abgelaufene Freigabe, geänderter Aktionsumfang, nicht erreichbarer Entscheider und doppelte Ausführung. Der Test muss zeigen, dass das Gate sicher stoppt, korrekt eskaliert und aus einem bestätigten Zustand wieder aufgenommen werden kann.

Regelmäßige Übungen prüfen, ob Reviewer die Grenzen kennen und tatsächlich widersprechen. Nach Vorfällen wird nicht nur das Modell untersucht, sondern auch Interface, Arbeitslast, Anreizsystem, Policy und Berechtigungsarchitektur.

Das Protokoll für verantwortete Entscheidungen

1 · CLASSIFY: Wirkung, Reversibilität und Schutzbedarf bestimmen.

2 · PREPARE: Vorschlag und Evidenz ohne Ausführungsrecht erstellen.

3 · EXPLAIN: Diff, Quellen, Unsicherheit, Alternativen und Grenzen zeigen.

4 · CHALLENGE: Widerspruch, Gegenprüfung und Policy-Test ermöglichen.

5 · DECIDE: Zuständige Person genehmigt, begrenzt, lehnt ab oder eskaliert.

6 · BIND: Entscheidung an Identität, Version, Umfang, Bedingungen und Frist binden.

7 · EXECUTE: Nur die gebundene Aktion mit minimalen Rechten ausführen.

8 · TRACE: Ergebnis, Nebenwirkung und Provenienz unveränderbar referenzieren.

9 · REVIEW: Qualität, Overrides und reale Outcomes auswerten.

So wird menschliche Entscheidung weder zum Flaschenhals noch zum Theater. Die KI übernimmt aufwendige Vorbereitung. Der Mensch behält dort Entscheidungsmacht, wo Folgen, Rechte und Verantwortung sie verlangen.

Übungsblatt: Entwirf ein Human Decision Gate

1. Wähle einen konkreten agentischen Ablauf und benenne seine möglichen Wirkungen.

2. Trenne Vorbereitung, Entscheidung und Ausführung in eigene Rollen.

3. Definiere grüne, gelbe und rote Kriterien mit messbaren Schwellen.

4. Entwirf das Evidenzpaket einschließlich Diff, Quellen, Unsicherheit und Rollback.

5. Formuliere eine gebundene Freigabe mit ID, Hash, Umfang und Ablaufzeit.

6. Zeichne Eskalationsweg, Stellvertretung, SLA und sicheren Wartezustand.

7. Lege drei Tests gegen Rubber Stamping, veraltete Freigabe und doppelte Ausführung fest.

Reflexion: Wo bestätigt heute ein Mensch, ohne ausreichend informiert oder ablehnungsfähig zu sein? Welche Wirkung muss künftig zwingend vor der Ausführung gestoppt werden können?

Alle Materialien zum Download – die Themenübersicht und das Übungsblatt:

Einordnung: Menschliche Freigabe ist weder für jede KI-Nutzung gesetzlich vorgeschrieben noch allein ausreichend. Welche Aufsicht nötig ist, folgt Anwendungsfall, Wirkung, geltendem Recht und Risikoklasse. Fachlich geprüft am 17. Juli 2026.