Automatisiere nur, was du verifizieren kannst

Automatisierung wird häufig nach Machbarkeit beurteilt: Kann ein System den Vorgang ausführen? Für verantwortbare KI-Arbeit reicht diese Frage nicht. Ein Agent kann recherchieren, formulieren, Dateien verändern oder Entscheidungen vorbereiten und dabei Ergebnisse erzeugen, die überzeugend aussehen. Der entscheidende Maßstab lautet deshalb: Können wir mit vertretbarem Aufwand erkennen, ob das Ergebnis richtig, vollständig und für seinen Zweck geeignet ist? Wo diese Prüfung nicht mehr gelingt, endet nicht unbedingt die technische Fähigkeit – aber die verantwortbare Autonomie.

Die eigentliche Grenze entsteht nach der Ausgabe

Bei klassischer Automatisierung sind Erfolg und Fehler häufig gut beobachtbar. Eine Datei wurde übertragen oder nicht, ein Zahlenfeld erfüllt eine Regel oder nicht. Generative Systeme erzeugen dagegen offene Ergebnisse: einen Plan, eine Bewertung, eine Zusammenfassung oder eine Empfehlung. Solche Outputs können formal sauber und dennoch sachlich unvollständig sein.

Deshalb darf die Planung nicht bei der Aktion enden. Zu jeder automatisierten Handlung gehört ein Prüfpfad. Er beschreibt, woran ein gutes Ergebnis erkannt wird, welche Grundlage dafür gilt und was geschieht, wenn die Prüfung kein eindeutiges Urteil erlaubt. Ohne Prüfpfad ist Automatisierung lediglich beschleunigte Ungewissheit.

Verifizierbarkeit bedeutet dabei nicht absolute Wahrheit. Sie bedeutet, dass ein behauptetes Ergebnis an beobachtbaren Kriterien, Quellen oder Folgen geprüft werden kann. Je weniger überprüfbar ein Output ist, desto kleiner sollte seine Wirkung bleiben.

Drei Klassen von Aufgaben brauchen drei Grenzen

Die erste Klasse umfasst deterministisch prüfbare Aufgaben. Dateinamen folgen einem Muster, Pflichtfelder sind vorhanden, Summen stimmen oder ein Test läuft erfolgreich. Hier kann ein System weitgehend autonom handeln, solange Rechte begrenzt und Fehler rückgängig zu machen sind.

Die zweite Klasse ist bewertbar, aber nicht vollständig berechenbar. Ein Text soll alle freigegebenen Aussagen enthalten, ein Entwurf soll eine Zielgruppe erreichen oder eine Recherche soll widersprüchliche Quellen sichtbar machen. Dafür braucht es Rubriken, Referenzbeispiele, Stichproben und eine nachvollziehbare Freigabe. Automatisierung kann viel vorbereiten, aber nicht jede Qualitätsfrage selbst abschließen.

Die dritte Klasse verlangt situatives Urteil. Dazu gehören Entscheidungen mit ethischen, strategischen, rechtlichen oder zwischenmenschlichen Folgen, deren Qualität von Umständen abhängt, die sich nicht vollständig formalisieren lassen. KI kann Optionen, Folgen und offene Fragen vorbereiten. Die verbindliche Entscheidung bleibt jedoch bei einer verantwortlichen Person.

Verifikationsmüdigkeit ist ein versteckter Automatisierungspreis

Ein System kann in Minuten mehr Ergebnisse erzeugen, als ein Mensch sorgfältig prüfen kann. Dadurch entsteht ein paradoxes Verhältnis: Die Produktion wird billiger, die Kontrolle wird zum Engpass. Wer jeden Output vollständig nacharbeiten muss, hat keine Arbeit gespart, sondern sie in eine anstrengendere Form verschoben.

Diese Müdigkeit verändert Entscheidungen. Nach dem zehnten plausiblen Ergebnis sinkt die Aufmerksamkeit. Prüfende Menschen lesen oberflächlicher, bestätigen Vorschläge aus Zeitdruck oder konzentrieren sich auf leicht sichtbare Fehler, während inhaltliche Lücken bestehen bleiben. Ein menschlicher Freigabeschritt ist daher nicht automatisch eine wirksame Sicherheitsmaßnahme.

Gute Automatisierung begrenzt nicht nur Fehler, sondern auch Prüflast. Sie produziert weniger, bündelt Abweichungen, priorisiert risikoreiche Fälle und verlangt menschliche Aufmerksamkeit dort, wo sie wirklich einen Unterschied macht. Die Frage lautet nicht: Kann ein Mensch alles prüfen? Sondern: Ist der Prüfprozess so gestaltet, dass ein Mensch noch urteilsfähig bleibt?

Prüfkriterien müssen vor dem Lauf existieren

Wer erst nach dem Ergebnis über Qualität nachdenkt, wird leicht von dessen Form beeinflusst. Ein eleganter Text setzt dann seinen eigenen Maßstab. Besser ist ein kurzer Prüfvertrag vor dem Start: gewünschtes Ergebnis, verbindliche Quellen, drei bis fünf Abnahmekriterien, unzulässige Abweichungen und ein Verhalten bei Unsicherheit.

Kriterien müssen beobachtbar sein. „Der Text ist gut“ lässt sich nicht zuverlässig prüfen. „Jede Zahl verweist auf eine freigegebene Quelle“, „fehlende Angaben werden als offen markiert“ oder „keine Änderung erfolgt außerhalb des Arbeitsordners“ sind hingegen kontrollierbar. Je konkreter das Kriterium, desto leichter lässt es sich einem Test, einer Regel oder einer menschlichen Entscheidung zuordnen.

Ebenso wichtig sind Negativkriterien. Sie beschreiben Ergebnisse, die trotz guter Oberfläche nicht akzeptabel sind: erfundene Belege, verschwiegene Unsicherheit, irreversible Änderungen oder Empfehlungen außerhalb des Auftrags. Ein System wird nicht durch den Idealfall sicher, sondern durch sein Verhalten an der Grenze.

Prüfung braucht mehrere Schichten

Keine einzelne Prüfmethode deckt alle Fehler ab. Deterministische Kontrollen eignen sich für Formate, Vollständigkeit, Wertebereiche und technische Tests. Ein unabhängiger Modellreview kann Widersprüche, fehlende Perspektiven oder unbelegte Sprünge suchen. Quellenprüfungen verbinden Aussagen wieder mit ihrer Grundlage. Menschen bewerten schließlich Kontext, Folgen und Vertretbarkeit.