Testen statt bestaunen

Eine gelungene KI-Antwort kann erstaunlich überzeugend wirken. Genau das ist ihr Risiko: Wenn sie sprachlich glatt, schnell und plausibel ist, verwechseln wir leicht einen guten ersten Eindruck mit Verlässlichkeit. Wer mit KI arbeiten will, braucht deshalb weniger Bewunderung und mehr kleine, wiederholbare Tests.

Nicht jede richtige Antwort ist ein guter Test

Ein einzelnes Beispiel sagt fast nichts über die Qualität eines Arbeitsablaufs. Vielleicht war die Aufgabe besonders leicht. Vielleicht passte das vorhandene Material zufällig genau. Vielleicht klingt die Antwort überzeugend, obwohl ein entscheidender Punkt fehlt. Ein Test beginnt erst dort, wo du vorher festlegst, was als brauchbar gelten soll.

Das ist keine Einladung zum Misstrauen um des Misstrauens willen. Es ist eine Form von Sorgfalt. Du prüfst nicht, ob ein System magisch ist, sondern ob es dir unter klaren Bedingungen nützlich hilft.

Drei Szenarien zeigen, was wirklich passiert

Das positive Szenario beschreibt den Normalfall: eine klare Aufgabe, geeignetes Material und ein Ergebnis, das in einem festgelegten Format vorliegt. Hier prüfst du, ob die Arbeit tatsächlich erleichtert wird. Ein gutes Ergebnis ist nicht einfach lang oder elegant. Es erfüllt den vereinbarten Zweck.

Das negative Szenario setzt eine Grenze. Was soll passieren, wenn die Grundlage fehlt, die Anfrage unklar ist oder eine Aussage nicht belegt werden kann? Ein brauchbares System darf in diesem Moment nachfragen, Unsicherheit markieren oder ablehnen. Das ist kein Fehler, sondern häufig ein Zeichen dafür, dass die Grenze sichtbar ist.

Das reparierbare Szenario geht einen Schritt weiter. Du gibst bewusst einen kleinen Fehler, eine widersprüchliche Vorgabe oder unvollständiges Material hinein. Dann prüfst du nicht nur, ob der Fehler erkannt wird, sondern ob der Weg zur Korrektur klar ist: Was fehlt? Was wurde geändert? Was muss ein Mensch entscheiden?

Abnahmekriterien machen Qualität sichtbar

Ein Abnahmekriterium ist ein kurzer, beobachtbarer Satz. Zum Beispiel: „Die Antwort nennt nur Aussagen, die in den bereitgestellten Unterlagen vorkommen." Oder: „Wenn eine Angabe fehlt, stellt sie zuerst eine Rückfrage." Solche Sätze sind wertvoll, weil zwei Personen sie prüfen können, ohne über einen vagen Eindruck zu streiten.

Halte die Kriterien klein. Drei bis fünf klare Punkte sind hilfreicher als eine lange Wunschliste. Wichtig ist auch, was nicht verlangt wird. Ein Test für eine strukturierte Zusammenfassung bewertet nicht gleichzeitig Kreativität, Tonalität, Recherche und rechtliche Einordnung.

Ein Fehlerprotokoll ist kein Scheitern

Wenn ein Test scheitert, ist die erste Frage nicht: „Warum ist die KI schlecht?" Frage stattdessen: War die Aufgabe eindeutig? War das Material ausreichend? War die Regel verständlich? War das Kriterium überhaupt prüfbar? Oft liegt die wertvollste Erkenntnis nicht in der Antwort, sondern in einer unklaren Übergabe.