Yalnız doğrulayabildiğin şeyi otomatikleştir

Otomasyon çoğu zaman yapılabilirlik üzerinden değerlendirilir: Sistem işlemi yapabilir mi? Sorumlu yapay zekâ çalışması için bu soru yetmez. Agent araştırabilir, yazabilir, dosya değiştirebilir veya karar hazırlayabilir ve ikna edici görünen sonuçlar üretebilir. Belirleyici ölçüt şudur: Sonucun doğru, eksiksiz ve amacına uygun olduğunu makul bir çabayla anlayabilir miyiz? Bu denetim artık mümkün değilse teknik beceri sürebilir; fakat sorumlu özerklik sona erer.

Gerçek sınır çıktıdan sonra ortaya çıkar

Klasik otomasyonda başarı ve hata çoğu kez gözlemlenebilir. Dosya aktarılmıştır ya da aktarılmamıştır, alan kurala uyar ya da uymaz. Üretken sistemler ise açık uçlu sonuçlar oluşturur: plan, değerlendirme, özet veya öneri. Bu çıktılar biçimsel olarak temiz olup içerik açısından eksik kalabilir.

Bu nedenle planlama eylemde bitmemelidir. Her otomatik eylemin iyi sonucun nasıl tanınacağını, hangi dayanağın geçerli olduğunu ve denetim kesin karara ulaşamazsa ne yapılacağını anlatan bir doğrulama yolu olmalıdır. Bu yol olmadan otomasyon yalnız hızlandırılmış belirsizliktir.

Doğrulanabilirlik mutlak gerçek demek değildir. İddia edilen sonucun gözlemlenebilir ölçüt, kaynak veya sonuç üzerinden denetlenebilmesi demektir. Çıktı ne kadar az doğrulanabilirse etkisi o kadar küçük kalmalıdır.

Üç görev sınıfı üç farklı sınır ister

İlk sınıf deterministik olarak sınanabilir görevlerdir. Dosya adları kalıba uyar, zorunlu alanlar vardır, toplamlar tutar veya test başarılı olur. Yetkiler sınırlı ve hatalar geri alınabilir olduğunda sistem burada büyük ölçüde özerk çalışabilir.

İkinci sınıf değerlendirilebilir ama bütünüyle hesaplanamaz. Metin bütün onaylı iddiaları içermeli, taslak hedef kitleye uygun olmalı veya araştırma çelişkili kaynakları göstermelidir. Rubrikler, referans örnekleri, örnekleme ve izlenebilir onay gerekir. Otomasyon çok şey hazırlayabilir; fakat her kalite sorusunu tek başına kapatamaz.

Üçüncü sınıf durumsal yargı ister. Koşulları bütünüyle biçimselleştirilemeyen etik, stratejik, hukuki veya kişiler arası kararlar buna dahildir. Yapay zekâ seçenekleri, sonuçları ve açık soruları hazırlayabilir. Bağlayıcı karar sorumlu kişide kalır.

Doğrulama yorgunluğu otomasyonun gizli bedelidir

Sistem dakikalar içinde bir insanın dikkatle denetleyebileceğinden fazla sonuç üretebilir. Üretim ucuzlarken kontrol darboğaza dönüşür. Her çıktı bütünüyle yeniden işleniyorsa emek kaybolmamış, daha yorucu biçime taşınmıştır.

Yorgunluk kararları değiştirir. Onuncu makul sonuçtan sonra dikkat düşer. İnceleyen kişi yüzeysel okur, zaman baskısıyla onay verir veya içerik boşlukları kalırken kolay görülen hatalara odaklanır. İnsan onayı bu yüzden otomatik olarak etkili güvenlik önlemi değildir.

İyi otomasyon hata kadar inceleme yükünü de sınırlar. Daha az üretir, sapmaları gruplar, yüksek riskli vakaları öne alır ve insan dikkatini gerçekten fark yaratacağı yere ister. Soru insanın her şeyi kontrol edip edemeyeceği değil, süreç sonunda hâlâ sağlıklı yargıda bulunup bulunamayacağıdır.

Kabul ölçütleri çalıştırmadan önce var olmalıdır

Kalite ancak sonuç ortaya çıktıktan sonra tanımlanırsa sunum kendi ölçütünü dayatabilir. Zarif metin kendi kanıtına dönüşür. Daha iyi yöntem kısa doğrulama sözleşmesiyle başlar: istenen sonuç, yetkili kaynaklar, üç ila beş kabul ölçütü, yasak sapmalar ve belirsizlik davranışı.

Ölçüt gözlemlenebilir olmalıdır. “Metin iyi” güvenilir biçimde sınanamaz. “Her sayı onaylı kaynağa bağlı”, “eksik bilgi açık olarak işaretli” veya “çalışma klasörü dışında değişiklik yok” denetlenebilir. Somut ölçüt test, kural veya insan kararına atanabilir.

Negatif ölçütler de önemlidir. İyi yüzeye rağmen kabul edilemeyecek sonuçları tanımlar: uydurma kanıt, gizlenen belirsizlik, geri alınamaz değişiklik veya görev dışı öneri. Sistemi güvenli yapan ideal durum değil, sınırdaki davranışıdır.

Doğrulama birkaç katman ister

Tek yöntem bütün hataları bulamaz. Deterministik kontroller biçim, eksiksizlik, değer aralığı ve teknik testlerde iyidir. Bağımsız model incelemesi çelişki, eksik bakış ve desteksiz sıçrama arayabilir. Kaynak kontrolü iddiayı yeniden dayanağa bağlar. İnsanlar son olarak Context’i, sonuçları ve kabul edilebilirliği değerlendirir.