Yalnız doğrulayabildiğin şeyi otomatikleştir

Otomasyon çoğu zaman yapılabilirlik üzerinden değerlendirilir: Sistem işlemi yapabilir mi? Sorumlu yapay zekâ çalışması için bu soru yetmez. Agent araştırabilir, yazabilir, dosya değiştirebilir veya karar hazırlayabilir ve ikna edici görünen sonuçlar üretebilir. Belirleyici ölçüt şudur: Sonucun doğru, eksiksiz ve amacına uygun olduğunu makul bir çabayla anlayabilir miyiz? Bu denetim artık mümkün değilse teknik beceri sürebilir; fakat sorumlu özerklik sona erer.

Gerçek sınır çıktıdan sonra ortaya çıkar

Klasik otomasyonda başarı ve hata çoğu kez gözlemlenebilir. Dosya aktarılmıştır ya da aktarılmamıştır, alan kurala uyar ya da uymaz. Üretken sistemler ise açık uçlu sonuçlar oluşturur: plan, değerlendirme, özet veya öneri. Bu çıktılar biçimsel olarak temiz olup içerik açısından eksik kalabilir.

Bu nedenle planlama eylemde bitmemelidir. Her otomatik eylemin iyi sonucun nasıl tanınacağını, hangi dayanağın geçerli olduğunu ve denetim kesin karara ulaşamazsa ne yapılacağını anlatan bir doğrulama yolu olmalıdır. Bu yol olmadan otomasyon yalnız hızlandırılmış belirsizliktir.

Doğrulanabilirlik mutlak gerçek demek değildir. İddia edilen sonucun gözlemlenebilir ölçüt, kaynak veya sonuç üzerinden denetlenebilmesi demektir. Çıktı ne kadar az doğrulanabilirse etkisi o kadar küçük kalmalıdır.

Üç görev sınıfı üç farklı sınır ister

İlk sınıf deterministik olarak sınanabilir görevlerdir. Dosya adları kalıba uyar, zorunlu alanlar vardır, toplamlar tutar veya test başarılı olur. Yetkiler sınırlı ve hatalar geri alınabilir olduğunda sistem burada büyük ölçüde özerk çalışabilir.

İkinci sınıf değerlendirilebilir ama bütünüyle hesaplanamaz. Metin bütün onaylı iddiaları içermeli, taslak hedef kitleye uygun olmalı veya araştırma çelişkili kaynakları göstermelidir. Rubrikler, referans örnekleri, örnekleme ve izlenebilir onay gerekir. Otomasyon çok şey hazırlayabilir; fakat her kalite sorusunu tek başına kapatamaz.

Üçüncü sınıf durumsal yargı ister. Koşulları bütünüyle biçimselleştirilemeyen etik, stratejik, hukuki veya kişiler arası kararlar buna dahildir. Yapay zekâ seçenekleri, sonuçları ve açık soruları hazırlayabilir. Bağlayıcı karar sorumlu kişide kalır.

Doğrulama yorgunluğu otomasyonun gizli bedelidir

Sistem dakikalar içinde bir insanın dikkatle denetleyebileceğinden fazla sonuç üretebilir. Üretim ucuzlarken kontrol darboğaza dönüşür. Her çıktı bütünüyle yeniden işleniyorsa emek kaybolmamış, daha yorucu biçime taşınmıştır.

Yorgunluk kararları değiştirir. Onuncu makul sonuçtan sonra dikkat düşer. İnceleyen kişi yüzeysel okur, zaman baskısıyla onay verir veya içerik boşlukları kalırken kolay görülen hatalara odaklanır. İnsan onayı bu yüzden otomatik olarak etkili güvenlik önlemi değildir.

İyi otomasyon hata kadar inceleme yükünü de sınırlar. Daha az üretir, sapmaları gruplar, yüksek riskli vakaları öne alır ve insan dikkatini gerçekten fark yaratacağı yere ister. Soru insanın her şeyi kontrol edip edemeyeceği değil, süreç sonunda hâlâ sağlıklı yargıda bulunup bulunamayacağıdır.

Kabul ölçütleri çalıştırmadan önce var olmalıdır

Kalite ancak sonuç ortaya çıktıktan sonra tanımlanırsa sunum kendi ölçütünü dayatabilir. Zarif metin kendi kanıtına dönüşür. Daha iyi yöntem kısa doğrulama sözleşmesiyle başlar: istenen sonuç, yetkili kaynaklar, üç ila beş kabul ölçütü, yasak sapmalar ve belirsizlik davranışı.

Ölçüt gözlemlenebilir olmalıdır. “Metin iyi” güvenilir biçimde sınanamaz. “Her sayı onaylı kaynağa bağlı”, “eksik bilgi açık olarak işaretli” veya “çalışma klasörü dışında değişiklik yok” denetlenebilir. Somut ölçüt test, kural veya insan kararına atanabilir.

Negatif ölçütler de önemlidir. İyi yüzeye rağmen kabul edilemeyecek sonuçları tanımlar: uydurma kanıt, gizlenen belirsizlik, geri alınamaz değişiklik veya görev dışı öneri. Sistemi güvenli yapan ideal durum değil, sınırdaki davranışıdır.

Doğrulama birkaç katman ister

Tek yöntem bütün hataları bulamaz. Deterministik kontroller biçim, eksiksizlik, değer aralığı ve teknik testlerde iyidir. Bağımsız model incelemesi çelişki, eksik bakış ve desteksiz sıçrama arayabilir. Kaynak kontrolü iddiayı yeniden dayanağa bağlar. İnsanlar son olarak Context’i, sonuçları ve kabul edilebilirliği değerlendirir.

Bu katmanlar farklı görev almalıdır. Üreten sistem kendi başarısının tek hakemi olmamalıdır. Öz denetim yararlıdır, bağımsız kontrolün yerini tutmaz. Önemli iddianın kaynağa veya gözlemlenebilir teste dönüş yolu bulunmalıdır.

Her proje bütün katmanları aynı derinlikte istemez. Önemli olan riske göre atamadır. Geri alınabilir biçim değişikliği otomatik denetlenebilir. Kamusal iddia kaynak doğrulaması ister. Etkili karar ayrıca sorumlu onay gerektirir.

İnsan onayı karar verilebilir olmalıdır

Zayıf kontrol noktası sonunda yüz sayfa sunup onay ister. Güçlü kontrol noktası neyin değiştiğini, hangi ölçütlerin geçtiğini, belirsizliğin nerede kaldığını ve şimdi hangi somut kararın gerektiğini gösterir. İlgili riski gizlemeden denetim nesnesini küçültür.

İnceleyen kişinin üç şeye ihtiyacı vardır: önceki duruma göre okunabilir fark, yetkili dayanak ve sınırlı eylem seçeneği. Onayla, reddet, hedefli düzeltme iste veya yükselt çoğu zaman yeterlidir. Açık sorular uzun açıklamalar içinde kaybolmak yerine karar noktası olarak görünür.

Böylece insan kontrolü sembolik tıklamadan fazlasına dönüşür. Context ve sorumluluğun gerçekten buluştuğu yer olur. Sonuç ne kadar az doğrulanabilirse bu nokta Workflow’da o kadar erken bulunmalıdır.

Durmak üretken bir sonuçtur

Otomasyon çoğu zaman yalnız sonuna ulaştığında başarılı sayılır. Sorumlu sistemde gerekçeli duruş da doğru sonuç olabilir. Eksik kaynak, çelişkili talimat, ölçülemeyen kriter veya anlaşılmış çerçevenin dışındaki etki görevi geri vermek için nedendir.

Bu duruşlar kaydedilmeli ve incelenmelidir. Tekrarlanıyorsa süreçte girdi alanı, alan kuralı, örnek veya açık sorumlu eksik olabilir. Durdurulan çalıştırma böylece sınırları aşma gerekçesi değil, sistemi geliştiren bilgi olur.

Olgun soru “Daha fazlasını nasıl otomatikleştiririz?” değildir. “Çalışmayı sonuçları tanınabilir, sınanabilir ve düzeltilebilir kalan sürece nasıl taşırız?” sorusudur. Kazanç en yüksek özerklikten değil, güvenilir etkiden doğar.

Doğrulama kartı

Kısa bir doğrulama sözleşmesi, çalıştırmadan önce sonucun neye göre ölçüleceğini ve insanın ne zaman devralacağını kaydeder:

# DOĞRULAMA KARTI

**Görev ve etki**
Ne üretilecek ve bunun sonucunda ne değişebilir?

**Görev sınıfı**
Deterministik sınanabilir, değerlendirilebilir veya yargıya bağlı mı?

**Gözlemlenebilir ölçütler**
İki kişi aynı kabul edilebilir sonucu nasıl tanır?

**Doğrulama katmanları**
Hangi kural, test, kaynak ve kişi denetleyecek?

**İnceleme yükü**
Kaç sonuç dikkatle kontrol edilebilir?

**Duruş ve yükseltme**
Otomasyon ne zaman biter, kim devralır?

**Onay**
Hangi somut karar insanda kalır?

Otomasyon yalnız işi yürütmekle kalmayıp kendi doğrulanabilirliğini de taşıdığında değerlidir. Sınırları tanıyan, kanıtı görünür tutan ve karar verilemeyen belirsizlikte duran sistem daha az yetenekli değildir. İnsanların gerçekten güvenebileceği yetenek biçimine daha yakındır.

Çalışma kâğıdı: Otomasyon sınırını belirle

Yapay zekâyla hızlandırmak istediğin tekrarlanan süreci seç. Üretim, doğrulama ve sorumluluk görünür biçimde ayrılacak şekilde parçala.

1. Etkiyi açıkla. Yalnız çıktıyı değil, yaratmasına izin verilen değişikliği yaz. Geri alınamaz veya dış etkileri işaretle.

2. Görevleri sınıflandır. Her adımı deterministik sınanabilir, değerlendirilebilir veya yargıya bağlı olarak ata. Sınır durumunu tek cümleyle gerekçelendir.

3. Önce ölçütleri yaz. Üç ila beş gözlemlenebilir kabul ölçütü ve en az iki yasak sonuç formüle et.

4. Katman ve yükü planla. Kural testi, kaynak denetimi, örnekleme veya insan onayı ata. Kaç vakanın dikkatle incelenebileceğini tahmin et.

5. Duruş ve kararı koy. İki duruş sinyali ile sorumlu kişinin devraldığı noktayı belirle.