Kontrol Etmek de Yük Olmaya Başladığında

Yapay zekâ çalışmayı hızlandırmayı vaat eder. Birçok projede bu vaat gerçekten karşılığını bulur — en azından üretim tarafında. Bir model saniyeler içinde taslak, analiz, on farklı varyant, teknik konsept, araştırma özeti ya da proje planı oluşturabilir. Kolayca gözden kaçan nokta şudur: Üretim ne kadar hızlanırsa, insanın değerlendirmesi, seçmesi, reddetmesi, düzeltmesi, bütünleştirmesi ve sonunda sorumluluğunu üstlenmesi gereken malzeme miktarı da o kadar artabilir.

Böylece yeni bir iş yükü profili ortaya çıkar. Darboğaz üretimden doğrulamaya kayar. İlk taslağı yazmak artık en pahalı adım olmayabilir; asıl maliyet taslağın gerçekten sağlam olup olmadığını anlamaktır. Araştırmanın kendisi hızlanırken kaynakların değerlendirilmesi yavaş kalabilir. Bir proje planı kolayca üretilebilir, fakat hangi varsayımların geçerli olduğuna karar vermek hâlâ zordur. Ve yapay zekâyı sık kullanmak tek başına bağımlılık anlamına gelmez. Bağımlılık, insanın sonuçları bağımsız biçimde yorumlama ya da sistem kullanılamadığında işi anlamlı şekilde sürdürebilme kapasitesinin giderek kaybolmasıyla başlar.

Bu durum için doğrulama yorgunluğu kavramı kullanışlıdır. Burada tıbbi bir tanıdan söz edilmiyor. Kastedilen operasyonel bir yüktür: Bir iş akışı o kadar fazla makine üretimi sonuç çıkarır ki ciddi kontrol için gerekli insan dikkati, sonuçların kendisinden daha kıt hâle gelir.

Üretken çözüm her şeyi yeniden manuel yapmak değildir. Her çıktının üzerine daha fazla kontrol katmanı eklemek de değildir. Asıl mesele doğrulama sürecinin kendisini tasarlamaktır.

Hız, kontrol işini büyüttüğünde

Üretken yapay zekâdan önce taslak sayısı çoğu zaman üretim süresiyle sınırlıydı. Bir ekip üç stratejik varyant istiyorsa birilerinin gerçekten üç varyant geliştirmesi gerekiyordu. Bugün aynı sürede yirmi varyant üretilebilir. Bu durum seçenek alanını genişletir, fakat aynı anda yeni bir seçim yükümlülüğü yaratır.

İş bölümü de böylece değişir. İnsan tek üretici olmaktan çıkar; daha çok küratör, denetçi ve karar verici hâline gelir. Bu çok verimli olabilir. Ancak paradoksal bir durum da yaratabilir: Sistemin yeni seçenekler üretmesi ne kadar ucuzlarsa, insan tarafındaki iş yükü o kadar büyüyebilir.

Yeni bir varyant ilk bakışta ücretsiz görünür. Oysa hemen yeni sorular üretir. Daha mı iyi? Önceki bir kararla çelişiyor mu? Scope içinde mi? Teknik olarak uygulanabilir mi? Sağlam varsayımlara mı dayanıyor? Belgelenmeli mi? Test edilmeli mi? Entegrasyon hangi sonuçları doğurur?

Aynı örüntü araştırmada da görülür. Yapay zekâ kısa sürede onlarca kaynak, özet ve hipotez toplayabilir. Bu, araştırmayı otomatik olarak kolaylaştırmaz. Tam tersine yeni bir bilgi yüküne dönüşebilir: Ekip bir anda aynı özenle kontrol edebileceğinden daha fazla malzemeye sahip olur.

Burada üretim kapasitesi ile yargı kapasitesi arasındaki temel fark görünür hâle gelir. Yapay zekâ birincisini çok hızlı ölçekleyebilir. İkincisi ise çok daha yavaş büyür.

Profesyonel yapay zekâ proje yönetimi bu nedenle yalnızca sistemin ne kadar iş üretebildiğini değil, üretilen işin ne kadarının hâlâ sorumlu biçimde değerlendirilebildiğini de sormalıdır.

Bağımlılık sık kullanımda başlamaz

Yoğun yapay zekâ kullanımının tamamını bağımlılık olarak tanımlamak fazla basit olur. Bir fotoğrafçı her gün kamera kullandığı için bağımlı değildir. Bir geliştirici IDE sürekli açık olduğu için bağımlı değildir. Profesyonel araçların amacı performansı artırmaktır.

Sorun, kontrol için gerekli bir yetkinlik kaybolmaya başladığında ortaya çıkar.

Örneğin ekipte hiç kimse belirli bir yapay zekâ önerisinin neden kabul edildiğini açıklayamıyorsa proje kırılganlaşır. Ekip bir çıktının alan bilgisindeki makullüğünü bağımsız biçimde değerlendiremiyorsa, bir servis kesintisi sadece uygulamayı değil düşünme sürecini de durduruyorsa ya da bir model fiilen yine kendisi tarafından doğrulanıyorsa durum daha da kritikleşir.

Bu nedenle yapay zekâ bağımlılığı, kullanım süresinden çok insanın ve projenin geriye kalan özerkliğiyle ilgilidir.

Karşı önlem bu nedenle kaçınmak değildir. Gerekli olan bir bağımsızlık rezervidir: yapay zekâyı güçlü biçimde kullanırken ona mahkûm olmamak için yeterli alan bilgisi, bağlam, dokümantasyon, alternatif ve doğrulama altyapısı.

Uzun bir kontrol zincirinin tehlikeli sonu

"Yapay zekâ çalışsın, insan sonunda kontrol etsin" fikri kulağa güven verici gelir. Fakat bu cümle kontrol işinin kendisinin ne kadar zorlaşabileceğini gizler.

Uzun bir günün sonunda birbirine çok benzeyen yirmi belgeyi değerlendiren bir insan, tek bir kritik bulguyu dikkatle analiz eden kişiyle aynı koşullarda çalışmaz. Dikkat sınırlıdır. Bağlam değiştirmek zihinsel kaynak tüketir. Tekrar alışkanlık yaratır. Profesyonel görünen sonuçlar ise insanı yalnızca görünür hataları aramaya itebilir.

İnsan-faktörleri araştırmaları uzun süredir iki ilişkili riski tarif eder. Automation bias durumunda insanlar otomatik önerilere gereğinden fazla yaslanır ve hata ya da alternatifleri kaçırabilir. Automation complacency durumunda ise belirli koşullar altında otomatik sistemlerin aktif takibi zayıflayabilir. Bu etkilerin yalnızca acemilerde görülmediği ve çoklu görev yükünün riski artırabildiği önemlidir.

Üretken yapay zekâ açısından bu son derece günceldir. Bir model çok sayıda ikna edici cevap ürettiğinde kontrol süreci sessizce onay testine dönüşebilir: İnsan "açıkça yanlış bir şey var mı?" diye bakar; "bunun yanlış olmasının en güçlü nedeni ne olabilir?" diye araştırmaz.

Bu ikisi aynı şey değildir.

Okumak, otomatik olarak doğrulamak değildir.

Gerçek doğrulama bir karşılaştırma temeline ihtiyaç duyar. Kriter, kanıt, test, beklenen davranış ya da en azından sonucun başarısız olabileceği açık bir soru gerekir.

Daha fazla kontrol her zaman daha iyi kontrol değildir

İnsanlar yapay zekânın hata yapabileceğini fark ettiğinde ilk tepki genellikle basittir: daha fazla kontrol edelim.

Bazen bu doğrudur. Ancak yeni bir sorun da üretebilir. Her küçük ara adım manuel olarak yeniden okunursa kontrol sistemi, hızlandırılması istenen işten daha pahalı hâle gelebilir. Üstelik kritik olan ve olmayan çıktılar aynı yoğunlukta incelenmeye başlanabilir.

Sonuç kötü kalibrasyondur: Çok fazla insan dikkati geri alınabilir küçük ayrıntılara harcanır ve ciddi sonuçlar doğurabilecek kararlar için daha az odak kalır.

Bu yüzden her yapay zekâ projesinin bir doğrulama bütçesine ihtiyacı vardır. Bu sabit bir dakika sayısı değildir. İnsan dikkatinin risk, sonuç ve doğrulanabilirliğe göre bilinçli biçimde dağıtılmasıdır.

Böylece kontrol "her şeyi tekrar oku" yaklaşımından riske göre kalibre edilmiş doğrulamaya dönüşür.

Her tokenı değil, karar katmanını kontrol et

Yapay zekâ projelerinde sık rastlanan bir hata, sorumlu kullanımın makinenin ürettiği her ara adımın yeniden kurulmasını gerektirdiğini düşünmektir. Uzun agentic iş akışlarında bu yaklaşım ölçeklenmez.

Daha iyi soru şudur: Projenin durumunu hangi noktalar değiştiriyor?

Özerk bir ajan yüz küçük dönüşüm adımı uygulayabilir ve her biri için ayrı onay gerekmeyebilir. Kritik olan; scope, bütçe, veri erişimi, mimari, yayın, sözleşmesel etki, güvenlik durumu veya geri döndürülemez işin değiştiği anlardır.

Burası karar katmanıdır.

Bu katmanı açık biçimde tasarlamak sorumluluğu azaltmadan kontrol maliyetini düşürür. İnsan her hareketi izlemek zorunda değildir. Ancak sonuç taşıyan kararları görebilmelidir.

Bu yaklaşım iki uçtan da korur. İlki mikro yönetimdir: Yapay zekâ kağıt üzerinde özerktir ama her adımda durdurulur. İkincisi kör uçuş turudur: Sistem uzun süre çalışır ve insan ancak sonunda yanlış yöne gittiğini fark eder.

Profesyonel gözetim bu iki uç arasında yer alır. Dikkati, hataların pahalı, geri döndürülmesi zor veya stratejik olarak önemli hâle geldiği noktalarda yoğunlaştırır.

Doğrulama farklı araçlara ihtiyaç duyar

Bir başka sorun da "kontrol" kelimesinin her durumda aynı şeyi ifade etmesidir. Her iddia aynı yöntemle doğrulanamaz.

Bir sayı veri kaynağına karşı kontrol edilebilir. Kod test edilebilir. Olgusal bir iddia birincil kaynakla karşılaştırılabilir. Tasarım hedef kitle ve marka kurallarına göre değerlendirilebilir. Strateji karşı argüman, senaryo ve alan deneyimi isteyebilir. Hukuki bir iddianın kanıt zemini yaratıcı bir fikirden farklıdır.

İyi doğrulama bu yüzden çok yöntemlidir.

İkinci bir dil modeli bağımsız karşı perspektif olarak faydalı olabilir. Ancak dış kanıtın yerine geçmez. İki model aynı ikna edici hatayı tekrar edebilir. Aynı şekilde kaynak listesi de, listedeki kaynağın gerçekten ilgili iddiayı destekleyip desteklemediği kontrol edilmezse yeterli değildir.