İnsan Her Zaman Genel Müdür — Yapay Zekâ Projelerinde Sorumluluk

Yapay zekânın yarattığı en büyük değişim, insanların bir anda daha az iş yapması değildir. Birçok projede ilk aşamada tam tersi olur. Tek bir kişi, yapay zekâ yardımıyla geçmişte birkaç rolün, departmanın veya dış hizmet sağlayıcının gerekli olduğu görevleri üstlenebilir. Araştırma, konsept geliştirme, metin üretimi, analiz, planlama, prototipleme ve dokümantasyon birbirine yaklaşır. Operasyonel etki alanı genişler.

Bu etki alanıyla birlikte sorumluluk da genişler.

Yapay zekâ kullanan biri çok hızlı biçimde aynı anda müşteri, reviewer, entegratör ve karar verici konumuna gelir. Resmî bir yönetici unvanı olmasa bile yeni bir proje liderliği türü ortaya çıkar: görevleri tanımlamak, sonuçları değerlendirmek, öncelikleri belirlemek, kalite sınırlarını koymak ve bir çıktının ne zaman gerçekten kullanılabileceğine karar vermek gerekir. Yapay zekâ işin büyük bölümünü üstlenebilir. Sonucun sorumluluğunu üstlenemez.

Bu yüzden insan bütünün yöneticisi olarak kalır.

Bu ifade nostaljik bir hiyerarşiyi veya insanın her küçük adımda üstün olması gerektiğini anlatmaz. Fonksiyonel bir sınırı anlatır. Bir model öneri oluşturabilir. Bir ajan planı uygulayabilir. Bir araç süreci hızlandırabilir. Ancak hedefler, değerler, risk kabulü, nihai onay ve hesap verebilirlik hâlâ tanımlanabilir bir otorite gerektirir.

Sorumluluk ilk prompttan önce başlar

Sorumluluk çoğu zaman sürecin sonunda düşünülür: çıktı hazırlanır ve biri kontrol eder. Bu yaklaşım çok geçtir.

İlk sorumlu karar, görevi devrederken verilir. Hangi görevin modele verileceğine karar veren kişi, yapay zekânın nerede etki sahibi olacağını belirler. Bağlamı seçen kişi, sistemin hangi bilgileri göreceğini belirler. Başarı kriterlerini yazan kişi, yapay zekânın neyi optimize edeceğini belirler. Yetki veren kişi, bir ajanın ne kadar bağımsız hareket edebileceğini belirler.

Dolayısıyla sorumluluk final kontrolde değil, delegasyon mimarisinde başlar.

Kötü tanımlanmış bir görev kötü sonuç doğurabilir. Daha tehlikelisi, sonuçları kimse tarafından anlaşılmamış bir görevdir. Bir ajana kalite, maliyet, güvenlik, zaman, kullanıcı çıkarları veya sınırlar tanımlanmadan "en iyi çözümü bul" denildiğinde esas yönetişim problemi ajan değildir. Proje, sorumluluğunu kontrol edilebilir kriterlere çevirememiştir.

Profesyonel delegasyon "Bunu benim için yap" demek değildir. "Hedef bu, sınırlar bunlar, kriterler bunlar, burada kendin karar verebilirsin ve burada benim onayım gerekir" demektir.

Yapay zekâ hareket alanını ve liderlik kapsamını genişletir

Güçlü yapay zekâ kullanan bir insan kısa sürede çok sayıda karar seçeneği hazırlatabilir. Bu durum işin ortadan kalktığı izlenimini verir. Gerçekte iş biçim değiştirir.

Eskiden emeğin önemli bölümü içeriği doğrudan üretmekten oluşuyordu. Bugün giderek daha fazla emek, makine tarafından oluşturulan seçenekleri seçmeye, değerlendirmeye ve entegre etmeye kayıyor. İnsan daha az ham metin yazabilir ama hangi varyantın doğru olduğuna daha fazla karar vermek zorundadır. Daha az kod satırı yazabilir ama mimariyi, davranışı ve yan etkileri değerlendirmesi gerekir. Daha az manuel araştırma yapabilir ama kaynak kalitesini, çelişkileri ve ilgililiği kontrol etmek zorundadır.

Bu nedenle verimlilik otomatik olarak artmaz. Verimlilik ancak insanın karar ve inceleme kapasitesi, makinenin üretim kapasitesine yetişebildiğinde artar.

Modern yapay zekâ projelerinin temel darboğazlarından biri budur: modeller, insanların sorumlu biçimde kontrol edebileceğinden daha hızlı üretim yapabilir.

Buna sadece daha fazla otomasyon eklemek problemi çözmez. İkinci bir model ilk modeli kontrol edebilir. Reviewer ajan sorunları işaretleyebilir. Otomatik test teknik sapmaları bulabilir. Bunlar değerlidir, ancak temel soruyu değiştirmez: Kontrol mimarisinin yeterli olduğuna ve kalan riskin kabul edilebilir olduğuna kim karar verir?

Görevi devretmek sorumluluğu devretmek değildir

Bir görevin delegasyonu, sorumluluğun otomatik olarak devredilmesi anlamına gelmez.

Bir proje yöneticisi analizi ekip üyesine verdiğinde proje sorumluluğu tamamen uygulayıcıya geçmez. Yapay zekâda da benzer bir durum vardır. Operasyon büyük ölçüde otomatik olabilirken seçim, kullanım ve onay sorumluluğu insanda veya kurumda kalabilir.

Bu ayrım özellikle önemlidir çünkü yapay zekâ sistemleri dil açısından son derece emin görünebilir. Bir çıktı temel varsayımları yanlış olsa bile eksiksiz, hassas ve ikna edici görünebilir. Güçlü sunum dili psikolojik olarak yetkinlik izlenimi yaratır. Sorumlu çalışma bu nedenle sunum kalitesi ile gerçek güvenilirliği ayırmak zorundadır.

Yararlı bir iç soru şudur: Yarın biri bu kararın nedenini sorsa yine bu kararın arkasında durabilir miyim?

Cevap yalnızca "çünkü yapay zekâ böyle söyledi" ise sorumlu katman eksiktir.

Kontrol edilemeyen çıktı kör biçimde kullanılmamalıdır

Her yapay zekâ çıktısını kişisel olarak baştan sona yeniden hesaplamak gerçekçi değildir. Modern projelerde uzmanlık bilgisi, teknik ayrıntı ve büyük veri miktarları bulunur. Sorumluluk tek kişinin her ayrıntıya hâkim olması anlamına gelemez.

Ancak kritik iddia ve kararlar için uygun kontrol yetkinliğinin bulunması gerekir.

Bu yetkinlik kişinin kendi uzmanlığı, alan uzmanı, test prosedürü, bağımsız kaynak, otomatik doğrulama aracı veya reviewer olabilir. Önemli olan belirsizliğin görünür kalması ve dilsel güvenle örtülmemesidir.

Buradan önemli bir sınır çıkar: Teknik olarak üretilebilen her şey, organizasyon açısından sorumlu biçimde kullanılamaz.

Bir sistem hukuki argüman, tıbbi özet, finans planı veya güvenlik açısından kritik kod üretebilir. Projenin bunları yetkin biçimde kontrol edip sorumluluğunu üstlenebilmesi farklı bir sorudur.

İnsan kontrolü sürekli izleme değildir

"İnsan sorumlu kalır" ifadesi bazen insanın ajanın her adımını gerçek zamanlı takip etmesi gerektiği şeklinde anlaşılır. Bu, agentic sistemlerin faydasının büyük bölümünü ortadan kaldırır.

İyi kontrol sürekli gözetim değildir. Kararların geri döndürülemez, pahalı, riskli veya değer yüklü hâle geldiği noktalarda hedefli kontroldür.

Bu noktaların arasında yapay zekâ oldukça otonom çalışabilir. Veri toplayabilir, seçenekler üretebilir, taslak hazırlayabilir, test çalıştırabilir, dokümantasyon hazırlayabilir ve bilinen hataları düzeltebilir. Önemli olan ne zaman bağımsız devam edebileceğinin ve ne zaman sorumluluğu insan otoritesine geri vermesi gerektiğinin açık olmasıdır.

Bu nedenle insan otoritesi manuel müdahale sayısıyla değil, karar mimarisinin kalitesiyle ölçülmelidir.

Olgun bir sistem her küçük adımda onay istemez. Yeni risk oluştuğunda, scope değiştiğinde, para harcandığında, dış iletişim yapıldığında, haklar etkilendiğinde, geri alınamaz işlem tetiklendiğinde veya kalite kriterleri açıkça karşılanmadığında eskalasyon yapar.

Bu gate'lerin ayrıntılı tasarımı ayrı bir konudur. Sorumluluk düzeyi için şu ilke yeterlidir: Otonomi artabilir, ancak hesap verebilirlik görünmez hâle gelmemelidir.

Yüzde 80'lik bir sonuç otomatik olarak ürün değildir

Yapay zekâ çok hızlı biçimde etkileyici ara sonuçlar üretebilir. Prototip çalışır. Sunum profesyonel görünür. Metin bitmiş hissi verir. Uygulama demoda çalışır. Bu hız, görünür ilerlemeyi ürün olgunluğuyla karıştırmayı kolaylaştırır.

Oysa "temelde çalışıyor" ile "sorumlu biçimde teslim edilebilir" arasındaki bölüm çoğu zaman işin en zor kısmıdır.

Son bölüm; uç durumlar, tutarlılık, hata yönetimi, gizlilik, haklar, dokümantasyon, kullanıcı deneyimi, tekrarlanabilirlik, desteklenebilirlik, test kapsamı ve sonucun demo dışındaki koşullarda da güvenilir olup olmadığı gibi konulardan oluşur. Tam burada insanın rolü fikir üretiminden kalite otoritesine kayar.

Her iç deneyin üretim kalitesinde olması gerekmez. Proof of Concept eksik olabilir. Test başarısız olabilir. Hipotez açık kalabilir. Sorun, olgunlaşmamış bir durumun müşteriler, kullanıcılar veya diğer sistemler ona bağımlıyken tamamlanmış ürün gibi sunulmasıdır.