Yapay Zekâ İşlerinde 80/20 Kuralı

Üretken yapay zekâ, bir görevin büyük bölümünü şaşırtıcı bir hızla görünür biçimde ilerletebilir. İlk toplantı bitmeden bir konsept ortaya çıkar. Dün henüz kod yokken bugün çalışan bir prototip vardır. Daha önce günler sürebilecek bir araştırma, dakikalar içinde geniş bir malzeme havuzu üretir. Tam da bu noktada modern yapay zekâ çalışmalarının en tehlikeli yanlış yorumlarından biri başlar: Üretilmiş işin büyük bir bölümü, aynı oranda tamamlanmış kalite anlamına gelmez.

Sık kullanılan 80/20 formülü ancak bir sezgisel model olarak ele alındığında faydalıdır. Ne doğal bir sabittir ne de klasik Pareto ilkesinin doğrudan karşılığıdır. Yapay zekânın bir iş akışının büyük ve görünür bölümünü hızla sıkıştırabildiğini; geride kalan bölümün ise orantısız biçimde daha fazla uzmanlık, entegrasyon, doğrulama ve karar gerektirebildiğini hatırlatır.

Sorun, bu gözlemin yanlış bir olgunluk hesabına çevrilmesiyle başlar. Görünür on iş paketinin sekizi bitmiş gibi görünüyorsa proje yüzde seksen tamamlanmış izlenimi verir. Oysa pratikte son adımlar, sonucun yalnızca etkileyici görünmesi ile gerçek koşullarda çalışması, bağlama uyması ve sorumlulukla teslim edilebilmesi arasındaki farkı belirleyebilir.

Bu nedenle yapay zekâya profesyonel yetki devri, modelin ne kadar iş yapabileceği sorusuyla başlamaz. Asıl soru, hangi tür işin devredildiği ve sonrasında hangi tür işin geride kaldığıdır.

İlk yüzde seksen neden bu kadar ikna edici görünür?

Yapay zekâ hızlı biçimde yapı üretmekte çok güçlüdür. Taslaklar yazar, varyantlar oluşturur, gereksinimleri iş paketlerine dönüştürür, ilk uygulamaları kurar ve boş alanları makul önerilerle doldurur. Bu ilerleme insan gözüne çok görünür gelir. Boş bir belge yirmi sayfaya dönüşür. Boş bir proje klasöründe bir anda kod belirir. Dağınık bir fikir düzenli bir konsepte dönüşür.

Bu görünürlük kolayca olgunluk izlenimi yaratır. Oysa erken aşamadaki birçok iş, hacim olarak büyük ama kalite açısından görece ucuzdur. Kütle, yapı ve seçenek üretir. Geç aşamadaki işler ise daha küçük görünür ama çok daha belirleyicidir: yanlış bir varsayımı yakalamak, bir arayüzü gerçek sınırlar altında test etmek, çelişen iki gereksinimi çözmek, hassas bir iddiayı doğrulamak, bir sınır durumunu yeniden üretmek veya beş makul seçeneğin hangisinin gerçekten stratejiye uyduğuna karar vermek.

İş hacmi ile değer arasındaki ilişki doğrusal değildir.

Bu iki düzeyi karıştırmak bir kalite yanılsaması üretir: Proje ileri görünür, ancak en pahalı belirsizlikler hâlâ çözülmemiştir.

Son yüzde yirmi artık iş değildir

"Son yüzde yirmi" ifadesi küçük bir bitirme safhası çağrıştırır. Birçok yapay zekâ projesinde durum tam tersidir. Geri kalan bölüm kozmetik rötuştan değil, genel amaçlı bir modelin güvenilir biçimde yapmakta en çok zorlandığı işlerden oluşur: bağlam sınırlarını görmek, çelişen hedefleri önceliklendirmek, eksik bilgiyi değerlendirmek, gerçek kullanıcı tepkilerini yorumlamak, kuruma özgü koşulları anlamak ve bir kararın sorumluluğunu taşımak.

Bu işler çoğu zaman kolay standardize edilemez. Alan bilgisine, deneyime ve örtük koşullara bağlıdır. Bir model makul bir cevap üretebilir, ancak belirli bir şirkette, pazarda, teknik yığında veya müşteri ilişkisinde hangi küçük sapmanın kullanışlı ile kullanışsız arasındaki farkı yarattığını kendiliğinden bilemez.

Bu nedenle "kalan bölüm" çoğu zaman uzmanlığın yeniden görünür olduğu yerdir.

Örneğin yapay zekâ tarafından oluşturulmuş bir proje planı, yapı, aşamalar, riskler ve görevleri çok hızlı önerebilir. Zor iş, belirtilen kaynağın gerçekten mevcut olup olmadığını, bağımlılıkların çakışıp çakışmadığını, zaman aralığının gerçekçi olup olmadığını ve önerilen sıralamanın organizasyona uyup uymadığını değerlendirmekle başlar. Biçimsel olarak plan neredeyse bitmiştir; operasyonel olarak ise kullanıma hazır olmaktan hâlâ uzakta olabilir.

Aynı durum yazılım için de geçerlidir. Bir ajan büyük miktarda kod üretebilir ve çalışan bir prototip hazırlayabilir. Ürün olgunluğu yine de test, entegrasyon, güvenlik, gözlemlenebilirlik, hata toleransı, bakım yapılabilirlik ve savunulabilir bir "tamamlandı" tanımı gerektirir.

Araştırma evrensel bir yüzde formülünü desteklemiyor

Dış araştırmalar 80/20 oranının genel bir üretkenlik kuralı olarak kullanılamayacağını açık biçimde gösteriyor. GitHub Copilot ile yapılan kontrollü bir deneyde katılımcılar dar kapsamlı bir programlama görevini yapay zekâ desteğiyle belirgin biçimde daha hızlı tamamladı.^[1] Buna karşılık METR'nin deneyimli açık kaynak geliştiricilerle, kendi karmaşık kod tabanlarında yaptığı daha sonraki randomize saha çalışmasında o dönemin yapay zekâ araçları ortalama tamamlama süresini artırdı.^[2]

Bu bulgular mutlaka çelişkili değildir. Yapay zekâ etkisinin göreve, kişiye ve bağlama bağlı olduğunu gösterir. Açıkça tanımlı ve yerel olarak sınırlandırılmış bir görev güçlü biçimde hızlanabilir. Örtük bağlamı, yüksek kalite beklentileri ve çok sayıda bağımlılığı bulunan olgun bir sistem ise ek koordinasyon ve kontrol maliyetleri yaratabilir.

NIST AI Risk Management Framework'ün performans, sınırlar, kullanım bağlamı, insan gözetimi ve test, değerlendirme, doğrulama ve geçerleme süreçlerinin açıkça tanımlanmasını istemesi de bu nedenle önemlidir.^[3] Tek başına üretkenlik yeterli bir kalite ölçütü değildir.

Savunulabilir sonuç "yapay zekâ yüzde sekseni yapar" değildir. Daha doğru ifade şudur: Yapay zekâ bazı iş bölümlerini çok güçlü biçimde sıkıştırabilir; kalan çaba ise çoğu zaman doğrulama, entegrasyon ve karar tarafına kayar.

Yetki devri işin türüne göre yapılmalı

Olgun bir yapay zekâ stratejisi görevleri topluca devretmez; işi özelliklerine göre parçalar. Hedef, format ve kalite ölçütleri net olduğunda ve hatalar kolayca fark edilip geri alınabildiğinde geniş yetki devri daha uygundur. Başarı ölçütü belirsizleştiğinde, bağlam örtük kaldığında veya hatalı kararın maliyeti yükseldiğinde insan rolü büyür.

Böylece tartışma "yapay zekâ yüzde kaçını yapabilir?" sorusundan daha yararlı bir soruya taşınır: Makine hızı nerede değerlidir ve insan muhakemesi nerede gerçek darboğazdır?

Olgunluk farklı ölçülmeli

Yapay zekâ kullanan ekipler ilerlemeyi yalnızca tamamlanmış görev sayısıyla ölçmemelidir. Bir görev kartı resmi olarak kapanmış olabilir, ancak belirsizlik yalnızca bir sonraki aşamaya aktarılmış olabilir. Bir özellik uygulanmış olabilir ama faydası doğrulanmamıştır. Bir araştırma paketi tamamlanmış görünebilir ama en güçlü karşı kanıt hiç incelenmemiş olabilir.

Bu nedenle ikinci bir ilerleme ölçütü gerekir: üretim ilerlemesi yerine ürün olgunluğu.

Üretim ilerlemesi neyin üretildiğini sorar. Ürün olgunluğu ise neyin anlaşıldığını, test edildiğini, entegre edildiğini ve sorumlulukla kullanılabilir hâle getirildiğini sorar.

Bu ayrım proje yönetimini değiştirir. Bir yapay zekâ ajanı yüksek görev tamamlama oranına ulaşabilir ama profesyonel açıdan kırılgan bir proje üretebilir. Tersine, kritik varsayımlar test edildiği için daha yavaş görünen bir proje aslında riski hızla azaltıyor olabilir.

Pratik bir olgunluk modeli yalnızca yüzdelere dayanmak yerine dört durumu ayırabilir: üretildi, doğrulandı, entegre edildi ve onaylandı. Kritik bir bileşen, bu dört durum tamamlanmadan güvenilir kabul edilmemelidir.

Uzmanlık, makul görünmenin yetmediği yerde başlar

Üretken modeller çoğu zaman makul standart çözümler üretir. Bu çok değerlidir. Birçok proje standart çözüm kötü olduğu için değil, insanlar onu geç bulduğu veya tutarsız uyguladığı için zorlanır. Yapay zekâ bu kısmı büyük ölçüde sıkıştırabilir.

Bu durum insan uzmanlığını gereksiz kılmaz. Rolünü değiştirir. Yapay zekâ standart kalıplarda ne kadar iyi olursa, bağlamı anlama, problemi doğru tanımlama, kaliteyi yargılama, önceliklendirme ve ikna edici görünen bir çözümü gerektiğinde reddetme becerileri o kadar değerli hâle gelir.