Uzmanlık Çoğu Zaman Olası Olmayanda Yatar

Üretken yapay zekâ, olası olanı çok hızlı erişilebilir hâle getirdiğinde özellikle değerlidir. Bilinen örüntüleri tanır, sık kullanılan yaklaşımları yoğunlaştırır, işe yarar standart taslaklar üretir ve insanların eskiden çok daha uzun sürede araştırıp yazacağı alternatifleri saniyeler içinde sunar. Bu bir zayıflık değildir. Tam tersine, profesyonel işlerin önemli bir bölümü kanıtlanmış örüntüleri güvenilir biçimde tanımak ve uygulamaktan oluşur.

Sorun, olasılık, ikna edicilik ve uygunluk aynı şeymiş gibi ele alındığında başlar. Bir çözüm dilsel olarak çok güçlü, teknik olarak alışıldık ve istatistiksel olarak makul olabilir; buna rağmen gerçek projede belirleyici olan tek bir sınır koşulu yüzünden yanlış olabilir. Alışılmadık bir müşteri süreci, nadir bir veri kombinasyonu, yerel bir istisna, tipik olmayan bir teknik bağımlılık veya iki gereksinim arasındaki çelişki, iyi bir standart cevabı kötü bir karara dönüştürebilir.

Uzmanlık dediğimiz şeyin önemli bir bölümü tam burada başlar. Uzmanlık, standartlara karşı çıkmak değildir. Bir standardın ne zaman geçerli olduğunu, hangi koşullara dayandığını ve hangi küçük sapmanın bu geçerliliği bozduğunu bilmek demektir.

Bu nedenle yapay zekâyla çalışırken kritik beceri, sürekli daha sıra dışı cevaplar üretmek değildir. Normal durumun dışındaki alanı sistematik biçimde görünür kılmak ve yalnızca kanıt, risk veya bağlam bunu gerektiriyorsa o alana girmektir.

Olasılık bir kalite hükmü değildir

Bir dil modeli, öğrendiği olasılık yapıları üzerinden yanıt üretir. Basitleştirerek söylersek bağlamı işler ve bu koşullar altında hangi dilsel devamların daha makul olduğunu sürekli hesaplar. Güncel sistemler planlama yapabilir, araç kullanabilir, araştırma gerçekleştirebilir ve karmaşık akıl yürütme zincirleri kurabilir. Ancak temel sorun ortadan kalkmaz: makullük, doğruluk veya kalite işareti değildir.

Birçok durumda bu tamamen yeterlidir. Bir proje ekibi tipik bir toplantı yapısı, ilk risk listesi veya birkaç ifade alternatifi istiyorsa yaygın örüntülere yakınlık zaten aranan özelliktir. Her projede proje yönetimini sıfırdan icat etmek gerekmez.

Kararın bir istisnaya bağlı olduğu durumda tablo değişir. Sistem, benzer vakaların çoğunda işe yarayan örüntüyü son derece ikna edici biçimde yeniden üretebilir. Mevcut vaka o örüntünün dışında kalıyorsa tam da bu özellik risk hâline gelir.

Bu ayrım temeldir. Model, olası cevaplar dağılımını son derece hızlı tarayabilir. Proje ise gerçek sonuçları olan bir karar ister.

Long tail gerçekliğin bir parçasıdır

Gerçek dünyadaki birçok dağılımın uzun bir kuyruğu vardır: az sayıda durum çok sık görülürken çok sayıda başka durum nadiren ortaya çıkar. Bu long tail bölgesinde nadir kavramlar, az görülen olaylar, zayıf belgelenmiş özel durumlar, yerel uygulamalar ve eğitim verilerinde yalnızca sınırlı temsil edilen kombinasyonlar bulunur.

Projelerde bu vakalar otomatik olarak önemsiz değildir. İşlemlerin yalnızca yüzde birinde görülen bir hata önemsiz olabilir; ya da tam tersine ödeme açısından kritik istisnayı etkileyebilir. Nadir bir kullanıcı grubu marjinal olabilir; veya düzenleyici, stratejik ya da ticari açıdan özellikle önemli olabilir. Teknik bir edge case neredeyse hiç ortaya çıkmayabilir; fakat gerçekleştiğinde bütün sistemi durdurabilir.

Bu nedenle sıklık ile önem iki ayrı eksendir.

Bu ayrım yapay zekâ projelerinde özellikle önemlidir; çünkü sistemler çoğunlukla ortalama performansla değerlendirilir ve benchmark sonuçları toplu skorlar üzerinden okunur. Bir model ortalamada çok güçlü olabilir, fakat belirli bir kuruluş için kritik olan nişte zayıf kalabilir.

Araştırmalar nadir vakalar hakkında ne gösteriyor?

Nadir vakaların dil modelleri için daha zor olabileceği fikri artık ciddi ampirik destek buluyor. Kandpal ve çalışma arkadaşları, dil modellerindeki bilgiyle pretraining verilerindeki ilgili bilginin sıklığı arasındaki ilişkiyi inceledi. Sonuçlar, ilgili doküman sayısıyla modelin bu bilgiye ilişkin olgusal soruları doğru cevaplama becerisi arasında güçlü bir ilişki bulunduğunu gösteriyor. Daha büyük modeller durumu iyileştiriyor, ancak long-tail etkisini tamamen ortadan kaldırmıyor.^[1]

Godbole ve Jia, daha düşük olasılıklı örnekleri bilinçli biçimde test setine taşıyan benchmark'lar oluşturdu. Likelihood Splits adı verilen bu ayrımlarda göreli hata oranları klasik rastgele bölmelere kıyasla belirgin biçimde arttı. Bu bulgu, standart benchmark'ların dağılımın yoğun ve daha olası bölümlerindeki performansı olduğundan daha genel görünür hâle getirebileceğini ortaya koyuyor.^[2]

Li ve çalışma arkadaşlarının EMNLP çalışması ise sistematik olarak üretilmiş ve olgusal açıdan kontrol edilmiş ifadeler üzerinden long-tail çıkarımsal bilgiyi test etti. Modern modeller burada da daha sık görülen örneklere kıyasla açık bir performans düşüşü gösterdi.^[3] Sonuç, modellerin "nadiri yapamadığı" değildir. Daha doğru ifade şudur: yüksek ortalama performans, dağılımın kenarlarında aynı düzeyde sağlamlık garantisi vermez.

Pratik sonuç her standart cevaba şüpheyle yaklaşmak değildir. Daha disiplinli bir ilke gerekir: nadir bir hatanın sonucu ne kadar ağırsa, proje dağılımın kuyruğunu o kadar bilinçli test etmelidir.

Uzmanlık büyük ölçüde sınır bilgisidir

Yeni başlayan biri çoğu zaman kuralı görür. Deneyimli uzman ise kuralın geçerlilik sınırını da görür.

Bu fark kolayca küçümsenir. Uzmanlık yalnızca daha fazla bilgi veya daha fazla yöntem değildir. Uzmanlığın önemli bir bölümü, bir yöntemin ne zaman uygulanmaması gerektiğini, hangi varsayımların sessizce doğru olması gerektiğini ve hangi küçük gözlemin görünüşte açık olan bir teşhisi değiştirdiğini bilmektir.

Deneyimli bir mühendis yalnızca normal işletmeyi değil, tipik arıza biçimlerini de tanır. Deneyimli bir hukukçu sadece standart maddeyi değil, istisnanın belirleyici olduğu durumu fark eder. Deneyimli bir ürün yöneticisi yalnızca makul bir özellik fikrini değil, bunun destek, bakım veya kullanıcı davranışı üzerindeki yan etkisini de görür. Deneyimli bir yaratıcı profesyonel, kanıtlanmış bir örüntünün ne zaman sıradanlaşmaya başladığını anlar.

Bu tür bilgi açıkça belgelenmediğinde dil modelleri için özellikle zordur. Kurumlar genellikle başarılı standart çözümü saklar, ancak o çözümün bilinçli olarak reddedildiği on durumu kaydetmez. Oysa reddedilen alternatifler, karşı örnekler ve istisna koşulları değerli sınır bilgisi taşır.

Bu nedenle bir yapay zekâ bilgi tabanı yalnızca "bunu böyle yapıyoruz" içermemelidir. Şunu da içermelidir: "şu durumda bunu böyle yapmıyoruz …"

Karşı örnekler sadece daha fazla alternatiften daha değerlidir

Yapay zekâ ikna edici bir çözüm sunduğunda doğal tepki çoğu zaman "beş alternatif daha ver" demektir. Bu yüzey çeşitliliğini artırır, fakat temel varsayımı mutlaka sınamaz. Beş alternatif aynı yanlış varsayımı beş farklı biçimde tekrar edebilir.

Karşı örnek farklı çalışır. Önerilen çözümün başarısız olacağı bir durum arar. Böylece yüzey değil, geçerlilik sınırı test edilir.

"Başka hangi proje planları mümkün?" yerine çoğu zaman "Bu proje planı hangi gerçekçi koşullarda başarısız olur?" sorusu daha güçlüdür. "Başka hedef kitleler öner" yerine "Mevcut modelimizin sistematik olarak yanlış anladığı hangi önemli kullanıcı grubu var?" diye sorulabilir. "Bu mimariyi geliştir" yerine "Hangi varsayım yanlışsa bu mimari yanlış seçim olur?" sorusu daha öğreticidir.

Bu, yapay zekânın rolünü değiştirir. Sistem yalnızca cevap üreticisi olmaktan çıkıp bir yanlışlama ortağına dönüşür.

Ancak karşı örnek de yalnızca bir öneridir. İlk çözüm kadar onun da doğrulanması gerekir. Yöntem hakikat üretmez; daha iyi test yüzeyleri üretir.

Nadir olan otomatik olarak akıllı değildir

Standart çözümlere karşı tepki, kör standardizasyon kadar tehlikeli olabilir. Olası olmayanı kendiliğinden daha dahice görmek yalnızca bir önyargıyı başka bir önyargıyla değiştirir.

Birçok nadir fikir, kötü çalıştığı için nadirdir. Birçok sıra dışı yol pahalıdır, gereksiz karmaşıktır veya iyi nedenlerle daha önce terk edilmiştir. İnovasyon, normdan mümkün olduğunca uzaklaşma sanatı değildir. İnovasyon, normal varsayımın mevcut vakayı açıklamadığı yerde sapabilme becerisidir.

Bu nedenle tail scouting her zaman ikinci bir eksene ihtiyaç duyar: alaka.

Tablo, nadirliğin tek başına öncelik ölçütü olamayacağını gösterir. Asıl önemli olan olasılık, sonuç, tespit edilebilirlik ve geri döndürülebilirliğin birleşimidir.

Sınır sistematik olarak aranabilir

"Kutunun dışında düşünmek" çoğu zaman spontane yaratıcılık gibi anlatılır. Profesyonel yapay zekâ çalışması için daha sistematik bir yöntem yararlıdır. Bir çözümün sınırı dört soruyla açılabilir.

Önce varsayımlar görünür kılınır: Standart çözümün çalışması için neyin doğru olması gerekir? Sonra sınırlar incelenir: Veri, kaynak, zaman, kullanıcı davranışı veya düzenleyici çerçevede hangi değişiklik çözümü bozar? Ardından karşı örnekler aranır: Yüzeyde benzer görünmesine rağmen farklı ele alınması gereken gerçek veya makul vakalar var mı? Ancak bundan sonra alternatif hipotezler ve sıra dışı çözüm yolları araştırılır.

Bu yaklaşım yaratıcılığı ortadan kaldırmaz. Yaratıcılığı probleme bağlar.

Standart çözümün somut bir zayıflığını gidermeyen sıra dışı öneri yalnızca bir seçenektir. Kanıtlanmış bir sınırı daha iyi yöneten sıra dışı öneri ise ciddi bir alternatiftir.