İki model çeliştiğinde

Yan yana iki yapay zekâ yanıtı vardır. İkisi de akıcı biçimde yazılmış, ikisi de bir sonraki adımı belirtmiş, ikisi de makul görünmektedir. Ancak önerileri birbirini dışlar. İlki, ikinci bir modelin içerikleri güvenilir biçimde doğrulayacağını vaat eder; ikincisi ise farklılıkların önce özgün bir kaynakta incelenmesini ister. Bu noktada hangi modelin “haklı” olduğunu soran kişi anlaşılır, ancak henüz fazla kaba bir soru sormuş olur.

Modeller arasındaki çelişki, öncelikle bir inceleme vesilesidir. Bir olgu hatasına işaret edebilir. Belirsiz bir görevden, farklı örtük varsayımlardan ya da gerçek bir değer tartımından doğabilir. Uzlaşma da meseleyi güvenilir biçimde açıklığa kavuşturmaz: İki sistem aynı boşluğu gözden kaçırabilir veya ortak, yanlış bir varsayımı tekrarlayabilir. Birbiriyle uyuşan çıktıların sayısı, bir cümleyi bilgiye dönüştürmez.

Bu makale bu nedenle sınırlı bir karşılaştırma tasarımı gösterir. Görevi, sağlanan bilgileri, çıktı şemasını ve değerlendirme ölçütünü aynı tutar. Olguların incelenmesini üslup ve değer yargılarının değerlendirilmesinden ayırır. İlk kör değerlendirmede sistem eşleştirmesi gizli kalır; sunum sırası belgelenir ve bir model hakemi kullanıldığında bilinçli olarak değiştirilir. Ayrıca tasarımın kendisinin ne zaman değiştirilmesi gerektiği kaydedilir. Amaç bir sıralama ya da sağlayıcılar hakkında genel bir ifade değildir. Gerçek bir çalışma, yalnızca dar biçimde tanımlanmış bir görev hakkında izlenebilir bir bulgu sağlayabilir.

Süreklilik gösteren uygulama vakası tamamen kurgusaldır. Gerçek bir şirketi, fiilî bir model çıktısını, kişiyi veya öğretim durumunu anlatmaz.

1. Tartışma neden felsefidir

Bir model karşılaştırması ilk bakışta teknik görünür: iki girdi, iki yanıt, bir tablo. Ancak özü epistemolojiktir. Bir yanıtın ne tür bir gerekçe sunabileceğine karar vermemiz gerekir.

Bir yanıt bir işaret olabilir. Bir açıklama önerebilir, bir kaynağa dikkat çekebilir veya gözden kaçmış bir seçeneği görünür kılabilir. Bu onu güçlü anlamıyla tanıklığa dönüştürmez. Tanıklık, algılama, inceleme ve düzeltmeye ilişkin atfedilebilir bir uygulamaya dayanır; bir kuruluş bu tür uygulamalara dayanabilir, çünkü başkaları onun izlediği yolu takip edip eleştirebilir. Bir dil modeli, doğruluk içeriğinden sorumluluk taşımaksızın metin üretir. Sonucu bir yayına, öneriye veya iş akışına aktaran rol sorumlu olmaya devam eder.

Bu, model karşılaştırmasının yararsız olduğu anlamına gelmez. Farklılıklar dikkatimizi dağıtabilir. X yanıtı bir kaynak adı veriyor ve Y yanıtı bir koşul ekliyorsa, bir inceleme görevi doğar: Hangi iddia gerçekten destekleniyor? Görevde hangi koşul yer alıyordu? Hangi bakış açısı eksik? Karşılaştırma, böylece insan incelemesinin kalitesini artırabilir. Bu incelemenin yerini almaz.

En güçlü felsefi yanılgı, oylamayı epistemik otoriteye dönüştürmek olurdu: İki sistem aynı şeyi söylüyorsa, bunun doğru olma olasılığı daha yüksek olmalıdır. Bu, birden çok yargı gerçekten bir şeye ilişkin bağımsız ve yetkin erişim yollarını bir araya getiriyor ve hata kaynakları yeterince farklıysa geçerli olabilir. Dil modellerinde bu bağımsızlık varsayılamaz. Eğitim verileri, model aileleri, talimatlar, değerlendirme şemaları ve yaygın metin örüntüleri örtüşebilir. Farklı sağlayıcılar bile hatalarının ilişkili olmadığına dair güvence vermez. Aynı şekilde, karşı görüş bildiren bir model daha iyi bir soru sorabilir; bu nedenle bütünüyle “daha iyi model” olmaz.

Uygulamada daha mütevazı bir kural çıkar: Çelişki, teşhis için bir vesile yaratır; uyum incelemeyi sonlandırmaz. Hangi teşhisin uygun olduğu, göreve ve tartışmalı ifadenin türüne bağlıdır.

2. Araştırmaların sunduğu ve sunmadığı şeyler

Birçok özgün çalışma test tasarımını keskinleştirmeye yardımcı olur. Hiçbiri küçük bir kuruluşa hazır bir karşılaştırma yöntemi önermez. Bulguları belirli modellere, veri kümelerine, toplama zamanlarına ve ölçüm büyüklüklerine ilişkindir. Tam da bu nedenle yararlıdırlar: Kaçınılması gereken genellemeleri gösterirler.

Elliot Kim, Avi Garg, Kenny Peng ve Nikhil Garg, “Correlated Errors in Large Language Models” çalışmasında iki yaygın liderlik tablosu ve özgeçmiş değerlendirme görevi üzerinden 350’den fazla dil modelini inceler. İncelenen liderlik tablosu veri kümelerinden birinde modeller, ikisi de hatalı olduğunda vakaların yüzde 60’ında aynı sonuca ulaştı. Çalışma ortak mimari ve sağlayıcıyı etkenler arasında belirler; aynı zamanda farklı mimarilere ve sağlayıcılara sahip daha büyük, daha doğru modellerde de yüksek hata korelasyonu bildirir. Bu, günlük yaşamda rastgele her çiftin aynı hataları yaptığına dair kanıt değildir. Ancak adların veya sağlayıcıların farklı olmasının başlı başına bağımsız bir denetim olduğu yönündeki rahat varsayımı çürütür. Kim et al., 2025

Percy Liang ve geniş bir yazar ekibi, HELM ile karşılaştırmayı tek bir ölçüte indirgemeyen bir çerçeve geliştirir. Çalışma olası uygulama senaryolarını ve ölçütleri sınıflandırır; o zamanki değerlendirmesinde, mümkün olduğu ölçüde 16 temel senaryo boyunca doğruluk, kalibrasyon, sağlamlık, adalet, yanlılık, toksiklik ve verimlilik dahil yedi ölçütü ölçer ve hedefli testler ekler. Bir KOBİ deneyi için önemli fikir, bu kapsamlı değerlendirmeyi yeniden kurmak değildir. Şudur: Karşılaştırmadan önce, somut kullanım için hangi özelliğin önemli olduğuna ve seçilen ölçütün hangi ödünleşimleri görünmez kıldığına karar verilmelidir. Okunabilirlikteki bir üstünlük, olgusal destek veya izin verilen veri kullanımı sorusunu yanıtlamaz. HELM, senaryo ve ölçüt alanına ilişkin bir çalışma olmaya devam eder; gelecekteki tüm görevler için bir sıralama değildir. Liang et al., 2023

Lianmin Zheng ve ortak yazarları, MT-Bench ve Chatbot Arena ile güçlü dil modellerinin açık uçlu chatbot yanıtlarını değerlendirebilip değerlendiremeyeceğini inceler. Çalışmaları model yargılarını denetimli ve kitle kaynaklı insan tercihleriyle karşılaştırır ve dönemin güçlü model hakemleri için bu tercihlerle yüksek uyum bildirir. Bununla birlikte konum, ayrıntılı anlatım ve öz-yanlılık yanlılıkları ile sınırlı akıl yürütme gibi sınırlara da değinir. Buradan model hakeminin değersiz olduğu sonucu çıkmaz. Açıkça tanımlanmış açık kalite sorularında ölçeklenebilir bir işaret sağlayabilir. Ancak değerlendirmesi olgular hakkında bağımsız bir hakem kurulu değildir; incelenen koşullar altında insan tercihlerini yaklaşıklar. Zheng et al., 2023

Lin Shi, Chiyu Ma, Wenhua Liang, Weicheng Ma ve Soroush Vosoughi, ön baskı “Judging the Judges” çalışmasında model hakemlerindeki konum yanlılığını inceler. MTBench ve DevBench, birden fazla görev ve yanıt modeli üzerinden hakemleri karşılaştırır; tekrar istikrarına, konum tutarlılığına ve tercih adaletine bakarlar. Bulguları, incelenen hakem modellerindeki konum yanlılığının yalnızca tesadüf olmadığını ve hakeme, göreve ve kalite farkına göre değiştiğini gösterir. Küçük bir karşılaştırma için buradan sabit bir düzeltme formülü çıkmaz. Uygulamadaki sonuç şudur: İki yanıt bir model tarafından değerlendiriliyorsa, sıra bilinçli olarak değiştirilip sonucun olası yanlılığı belgelenmelidir. Shi et al., 2024

Bu dört çalışma bu yüzden “her zaman üç model kullanın” veya “her zaman kör değerlendirin” gibi basit bir kural vermez. Daha dar bir şeyi temellendirir: Karşılaştırma için tanımlanmış bir nesne, birden çok ayrı ölçüt, olası bağımlılıkla başa çıkma biçimi ve hakem rolünün görünür bir sınırı gerekir.

3. Önce soruyu onarmak: A → B → D → C sırasıyla F

Soru modeli F burada süs olarak kullanılmaz. Deneyi değiştirir. Sırası A → B → D → C şeklindedir. Sınırlı karşılaştırma sorusu ancak netleştirme, rakip hipotezler ve bir revizyon döngüsünden sonra ortaya çıkar.

A: Aslında ne çarpışıyor?

“Hangi model daha iyi?” en az dört soruyu birbirine karıştırır: Talimatı izliyor mu? Olguları doğru aktarıyor mu? İzlenebilir belirsizliği görünür kılıyor mu? İstenen hedef grup için anlaşılır yazıyor mu? Bunlar ayrılmazsa, iyi yazılmış ancak desteklenmeyen bir yanıt daha ikna edici duyulduğu için kazanabilir.

Bu nedenle kurgusal ekibin başlangıç sorusu şöyledir: “Hangi model ders metnimizi yazmalı?” A’dan sonra soru daralır: “Aynı vaka kartı altında iki çıktıdan hangisi, kaynaklara bağlı kamusal bir ders bilgilendirme metni için belirlenen sınırları koruyor?” Bu henüz bir onay sorusu değildir. İki metin çıktısı ve önceden formüle edilmiş bir referans hakkındaki sorudur.

B: Yanıtlardan önce rakip hipotezler

Ekip yanıtlara bakmadan önce, daha sonra ortaya çıkabilecek fark için birkaç olası açıklama kaydeder.

Bu hipotezler olasılık değildir. Bulunan ilk açıklamanın hemen hükme dönüşmesini önlerler. Aynı zamanda hangi gözlemin bir hipotezi zayıflatacağını belirtirler.

D: Test soruyu taşıyamazsa soru değiştirilir

İlk test sorusu başarısız olabilir. Modeller aynı girdiyi almamış olabilir. Referansın kendisi fazla genel olabilir. Testin olguları ölçtüğü iddia edilirken, bir kişi yalnızca üslup farkı görebilir. O zaman sonuç “belirsiz, ancak Model A az farkla önde” değildir. Soru revize edilmelidir.

Bu makalenin vakasında başlangıç sorusu olan “Hangi metin daha doğru?” terk edilir. Fazla geniştir; ne işlemselleştirilmiş bir inceleme ölçütü ne de bir referans çapası içerir. Sonraki biçim şöyledir: “Kurgusal vaka kartında hangi çıktı iki alt iddia için önceden belirlenmiş gerekliliklerin daha azını ihlal ediyor?” Bu, değerlendirmeyi değiştirir. Ekip dağınık bir özellik iddia etmek yerine işaretlenmiş ihlalleri açıklayabilir.

C: Eylem adımı içeren sınırlı bir son soru

Revize edilmiş soru son olarak şöyledir:

“Dondurulmuş V-01 vaka kartı altında: X çıktısı mı, Y çıktısı mı kamusal bir ders bilgilendirme metni için önceden belirlenmiş beş gerekliliği daha eksiksiz karşılıyor ve hangi açık sorular onun onaylanmasını engelliyor?”

GROW adımı küçüktür: Ekip önce ayrı bir soru genişletme turu oluşturur, ardından önceden belirlenmiş üç ders iddiasını aynı rubrikle test eder. Tek çalışmayı kalite sıralaması olarak kullanmaz. Bu adım bir çalışma planıdır; F hakkında ampirik bir etkililik iddiası değildir.

4. Asgari test sözleşmesi

Adil bir karşılaştırma hiçbir zaman bütün farklılıkları denetleyemez. Ancak neyin aynı tutulduğunu ve neyin açık kaldığını görünür kılabilir. Küçük ve sınırlı bir deneme için bir test sözleşmesi yeterlidir.

Referans en hassas bölümdür. Yanıtlar okunduktan sonra tercih edilen bir yanıt kazanacak şekilde formüle edilmemelidir. Doğrulanabilir bir olgu sorusunda ilgili bir özgün kaynağa ve ilgili buluntu yerine ihtiyaç duyar. Yerel bir süreç sorusunda, önceden kararlaştırılmış sınırlı bir vaka kuralı olabilir. Her iki durumda da yalnızca yazılı olması nedeniyle tarafsız değildir. Ekip, neden tam bu kuralın veya kaynağın soruya uygun olduğunu ve hangi bakış açısını içermediğini gerekçelendirmelidir.

Kör kodlama beklentilere karşı sınırlı koruma sağlar: Zhu ve ortak yazarları, üç metin görevinde köken etiketlerinin tercihleri belirgin biçimde değiştirebildiğini, değerlendiricilerin ise kör koşulda metin türlerini ayırt edemediğini buldu. Bu, olgu incelemesi için değil, tercih yargılarında kör kodlar için gerekçe sunar. Hangi çıktının hangi sağlayıcıdan geldiğini bilmeyen kişi, marka varsayımlarının yönlendirmesine daha az açık olur. Ancak kör kodlama ne temsili veri ne de tam bir referans sağlar. İnceleyen kişi üslubu tanırsa veya görevi zaten çok iyi biliyorsa, etki olasılığı sürer. Bu nedenle kör inceleme, artık nesnel olunduğu iddiasına değil, protokole aittir. Zhu et al., 2025

5. Kurgusal KOBİ vakası

Nehir Kıyısındaki Kurs Atölyesi Ltd. Şti. tamamen kurgusaldır. Küçük sürekli eğitim şirketi, yapay zekâ yanıtlarının eleştirel karşılaştırması için kamusal bir ders sayfası hazırlar. İki metin sistemi aynı görevi alır. Dar bir kaynak paketinden kısa bir bilgilendirme metni yazmaları gerekir. Şirket, ders sayfası, roller ve aşağıdaki yanıtların tümü bu makale için kurgulanmıştır.

İki alt iddia bilinçli olarak farklıdır. İlki bir araştırma iddiasıdır: HELM, birden çok senaryo ve ölçütle geniş bir değerlendirme geliştirmiştir. İkincisi editoryal bir vaka kuralıdır: Derste, iki yanıtın uyuşması, tartışmalı bir alt iddianın özgün çapada incelenmesinin yerini almaz. Kim ve ortak yazarları, araştırmalarının koşulları altında ilişkili hataları ampirik bulgu olarak bildirir. Çalışma ile vaka kuralı arasındaki ayrım karşılaştırma tasarımının parçasıdır.

Editörler alıştırma için bu vaka kartını önceden oluşturur. Bu kart, didaktik bir kör değerlendirme simülasyonuna hizmet eder; gerçek bir model testi değildir.

Editörler değişmemiş girdi kartını Tur 1 olarak kaydeder. Soru genişletmesi ancak değerlendirmeden sonra yapılabilir. Örneğin, metnin az önbilgisi olan öğrenenlerin bakış açısını açıklaması eklenirse, bu yeni sürüm kimliği taşıyan Tur 2 olur. Değiştirilmiş soru geriye dönük olarak aynı girdi ve dolayısıyla adil bir eşitlik olarak sunulmamalıdır.

6. İki kurgusal çıktı, kör biçimde incelenmiş bir tablo

Aşağıdaki yanıtlar, bu makale için tamamen kurgulanmış örnek metinlerdir. Hiçbir model çağrısından gelmez; ne transkripttir ne de performans kanıtıdır. Tablo, kör değerlendirmenin nasıl görünebileceğini simüle eder: Gerçek bir çalışmada sistem adları inceleyen kişiden gizli olurdu; burada yalnızca kurgusal kodlar vardır.

Çıktı X

İki model bilgiyi güvenli kılar

HELM, hangi yapay zekâ sisteminin en iyi yanıtı verdiğini kanıtlar. Bu nedenle derste iki modeli karşılaştırıyoruz: Uyuştuklarında bir ifade güvenilir biçimde doğrulanır. Yöntemimiz öğrenenleri kanıtlanabilir biçimde daha iyi olgu denetçileri yapar. En dostça ve en açık yapay zekâ yanıtını seçmeyi öğrenirler.

Çıktı Y

Karşılaştır, incele, sınırla

HELM, dil modellerini birden çok senaryoda ve birden çok ölçüte göre değerlendirir; her sonuç yalnızca incelenen çerçeve için geçerlidir. Derste iki yanıtı hakikat üzerine oylama olarak karşılaştırmayız. Farklılıklar ve uyuşmalar, alt iddiaları uygun bir özgün kaynakta ve sınırlarıyla incelemek için vesile olur. Öğrenenler, bir metni benimsemeden önce hangi sorunun açık kaldığını kaydeder.

Aşağıdaki tablo, simülasyon içindeki doldurulmuş bir değerlendirme matrisidir. Gerçek sistemlerin gözlemlenmiş davranışını göstermez.

Simüle edilmiş kör değerlendirmeden sonra kurgusal eşleştirme açıklanır: Bu öğretim örneğinde X “Model A”, Y ise “Model B” anlamına gelir. Gerçek model çalışmaları yapılmamıştır. Böyle bir eşleştirme gerçek bir denemede kayda geçirilirdi; ancak inceleyen kişiye olgusal yargısından sonra gösterilirdi.

Simülasyonda X, belirlenmiş birkaç gerekliliği ihlal eder: Metin, kapsamlı bir değerlendirmeyi kanıta, uzlaşmayı doğrulamaya dönüştürür ve kaynaksız bir öğrenme etkisi iddia eder. Y, bu kurgulanmış değerlendirme matrisi içinde gerekliliklerin daha fazlasını karşılar. Buradan ne gerçek model performansı ne de bir ders sayfasının daha iyi anlaşılabilirliği çıkarılabilir.