Yapay zekâ yanıtının ardındaki kaynak

Bir kaynak gösterimi şeffaflık izlenimi verir. Bir araştırmaya, yasal metne veya ürün dokümantasyonuna yönlendirebilir. Ancak bir bağlantı henüz belirleyici soruyu yanıtlamaz: Yapay zekânın ona dayanarak ileri sürdüğü iddiayı, tam bu bağlamda, bu grup için, bu zamanda ve bu sınırlamayla, gerçekten bu kaynak mı destekliyor?

Bu makale, yapay zekâ destekli uzmanlık metinleri için uygulamalı bir kanıt zinciri geliştirir. Zincir, tek bir iddiadan uygun bir özgün kaynağa ve ilgili pasaj/konuma; sınırlı bir ifadeye, açık bir boşluğa veya gerekçeli bir yayımlamama kararına uzanır. Böylece kaynak atfı, güven rozeti değil, doğrulanabilir bir çalışma yoluna dönüşür. Soru modeli F, araştırma sorusunu kesinleştirir. Ardından istişare modeli K, incelenmiş kanıtı savunulabilir bir kurumsal karara dönüştürmeye yardımcı olur. Her iki model de insan emeğini düzenler; hiçbiri bir iddiayı kendiliğinden bilgiye dönüştürmez.

Süreklilik gösteren uygulama vakası tamamen kurgusaldır ve gerçek bir şirketi ya da fiilî bir ders sürecini temsil etmez.

1. Uzun bir iş gününün sonundaki kısa soru

Küçük bir editör ekibi olan kurgusal bir sürekli eğitim sağlayıcısı, web sitesinde yapay zekâ destekli araştırma hakkında bir ifade yayımlamak ister. Bir metin sistemi bir paragraf taslaklaştırmış ve birkaç kaynağa bağlantı vermiştir. Bir çalışma arkadaşı sorar: “Kaynaklar da var. Bu ifadeyi bu hâliyle onaylayabilir miyiz?”

Soru anlaşılırdır. Ekibin zamanı sınırlıdır, kaynak listesi profesyonel görünür ve ifade planlanan mesajla uyumludur. Ancak söz konusu olan kamusal bir uzmanlık metnidir. Bir araştırma bulgusu aşırı genellenirse, okuyucular bundan tüm sistemlerin güvenilir bir özelliği olduğu sonucunu çıkarabilir. Eski bir bulgu güncelmiş gibi sunulursa, sayfa araştırmanın hiç incelemediği bir durumu ima edebilir. Bir kaynak cümlenin yalnızca bir bölümünü destekliyorsa, geri kalan kısım da görünürde kanıtlanmış kalır.

Uygun yanıt ne “Yapay zekânın her ifadesi yanlıştır” ne de “Bir bağlantı yeterlidir”dir. Yanıt daha küçük bir birimle başlar: Cümle tam olarak nedir ve kaynağın bunun hangi bölümünü taşıması gerekir? Ancak bundan sonra ekip denetimin ne kadar derin olması gerektiğine ve açık bir boşlukla ne yapılacağına karar verebilir.

Bu, görevi değiştirir. Ekip, bir kaynak listesini bütün olarak onaylamak yerine tek tek ifadelerden oluşan bir diziyi inceler. Dünyadaki her iddiayı yeniden kanıtlaması gerekmez. Ancak hangi ifadenin hangi bölüme dayandığını, hangi sınırlamanın buna eşlik ettiğini ve açık bir boşluk olduğunda kimin çalışmaya devam edeceğini veya duracağını görünür kılmalıdır.

Seri akışında bu makale, “Tutarlılık, doğruluk değildir” makalesinin inandırıcı dilin gerçekten bir iddiayı taşıyıp taşımadığı sorusuna bağlanır ve “Zaman Baskısı Altında Yargıda Bulunmak” makalesinin mevcut denetim süresine bakışından sonra tek bir iddiaya odaklanır: Hangi özgün kaynak onu destekliyor, ilgili pasaj nerede ve bu pasajın ifadesi ne kadar ileri gider? Bu dizinin sonraki bir makalesi ise daha sonra birden çok modelin nasıl adil biçimde karşılaştırılacağını inceler.

2. Bir kaynak gösteriminin birbirine karıştırmadığı beş şey

Günlük hayatta “kaynak doğrulandı” çoğu zaman çok farklı birkaç anlama gelir. Dayanıklı bir karar için en az beş soruyu ayırmaya değer.

Bu katmanlar, her zaman aynı emeği gerektiren beş onay kutusu değildir. “Kaynak doğru” gibi genel bir ifadenin gizlediği beş farklı yanıttır. Örneğin bir DOI sorgusu, kimliği ve kayıtlı üst veriyi netleştirebilir. Sayfa 14’ün belirli ifadeyi taşıdığını göstermez. Açılmış bir PDF erişilebilirliği gösterir. Çalışmanın metinde anılan sektörü, dönemi ya da etkiyi ele aldığını kanıtlamaz.

“Birincil kaynak” sözcüğü de sorunu tek başına çözmez. Özgün bir çalışma bir soruyu doğrudan inceleyebilir ve yine de yöntemsel sınırlamalara sahip olabilir. Bir yasal metin yürürlükteki normu aktarabilir; ancak bir iş sürecinin sonuçlarını yanıtlamayabilir. Resmî bir ürün sayfası üreticinin sürümü için makul bir kaynaktır, fakat bağımsız bir kalite incelemesi değildir. Burada kullanılan inceleme çerçevesinde “birincil kaynak”, incelenen nesneye veya yetkili özgün yayına yakınlığı ifade eder; otomatik olarak kalite, bağımsızlık ya da kapsam anlamına gelmez.

3. Atıf bir yol levhasıdır, doğruluk mührü değil

Bir kaynak gösterimi akıcı bir yapay zekâ metnini doğrulanmış bir rapor gibi görünen bir şeye dönüştürür: cümle, parantez içi atıf, bağlantı. Bu biçim, gerçek gerekçelendirme çalışmasıyla karıştırılabilir. Atıf başlangıçta bir inceleme davetidir. Ancak hedefe varıldığında eserin mevcut olup olmadığı, ilgili yerin bulunup bulunmadığı ve ifadeyi kapsamıyla birlikte taşıyıp taşımadığı belirlenebilir.

Bilgi çoğu kez paylaşılmış emeğe dayanır: hiç kimse bütün olguları tek başına yeniden kuramayacağı için insanlar tanıklıklara, uzman rollere, arşivlere ve kurumsal usullere güvenir. Ancak güven yalnızca kendinden emin bir ifadeden ya da dipnottan doğmaz. İddianın neye dayandığına, başkalarının bu yolu izleyip izleyemediğine ve hangi düzeltmenin mümkün olduğuna bağlıdır. Bir yapay zekâ sistemi atıf verebilir; bundan ne insan tanıklığı ne de sorumlu bir araştırma eylemi sonucu çıkar. Metni kullanan kuruluş, seçim, kapsam ve olası sonuçlar için sorumluluk üstlenmelidir.

Amaç mutlak kesinlik değil, iddia ile kanıt arasında izlenebilir ve düzeltilebilir bir ilişkidir. Bu nedenle iyi kaynak uygulaması yalnızca bir liste değil; sürüm, pasaj/konum, varsayımlar ve bir revizyon yolu bırakır.

4. Araştırmalar kaynak gösterilmiş yanıtlar hakkında ne gösteriyor

Otomatik üretilen atıflar üzerine araştırmalar farklı özellikleri inceler: atıfların tamlığı ve doğruluğu, kanıtların tek tek iddialara eşleştirilmesi ve bir sistemin belirttiği kaynağı gerçekten kullanıp kullanmadığı. Bu sorular bağlantılıdır, ancak birbirinin yerine geçmez.

Gao ve çalışma arkadaşları, atıflı yanıtların otomatik değerlendirilmesi için ALCE adlı bir kıyaslama ölçütü geliştirdi. Kıyaslama ölçütü, diğerlerinin yanı sıra yanıt kalitesini ve atıfların kalitesini ayırır. ELI5 veri kümesinde, incelenen en iyi sistemlerde bile vakaların yüzde 50’sinde tam atıf desteği yoktu. Bu sayı, bu veri kümesinin ve bu araştırmanın koşullarıyla ilgilidir. Ne genel olarak tüm yapay zekâ atıflarının yarısının yanlış olduğu ne de her bir modelin günlük kullanımda aynı değere ulaştığı anlamına gelir. Pratik anlamı daha dar, fakat yararlıdır: Bir yanıt dil bakımından ikna edici ve kanıtlarla donatılmış olabilir; buna rağmen ifadelerine yönelik kanıt kapsamı eksik kalabilir. [1]

Wallat ve çalışma arkadaşları atıf doğruluğu ile atıf sadakatini birbirinden ayırır. Bir kaynak, model bu iddiayı üretirken gerçekten temel olarak kullanmış olmaksızın, bir ifadeyi içerik bakımından destekleyebilir; atıf önceden formüle edilmiş bir yanıta sonradan uyarlanmış olabilir. Deneylerinde incelenen koşullarda yüzde 57’ye kadar sadık olmayan atıf buldular. Bu en yüksek değer, tüm RAG sistemleri için genel bir oranı veya ilgili kaynakların uydurma olduğu tespitini değil, kendi çalışmalarını tanımlar. Bunun editoryal uygulama için önemli bir sınırı vardır: Özgün kaynağı açıp incelemek, kaynağın ifadeyi taşıyıp taşımadığını belirleyebilir. Modelin hangi oluşum yolunu izlediğini kanıtlamaz. Erişilebilir ve amaca uygun süreç dokümantasyonu, retrieval ve işleme hakkında ek kanıt sağlayabilir; bunun kapsamı da ayrıca değerlendirilmelidir. [2]

Buchmann ve meslektaşları, uzun belgelerde kaynak eşleştirmesini inceledi. LAB kıyaslama ölçütü altı görev alanını kapsar; beş modelde yanıtla kanıtın nasıl örtüştüğünü araştırdılar. Basit yanıt görevlerinde kanıt kalitesi daha çok yanıt kalitesini öngördü; karmaşık yanıtlarda bu ilişki aynı şekilde görülmedi. Modeller karmaşık iddialara kanıt eklemekte zorlandı. Bu bulgu, uzun veya bileşik ifadelerin incelemeden önce daha küçük iddialara ayrılması gerektiğine işaret eder. Her karmaşık iddianın kanıtlanamaz olduğunu göstermez. [3]

Agrawal ve çalışma arkadaşları uydurma kitap ve makale referanslarını inceledi. Testlerinde dil modelleri, uydurma referanslar için sıklıkla çelişkili yazar listeleri verirken, gerçek bilgileri çoğu kez daha tutarlı hatırladı. Böyle bir sapma bir uyarı işareti olabilir. Ancak harici bir incelemenin yerini tutmaz: Bir model gerçek bir referansı tutarlı biçimde anabilir ve yine de başlık, yıl veya iddia konusunda yanılmış olabilir. Tersine, çelişkili bir yanıt da eserin kimliğini tek başına kesin olarak belirsiz kılmaz. Tutarlılık soruları, varlık kanıtı olarak değil ön inceleme olarak uygundur. [4]

Dhuliawala ve çalışma arkadaşları bir Chain-of-Verification yaklaşımını inceledi: Model önce bir yanıt taslaklaştırır, ardından ayrı doğrulama soruları üretir, bunları bağımsız biçimde yanıtlar ve sonrasında yeni bir yanıt formüle eder. Wikidata’dan liste soruları, Closed-Book-MultiSpanQA ve uzun metin üretimi üzerine deneylerde yöntem halüsinasyonları azalttı. Bu, ilgili bir süreç fikridir: Sorular yalnızca ilk iddiayı onaylamamalı, onu bağımsız denetim noktalarında parçalarına ayırmalıdır. Ancak aynı modelin ikinci bir yanıtı da harici bir özgün kaynak değildir. Yöntem araştırmaya hazırlık sağlayabilir; ne kaynağın kimliğini belirlemenin ne de gerçek metin yerini incelemenin yerine geçer. [5]

Bu çalışmalar birlikte evrensel bir hata oranı ya da her iddiayı garantili biçimde güvenceye alan bir yöntem göstermez. Eksik destek, sonradan eşleştirme, karmaşık iddialarda zor kanıtlama ve salt model içi tutarlılık incelemesinin sınırları gibi farklı hata alanları gösterirler. Tam da bu nedenle kaynak incelemesi kendi sonuçlarını dar biçimde formüle etmelidir.

5. En küçük iddia neden çoğu zaman daha iyi bir arama başlatır

Arama çoğu zaman bütün bir paragrafla başlar: “Yapay zekânın küçük işletmelerde araştırmayı daha hızlı ve daha güvenilir yaptığını kanıtla.” Bunun içinde birden çok soru vardır. “Araştırma” ne demektir? Hangi sistem ve hangi görev? Hangi seçeneğe göre? Hangi grup, hangi dönem ve hangi ölçüt? Zaman tasarrufu, hata oranı veya algılanan fayda mı söz konusudur? “Daha güvenilir” ölçülmüş bir bulgu mu, yoksa değer yargısı mı?

Cümleyi bütün olarak arayan kişi, benzer tınlayan fakat aynı iddiayı incelemeyen sonuçları kolaylıkla bulur. Bilgi soruları üzerine bir makale proje kararları için kanıt; laboratuvar durumu günlük çalışma yaşamı için ifade; olumlu bir tekil ölçüt genel güvenilirlik için kanıt hâline gelir. Risk yalnızca uydurma referanslarda değildir. Gerçek bir kaynak da yanlış bir kaynak kadar aşırı geniş bir iddiayı taşıyamaz.

Bu nedenle inceleme için bir cümle taşıyıcı parçalarına ayrılır. Yararlı bir çalışma biçimi şudur:

Kim veya ne? + hangi özellik ya da eylem? + hangi bağlamda ve dönemde? + neye göre ölçülmüş? + neyle karşılaştırılmış? + hangi güçte ya da sınırlamayla?

Örneğin “Kaynak gösterimli sistemler daha güvenilirdir” henüz iyi incelenebilir bir iddia değildir. “ALCE kıyaslama ölçütünde, ELI5 ortamında incelenen en iyi sistemlerde vakaların yüzde 50’sinde tam atıf desteği sağlanmadı” sistem sınıfını, test ortamını, özelliği, karşılaştırma bağlamını ve ölçüm sınırını çok daha kesin belirtir. Böyle bir kesinleştirme cümleyi daha az tanıtım odaklı kılabilir. Buna karşılık onu doğrulanabilir yapar.

Dolayısıyla iyi bir arama, mümkün olduğunca çok sonuçla değil, kesin bir iddiayla başlar. Ancak neyin hangi çerçevede geçerli olması gerektiği açık olduğunda, soruya hangi tür kaynağın yanıt verebileceğine karar verilebilir.

6. Araştırmada F: açık sorudan incelenebilir nihai soruya

Soru modeli F, bu makalede sihirli bir istem olarak ele alınmaz. Araştırma görevinin formülasyonunu A → B → D → C sırasıyla yapılandırır. Dört adım, ilk inandırıcı formülasyonun daha şimdiden nihai soru olarak görülmesini engeller.

A: Kavramları, amacı ve nedeni açıklığa kavuşturmak

Kurgusal editör ekibinde başlangıç dürtüsü şöyledir: “Yapay zekâ iddiası doğru mu?” A daha kesin sorar: Hangi tekil iddia karar açısından önemlidir? Bu vakada “doğru” ne demektir? Kaynağın var olduğu, ifadeyi desteklediği veya bunun ders teklifine aktarılabilirliğini gösterdiği mi anlaşılmalıdır? İncelemeden hangi yayın çıkmalıdır?

Sonuç başlangıçta bir çalışma nesnesidir, hüküm değil: Ekip “ALCE atıflı yanıtları test eder” ifadesini, ELI5 ortamındaki somut sayısal değeri ve atıfların yapay zekâ yanıtlarını güvenilir kıldığı genel sonucunu birbirinden ayırır. Bu üç bölüm farklı kanıtlar gerektirir; sonuncusu da kendiliğinden ampirik bir ifade değildir.

B: Karşı hipotezler ve alternatif açıklamalar oluşturmak

B, araştırma tercih edilen bir sonuçta son bulmadan önce soruyu açar. Atıf yapılan makale yalnızca daha dar bir popülasyonu destekliyor olabilir. Sayı bir özetten gelmiş ve birkaç aktarım boyunca değişmiş olabilir. Bağlantı gerçek olabilir, ancak kaynak pasajı farklı bir ölçütü ele alıyor olabilir. Sistem referansı sonradan eşleştirmiş olabilir. Çalışmalar arasında gerçek bir çelişki bulunabilir.

SCAMPER, gerektiğinde bir arama yolunun varyantlarını görünür kılabilir; Bloom, aktarma, analiz etme ve değerlendirme arasındaki ayrımda yardımcı olabilir; 5-Why ise belirli bir neden sorusundan hareket edebilir. Bu yöntemler soru alanındaki araçlardır. Belirli bir kaynağın doğru olma olasılığını artırmazlar. Uzun bir hipotez listesi de henüz kanıt karşılaştırması değildir.

D: Kuşkuyu, sapmaları ve revizyonu görünür kılmak

D şunları sorar: Başlangıç varsayımını ne zayıflatır? Hangi gerekli bilgi eksiktir? Hangi karşı kaynak konuya uygundur? Sürüm, dönem veya ölçüt konusunda bir çatışma var mı? Ekip birincil metin olmadan ifadeyi hâlâ değerlendirebilir mi? Hangi noktada aramayı keser, ifadeyi sınırlar ya da bir uzman role başvurur?

Bu, sonradan eklenen bir süsleme değil, hata döngüsüdür. Metin “en iyi model”den söz ederken çalışma yalnızca ELI5 ortamındaki belirli sistemleri karşılaştırıyorsa, iddia A’ya veya B’ye geri dönmelidir. İkinci bir sonuç ifadeyi çürütmese ancak geçerlilik kapsamını kaydırsa, bu kayma belgelenir.

C: Nihai soruyu ve kanıt boşluğunu kaydetmek

Ancak şimdi C aramayı bir araya getirir. Somut sayı için nihai soru şöyle olabilir: “Gao et al., özgün makalede ALCE-ELI5 ortamı için, bu koşulda incelenen en iyi sistemlerin bile vakaların yüzde 50’sinde tam atıf desteğine ulaşamadığını bildiriyor mu ve citation support’u nasıl tanımlıyor?”

Nihai soru, başlangıç dürtüsünden daha küçük ve daha talepkârdır. Hangi kaynağın arandığını, bunun için hangi metin yerinin gerektiğini ve makalede hangi bilginin açık kaldığını belirler. Modelin GROW bölümü daha sonra hedefi, mevcut durumu, kullanılabilir yolları ve sonraki adımı formüle edebilir: Amaç sınırlı bir kamusal ifadedir; özet bilinmektedir, ancak işlemsel tanım makaleden okunmalıdır; özgün metin, ek bölüm ve kıyaslama ölçütü açıklaması seçeneklerdir; sonraki adımda ilgili pasaj incelenir. GROW planı bir çalışma planlamasıdır, olasılık modeli veya kanıt değildir.

Burada F, “Yapay zekâ doğru mu?” sorusunu kesin, sınırlı bir arama ve inceleme görevine dönüştürerek araştırmayı değiştirir. C açık bir boşluk bırakırsa, “açık” geçerli bir sonuçtur. Model bir evet yanıtını zorlamaz.

7. Günlük işte tekrarlanabilen bir kanıt zinciri

Ders ve KOBİ’ler için, karar açısından önemli her iddia için yalın bir kaynak kartı çoğu zaman yeterlidir. Her düşünceyi kaydetmez. Daha sonra düzeltme veya tekrar yapılmasını sağlayan adımları korur.

Adım 1: İddiayı tek tek kaydetmek

İfadeyi kopyalayın ya da yeniden ifade edin; birden fazla olguyu, karşılaştırmayı veya sonucu bağlıyorsa bölün. Önemli kip sözcüklerini koruyun: “olabilir”, “gösterir”, “ortalama olarak”, “bu koşullar altında”, “sağlayıcıya göre” ve “zorundadır” aynı anlama gelmez. Üç alt iddialı bir cümle sonunda üç farklı statüye sahip olabilir.

Adım 2: Soruyla uyumlu kaynak seçmek

Ampirik bir çalışma iddiasında arama mümkünse özgün makaleye veya ilk veri kümesine götürür. Bir hukuki durum için, uygun yargı alanındaki ve ilgili tarihteki yetkili resmî kaynak önemlidir. Somut bir ürün işlevi için söz konusu ürün sürümünün resmî dokümantasyonu uygun kaynaktır; bağımsız bir performans değerlendirmesi ise başka bir sorudur. Sistematik bir derleme geniş bir araştırma sorusu için uygun olabilir, fakat tekil çalışma gibi sunulmamalıdır.

“Birincil”, “tek başına yeterli” anlamına gelmez. Tartışmalı veya etkilenen kişiler için sonuç doğuran bir iddiada, uygun inceleme ek çalışmalar, karşı kanıtlar, uzman değerlendirmesi veya ilgili normu gerektirebilir. İkincil kaynaklar tartışmaları ve uzmanlık terimlerini haritalamaya yardımcı olur. Ancak yayımlanan karar belirli bir yere bağlıysa, bu yer yetkili özgün kaynakta bulunabilir olmalıdır.

Adım 3: Bibliyografik kimliği incelemek

Başlığı, yazarlığı, yayın yılını, yayınevi veya konferansı, DOI’yi ve bağlantıyı karşılaştırın. DOI, kalıcı tanımlama ve çözümleme için yardımcı olabilir. Crossref’in REST API’si Crossref’te kayıtlı nesnelere ilişkin üst verileri sağlar. Ancak üst veriler yanlış, eksik veya eski olabilir; DOI çözümlemesi ne hakem değerlendirmesi kalitesini ne de belirli bir ifadeye verilen desteği kanıtlar. Bu nedenle kayıtlı kimlik, özgün yayımlayıcı veya yetkili resmî kaynakla ayrıca karşılaştırılır. [6]

Başlık, yıl veya yazarlık birbiriyle uyuşmuyorsa, sapma açıklığa kavuşana kadar statü açık kalır. Arama sonucu parçacığı, otomatik oluşturulmuş bir kaynakça veya modelin “Bu kaynak gerçekten var mı?” sorusuna verdiği yanıt kimlik kanıtı olarak yeterli değildir.

Adım 4: Özgün metni ve ilgili pasajı/konumu açmak

İfadeniz özgün pasaja bağlıysa ikincil bir özetle yetinmeyin. Sayfayı, bölümü, tabloyu, veri kümesi değişkenini veya norm hükmünü not edin. Dinamik ürün dokümantasyonunda sürüm numarası ve erişim tarihi kaynak kartına eklenir. Web kaynaklarında erişim tarihi, daha sonra hangi sürümün incelendiğini gösterebilir.

Yapay zekânın işaretlediği yarım cümleden fazlasını okuyun. Tanım, yöntem, dipnot ve sınırlama anlam çerçevesini değiştirebilir. Bir tablo için başlık ve birimler gerekir. Bir yasal paragraf için ilgili kavramlar ve atıf yaptığı düzenleme gerekir. Bir çalışmada popülasyonu ve ölçüm yöntemini doğru aktarmak için özet ve tartışma her zaman yeterli değildir.

Adım 5: Geçerlilik kapsamını ifadeyle karşılaştırmak

En az şunları inceleyin: araştırma grubu, yer ve çalışma bağlamı, zaman aralığı, müdahale veya sistem sürümü, ölçüt, karşılaştırma koşulu, belirsizlik bilgileri ve açıkça belirtilen sınırlar. Kaynağın bir ilişkiyi mi tanımladığını yoksa nedensellik mi kanıtladığını da sorun. “Bu örneklemde gözlendi”, “testte ulaşıldı” ve “küçük işletmelerde genel olarak gerçekleşecektir” arasındaki ayrıma dikkat edin.

Bu inceleme mekanik bir sözcük eşleştirmesi değildir. İki pasaj aynı kavramları kullanıp farklı olguları ölçebilir. Tersine, kaynak tam olarak aynı cümleyi kurmasa bile, temel koşullar ve kavramlar gerçekten uyuşuyorsa bir ifadeyi destekleyebilir. Bu nedenle kart, yalnızca benzerlik puanı değil, gerekçeli bir eşleştirme gerektirir.

Adım 6: Statü vermek ve metne karar vermek

Kısa bir statü şeması kullanın:

DESTEKLENİYOR: Bulunabilir pasaj, belirtilen geçerlilik kapsamında sınırlı ifadeyi taşır.

KISMEN DESTEKLENİYOR: Bir bölüm kanıtlanmıştır; diğer bölümler eksiktir, çelişir veya bulgudan daha ileri gider.

DESTEKLENMİYOR: Beklenen pasaj ifadeyi taşımaz veya gerekli kanıt eksiktir.

ÇELİŞKİLİ: Uygun kaynaklar farklı sonuçlara varır ya da bir kaynak ifadeyle fark edilebilir biçimde çatışır.

İNCELEMESİ YAPILAMAZ: Özgün kaynak, gerekli sürüm veya yeterli dokümantasyona erişilemez.