RAG bir hakikat makinesi değildir

Retrieval-Augmented Generation bilinen soruna zarif çözüm gibi görünür. Sistem yalnızca parametrik model bilgisine dayanmak yerine harici koleksiyonda arama yapar ve ilgili içeriği bağlam olarak modele verir. Kaynaklar güncellenebilir, kurum içi belgeler eklenebilir ve yanıtlar kanıta bağlanabilir.

Bu önemli ilerlemedir; fakat doğruluk mekanizması değildir. RAG yanlış kaynağı bulabilir, doğru kaynağı kötü parçalayabilir, geçerli bölümü kaçırabilir, eski içeriği üst sıraya koyabilir, yetkisiz belgeyi getirebilir veya üretim sırasında kanıtı çarpıtabilir. Kalite tek model çağrısında değil, kanıt zinciri boyunca oluşur.

RAG sorunu başka yere taşır

Retrieval yokken temel soru modelin ne öğrendiği ve bunu ne kadar güvenilir kullandığıdır. RAG yeni sorular getirir: Gerekli bilgi koleksiyonda var mı? Geçerli, erişilebilir ve doğru tanımlı mı? Sorgu doğru yorumlandı mı? Retriever ilgili bölümü buldu mu? Yeterince üst sırada mı? Bağlam penceresine girdi mi? Model kanıta sadık kaldı mı?

RAG bazı riskleri azaltırken karmaşık sistem yüzeyi ekler. Temel NeurIPS çalışması parametrik bellek ile erişilebilir parametrik olmayan belleği birleştirmiş ve yalnız parametrik karşılaştırmaya göre daha özgül ve olgusal dil bildirmiştir. Bu, her modern pipeline'ın güvenilir olduğunu göstermez. Korpus, retriever, ranking, prompt, model ve değerlendirme ciddi biçimde değişir.

Yararlı model altı kontrol noktası içerir: bilgiyi alma, adayları sınırlama, kanıtı getirme, kanıtı sıralama, bağlamı kurma ve yanıtı üretme. Her nokta kaliteyi koruyabilir veya bozabilir.

Benzerlik ne hakikattir ne yetki

Vektör arama kabaca sorguya yakın temsilleri bulur. Hangi kaynağın doğru, güncel, onaylı veya kullanıcı için yetkili olduğunu kendiliğinden belirlemez. Ayrıntılı eski taslak kısa güncel karardan anlamsal olarak daha yakın olabilir. Çok tekrarlanan yanlış iddia, düzeltmesinden daha kolay bulunabilir.

Retrieval bu nedenle izinli aday alanına ihtiyaç duyar. Kullanıcı alanı, yetki, koruma sınıfı, geçerlilik dönemi, durum, dil, bölge ve izin verilen amaç aramadan önce veya arama içinde zorunlu filtrelenir. Güvenlik kuralı yalnızca promptta durmamalıdır. Model yetkisiz içeriği hiç almamalıdır.

Ardından hibrit arama sözcüksel ve anlamsal sinyali birleştirebilir. Tam kimlikler, adlar, maddeler ve ürün kodları anahtar kelime aramasından; farklı ifadeler yoğun temsillerden yararlanır. Reranker adayları sorguya göre daha hassas puanlar. Bunlar seçimi geliştirir; kaynak hiyerarşisi, durum ve geçerlilik mantığının yerini almaz.

Chunking hangi ifadenin görüleceğini belirler

Tüm dosyalar verimli indeks ve bağlama sığmadığı için belgeler parçalara ayrılır. Çok küçük chunk tanım, istisna veya zaman kapsamını kaybeder. Çok büyük chunk ilgili sinyali seyreltir ve bağlam tüketir. Sabit karakter uzunluğu başlığı paragraftan, tablo başlığını değerden veya kuralı istisnadan ayırabilir.

Chunking; başlık, paragraf, liste, tablo, sayfa, konuşmacı ve alan birimini dikkate almalıdır. Her parça belge ID'si, konum, sürüm, durum, dil, yetki ve kökeni miras alır. Overlap bağlamı koruyabilir; fakat kopya üretir ve retrieval ölçüsünü yapay büyütmemelidir.

Uzak bölümler arasındaki ilişki özellikle zordur. Tanım başta, istisna üç sayfa sonra, yürürlük tarihi ekte olabilir. Tek chunk yanıtı içermez. Parent-child retrieval, komşuluk genişletme veya çok aşamalı arama yardımcı olabilir. Bu örnekler test kümesine girmelidir.

Query transformation yardımcı olabilir ve anlamı bozabilir

Sistem kullanıcı sorusunu yeniden yazar, alt sorular üretir, eş anlamlı genişletir veya arama çapası olarak varsayımsal yanıt oluşturur. Recall artabilir. Aynı işlem anlamı kaydırabilir, kısıtı kaldırabilir veya açık soruyu kanıtsız varsayıma çevirebilir.

Özgün sorgu korunur. Her yeniden yazım türetilmiş nesne olarak kaydedilir ve testte karşılaştırılır. Zaman, kişi, ürün ve hukuk alanı gibi kritik koşullar kaybolmamalıdır. Karmaşık soruda tek „optimize" sorgu yerine birden çok arama üretip kanıtı sonradan birleştirmek daha güvenli olabilir.

Konuşma geçmişi de karışabilir. „Bu" gibi ifade bağlam ister; fakat eski konuşma varsayımları yeni aramayı sessizce yönetmemelidir. Query rewriting kontrollü yorumlama adımıdır, görünmez kolaylık filtresi değildir.

Bulunan kanıt henüz sadık yanıt değildir

Doğru bölüm bağlamda olsa bile model onu görmezden gelebilir, yanlış birleştirebilir veya kanıtsız bilgi ekleyebilir. Akıcı yanıt kaynaktan daha güçlü konuşabilir: „olabilir" sözü „zorunludur" olur, örnek genel kurala, korelasyon nedenselliğe dönüşür.

Evidence Contract görevi daraltır. Temel iddia somut bölüme bağlanır. Çelişki görünür kalır. Sistem doğrudan kanıt, izinli çıkarım ve desteklenmeyen yorumu ayırır. Kanıt yetmiyorsa iddiayı sınırlar, soru sorar veya yanıt vermez.

Abstention kalite özelliğidir. Her zaman yanıt veren sistem güvenilirliği değil görünümü optimize eder. Eşik riske bağlıdır: fikir üretiminde ihtiyatlı hipotez yararlı olabilir; yüksek etkili kararda daha güçlü kanıt ve çoğunlukla insan incelemesi gerekir.

Atıf ayrı doğrulama görevidir

Kaynak gösterimi bulunup yanlış olabilir. Bölüm konuyu anarken ilgili iddiayı taşımayabilir. Yanıt bir cümleyi doğru atıfla verip başka önemli iddiaları kanıtsız bırakabilir. Üç soru ayrı değerlendirilir:

1 · Atıf doğruluğu: Gösterilen bölüm iddiayı gerçekten destekliyor mu?

2 · Atıf eksiksizliği: Doğrulanabilir tüm temel iddialar kanıtlı mı?