RAG bir hakikat makinesi değildir

Retrieval-Augmented Generation bilinen soruna zarif çözüm gibi görünür. Sistem yalnızca parametrik model bilgisine dayanmak yerine harici koleksiyonda arama yapar ve ilgili içeriği bağlam olarak modele verir. Kaynaklar güncellenebilir, kurum içi belgeler eklenebilir ve yanıtlar kanıta bağlanabilir.

Bu önemli ilerlemedir; fakat doğruluk mekanizması değildir. RAG yanlış kaynağı bulabilir, doğru kaynağı kötü parçalayabilir, geçerli bölümü kaçırabilir, eski içeriği üst sıraya koyabilir, yetkisiz belgeyi getirebilir veya üretim sırasında kanıtı çarpıtabilir. Kalite tek model çağrısında değil, kanıt zinciri boyunca oluşur.

RAG sorunu başka yere taşır

Retrieval yokken temel soru modelin ne öğrendiği ve bunu ne kadar güvenilir kullandığıdır. RAG yeni sorular getirir: Gerekli bilgi koleksiyonda var mı? Geçerli, erişilebilir ve doğru tanımlı mı? Sorgu doğru yorumlandı mı? Retriever ilgili bölümü buldu mu? Yeterince üst sırada mı? Bağlam penceresine girdi mi? Model kanıta sadık kaldı mı?

RAG bazı riskleri azaltırken karmaşık sistem yüzeyi ekler. Temel NeurIPS çalışması parametrik bellek ile erişilebilir parametrik olmayan belleği birleştirmiş ve yalnız parametrik karşılaştırmaya göre daha özgül ve olgusal dil bildirmiştir. Bu, her modern pipeline'ın güvenilir olduğunu göstermez. Korpus, retriever, ranking, prompt, model ve değerlendirme ciddi biçimde değişir.

Yararlı model altı kontrol noktası içerir: bilgiyi alma, adayları sınırlama, kanıtı getirme, kanıtı sıralama, bağlamı kurma ve yanıtı üretme. Her nokta kaliteyi koruyabilir veya bozabilir.

Benzerlik ne hakikattir ne yetki

Vektör arama kabaca sorguya yakın temsilleri bulur. Hangi kaynağın doğru, güncel, onaylı veya kullanıcı için yetkili olduğunu kendiliğinden belirlemez. Ayrıntılı eski taslak kısa güncel karardan anlamsal olarak daha yakın olabilir. Çok tekrarlanan yanlış iddia, düzeltmesinden daha kolay bulunabilir.

Retrieval bu nedenle izinli aday alanına ihtiyaç duyar. Kullanıcı alanı, yetki, koruma sınıfı, geçerlilik dönemi, durum, dil, bölge ve izin verilen amaç aramadan önce veya arama içinde zorunlu filtrelenir. Güvenlik kuralı yalnızca promptta durmamalıdır. Model yetkisiz içeriği hiç almamalıdır.

Ardından hibrit arama sözcüksel ve anlamsal sinyali birleştirebilir. Tam kimlikler, adlar, maddeler ve ürün kodları anahtar kelime aramasından; farklı ifadeler yoğun temsillerden yararlanır. Reranker adayları sorguya göre daha hassas puanlar. Bunlar seçimi geliştirir; kaynak hiyerarşisi, durum ve geçerlilik mantığının yerini almaz.

Chunking hangi ifadenin görüleceğini belirler

Tüm dosyalar verimli indeks ve bağlama sığmadığı için belgeler parçalara ayrılır. Çok küçük chunk tanım, istisna veya zaman kapsamını kaybeder. Çok büyük chunk ilgili sinyali seyreltir ve bağlam tüketir. Sabit karakter uzunluğu başlığı paragraftan, tablo başlığını değerden veya kuralı istisnadan ayırabilir.

Chunking; başlık, paragraf, liste, tablo, sayfa, konuşmacı ve alan birimini dikkate almalıdır. Her parça belge ID'si, konum, sürüm, durum, dil, yetki ve kökeni miras alır. Overlap bağlamı koruyabilir; fakat kopya üretir ve retrieval ölçüsünü yapay büyütmemelidir.

Uzak bölümler arasındaki ilişki özellikle zordur. Tanım başta, istisna üç sayfa sonra, yürürlük tarihi ekte olabilir. Tek chunk yanıtı içermez. Parent-child retrieval, komşuluk genişletme veya çok aşamalı arama yardımcı olabilir. Bu örnekler test kümesine girmelidir.

Query transformation yardımcı olabilir ve anlamı bozabilir

Sistem kullanıcı sorusunu yeniden yazar, alt sorular üretir, eş anlamlı genişletir veya arama çapası olarak varsayımsal yanıt oluşturur. Recall artabilir. Aynı işlem anlamı kaydırabilir, kısıtı kaldırabilir veya açık soruyu kanıtsız varsayıma çevirebilir.

Özgün sorgu korunur. Her yeniden yazım türetilmiş nesne olarak kaydedilir ve testte karşılaştırılır. Zaman, kişi, ürün ve hukuk alanı gibi kritik koşullar kaybolmamalıdır. Karmaşık soruda tek „optimize" sorgu yerine birden çok arama üretip kanıtı sonradan birleştirmek daha güvenli olabilir.

Konuşma geçmişi de karışabilir. „Bu" gibi ifade bağlam ister; fakat eski konuşma varsayımları yeni aramayı sessizce yönetmemelidir. Query rewriting kontrollü yorumlama adımıdır, görünmez kolaylık filtresi değildir.

Bulunan kanıt henüz sadık yanıt değildir

Doğru bölüm bağlamda olsa bile model onu görmezden gelebilir, yanlış birleştirebilir veya kanıtsız bilgi ekleyebilir. Akıcı yanıt kaynaktan daha güçlü konuşabilir: „olabilir" sözü „zorunludur" olur, örnek genel kurala, korelasyon nedenselliğe dönüşür.

Evidence Contract görevi daraltır. Temel iddia somut bölüme bağlanır. Çelişki görünür kalır. Sistem doğrudan kanıt, izinli çıkarım ve desteklenmeyen yorumu ayırır. Kanıt yetmiyorsa iddiayı sınırlar, soru sorar veya yanıt vermez.

Abstention kalite özelliğidir. Her zaman yanıt veren sistem güvenilirliği değil görünümü optimize eder. Eşik riske bağlıdır: fikir üretiminde ihtiyatlı hipotez yararlı olabilir; yüksek etkili kararda daha güçlü kanıt ve çoğunlukla insan incelemesi gerekir.

Atıf ayrı doğrulama görevidir

Kaynak gösterimi bulunup yanlış olabilir. Bölüm konuyu anarken ilgili iddiayı taşımayabilir. Yanıt bir cümleyi doğru atıfla verip başka önemli iddiaları kanıtsız bırakabilir. Üç soru ayrı değerlendirilir:

1 · Atıf doğruluğu: Gösterilen bölüm iddiayı gerçekten destekliyor mu?

2 · Atıf eksiksizliği: Doğrulanabilir tüm temel iddialar kanıtlı mı?

3 · Kaynak kalitesi: Kaynak amaç, zaman ve kapsam için uygun mu?

Atıf kullanılan sürüme ve mümkünse kararlı bölüme gitmelidir. Ana sayfa veya tüm PDF denetimi zorlaştırır. Üretilen metin doğrudan alıntı gibi sunulmamalıdır. Alıntı, paraphrase ve sentez ayrılır.

Köken; yanıtı, çalıştırmayı, getirilen chunk'ları, indeks sürümünü, çıkarımı ve özgün kaynağı bağlar. Hata böylece bulunabilir, geri çekilen kaynağın etkisi izlenebilir.

Bilgi tabanı saldırı yüzeyidir

Harici veya kullanıcı tarafından yüklenen belgeler modelin komut olarak yorumlayacağı talimatlar içerebilir. OWASP bunu dolaylı prompt injection olarak açıklar: dosya veya web içeriği sistem davranışını değiştirir. RAG ve fine-tuning riski tamamen kaldırmaz.

Getirilen içerik ayrıcalıklı talimat değil, veri olarak işlenir. Sistem kuralı ve araç yetkisi ayrılır. Güvensiz kaynak işaretlenir, girdi ve çıktı incelenir, araçlar asgari yetkiyle çalışır, etkili eylem insan onayı ister. Belge anlamsal olarak ilgili diye araçlar üzerinde yetki kazanmamalıdır.

İndeks de manipüle edilebilir. Çok sayıda benzer belge sıralamayı işgal edebilir; zehirlenmiş metin yanlış ilişki ve gizli talimat yayabilir. Ingestion; köken, onay, deduplication, kota, anomali algılama ve kontrollü güncelleme gerektirir.

Retrieval ile generation ayrı değerlendirilmelidir

„Yanıt iyiydi" yargısı hatanın yerini göstermez. Değerlendirme korpusla başlar: Soruları kapsıyor mu, geçerli sürümler var mı? Ardından retrieval test edilir: İlgili kanıt top-k içinde mi, hangi sırada ve yasak veya eski kaynak dışlandı mı?

Generation değerlendirmesi yanıtın verilen bağlamla desteklenmesini, alan doğruluğunu, belirsizlik ve çelişkiyi uygun aktarmasını, atıf bütünlüğünü ve yanıtsız soruda abstention yeteneğini inceler.

Savunulabilir test kümesi normal soru, nadir terim, çok anlamlılık, multi-hop, eski sürüm, çelişki, hard negative, eksik yanıt ve saldırı içerir. Yalnız ortalamayı değil kritik hata sınıfı ve etkilenen grubu ölçer.

Retrieval metrikleri teşhise yardım eder. Recall@k ilgili kanıtın ilk k sonuçta olup olmadığını; Precision ilgili sonuç oranını; MRR ilk ilgili sonucun sırasını; nDCG dereceli ilgi ve sıralamayı değerlendirir. Hiçbiri mesleki ilgi yargısının yerini almaz. BEIR de mimarilerin alanlar arasında değiştiğini ve sağlam baseline ihtiyacını gösterir.

Üretim kalitesi gözlemlenebilirlik gerektirir

Deployment sonrasında korpus değişir. Belgeler eklenir, embedding modeli değiştirilir, chunking ayarlanır ve kullanıcı soruları gelişir. İndeks, şema, retriever, reranker, prompt ve model sürümü yanıt çalıştırmasına eklenir.

Monitoring boş retrieval, düşük skor, olağandışı kaynak yoğunluğu, abstention, yetki hatası, gecikme, maliyet ve kullanıcı düzeltmesini izler. Değişiklik önce regression testinden geçer. Ortalama iyileşme kritik soru veya erişim korumasındaki bozulmayı gizlememelidir.

En önemli ölçü çoğu zaman sistemin ne kadar ikna edici konuştuğu değildir. Doğru kanıtı bulma, sınırı tanıma ve denetimi mümkün kılma güvenilirliğidir. RAG belirsizliği saklamayıp soru, kaynak ve yanıt arasındaki köprüyü gösterdiğinde güçlüdür.

Çalışma kâğıdı: Bir RAG yanıtını parçalarına ayır

En az on belgeden oluşan küçük koleksiyon ve sekiz test sorusu oluştur.

1. Korpusu nitelendir. Geçerli, eski, yasak, çelişkili ve yetersiz kaynakları işaretle.

2. Chunking karşılaştır. İki segmentasyon stratejisi üret; tanım, istisna, tablo ve multi-hop sorularını test et.

3. Retrieval test et. Sözcüksel, anlamsal ve hibrit aramayı reranker ile karşılaştır.

4. Yetkiyi uygula. Yasak içerik mükemmel benzerlikte bile model bağlamına ulaşmasın.

5. Evidence Contract uygula. Her temel iddiayı bölüme bağla; çıkarım ve belirsizliği işaretle.

6. Abstention test et. İki yanıtsız soru ekle ve beklenen tepkiyi tanımla.

7. Saldırıyı canlandır. Test belgesine dolaylı talimat yerleştir; araç ve yanıt davranışını incele.

8. Hatayı bul. Her hatayı korpus, chunking, query, retrieval, ranking, bağlam, generation veya atfa ata.

İndirilecek tüm materyaller — konu özeti ve çalışma kâğıdı:

Kapsam: RAG bir mimari ailesidir; tek başına kalite vaadi değildir. Retrieval yanıtı güncel, özgül ve kanıtlı kılabilir; doğruluk, eksiksizlik, hukuka uygunluk veya güvenliği garanti etmez. Recall@k, Precision, MRR ve nDCG gibi ölçüler veri kümesi, ilgi değerlendirmesi ve kullanım bağlamına göre yorumlanmalıdır.