Bir RAG system vector database'den fazlasını gerektirir

Birçok RAG project document'ı embed eder, vector saklar ve similarity ile retrieve eder. Demo birkaç question'a cevap verince architecture tamam görünür. Production vector index'in yalnız bir search component olduğunu gösterir.

Exact product code kaçırılır, obsolete policy approved version'dan önce gelir, close passage yanlış department'tan gelir ve confidential content access rule'dan önce candidate list'e girer. Larger vector database bunu çözmez. Retrieval stack meaning, exact string, metadata, permission ve quality control'ü birleştirir.

Index sınırlı bir question cevaplar

Embedding model query ve segment'i numerical space'e map eder. Similarity function proximity'yi rank eder. Bu farklı ifade edilen text'leri bulur; fakat numerical proximity professional validity değildir.

Separate field olmadan index approval status, effective date, owner, region, language veya confidentiality bilmez. Hit'in definition, example, exception ya da incidental mention olduğunu belirlemez. Property'ler vector dışında structured signal olarak kalmalıdır.

Distance function, embedding version ve normalisation ranking'i etkiler. Farklı model representation'ları silently interchangeable değildir. Index build versioned configuration ve traceable re-indexing ister.

Lexical search vazgeçilmezdir

Dense retrieval paraphrase ve topic proximity'de; full-text search exact term, rare name, identifier, error code, part number ve quotation'da güçlüdür. AB-17.4 veya precise error message embedding'in general description'a yakınlığına bağlı kalmamalıdır.

BM25 term frequency, rarity ve document length'i weight eder. Outdated değildir; farklı relevance question cevaplar. Exact identifier lexical boost veya deterministic lookup tetikleyebilir.

Synonym ve language variant yararlıdır; automatic expansion meaning'i bozabilir. „Bank" finance institution, seat veya technical component olabilir.

Hybrid retrieval evidence signal'larını birleştirir

Hybrid retrieval lexical ve semantic candidate'ları merge eder. Score scale'ları farklıdır ve basitçe toplanmamalıdır. Reciprocal Rank Fusion comparable score gerektirmeden result list rank'lerini birleştirir.

Fusion quality guarantee değildir. Product-code corpus stronger lexical weight, variable language archive semantic search isteyebilir. Query class tek global weighting'den daha iyi olabilir.

Candidate pool final context'ten geniş olmalıdır. Retrieval önce recall'u, reranking sonra precision ve order'ı geliştirir.

Metadata search logic'tir

Metadata filter citation decoration değildir. Valid search space'i sınırlar. Document type, status, version, effective period, organisation unit, product, region, language, data class ve owner tipik field'lardır.

Filter vector search'ten önce veya sonra çalışabilir. Approximate nearest-neighbour index filter'ı bounded scan sonrasında değerlendirebilir. pgvector documentation az result kalabileceğini, iterative scan, partial index ve partitioning strategy'lerini açıklar.

top_k=10 on permitted hit guarantee etmez. Status veya permission filter dokuz candidate'ı çıkarırsa retrieval controlled biçimde devam etmelidir.

Permission generation'dan önce uygulanır

Access control yalnız interface'te yaşayamaz. Unauthorised chunk candidate pool, log, cache veya model context'e girmemelidir. Retrieval requester identity, role ve segment-level rule ister.

Provenance olmayan chunk permission'ı kaybeder. Her unit source ve access-control information'a stable link taşır. Group ve approval change reliable biçimde propagate edilir.

Principle security trimming before generation'dır. Model confidential passage'ı aldıktan sonra unutamaz.

Query processing neyin aranacağını belirler

Question short, ambiguous veya conversation-dependent olabilir. Query processing spelling'i normalise eder, abbreviation çözer, language detect eder, time reference'ı concretise eder veya follow-up'ı standalone request yapar.

Transformation assumption ekleyebilir. Original ve transformed query record edilmeli, critical ambiguity clarification üretmelidir. Query routing full-text index, structured database, knowledge graph, API veya archive seçebilir. Current account balance authoritative transaction system'dan gelmelidir.

Reranking candidate'ı context'te inceler

Bi-encoder query ve passage'ı speed için ayrı represent eder. Compression fine relation kaybedebilir. Reranker küçük candidate set'i daha precise değerlendirir.

Cross-encoder accurate fakat compute-intensive'dir. ColBERT gibi late-interaction approach token-level representation'ı korur. Method latency, corpus size ve quality target'a bağlıdır.

Reranking professional rule yerine geçmez. Obsolete source high rank ile authoritative olmaz. Önce hard filter, sonra relevance order uygulanır.

Context assembly top-k'dan fazlasıdır

İlk beş hit'i unchanged generation'a göndermek optimal değildir. Hit duplicate olabilir, aynı parent'ı paylaşabilir, conflicting version içerebilir veya neighbour kaybedebilir. Context assembly deduplicate eder, relation expand eder, source diversity'yi korur ve evidence'ı budget içinde order eder.

Good packet maximum text değil, smallest sufficient evidence taşır. Definition, rule, exception ve validity statement gerekebilir. Source ID ve position korunur.

Source conflict varsa system sessizce seçim yapmamalıdır; iki version'ı gösterebilir, validity compare edebilir veya escalate edebilir.

Operation controlled index generation ister

Production source document, parse output, chunk, embedding, index, cache ve replica taşır. Document withdrawn olduğunda her stage'den ne zaman çıktığı bilinmelidir.

Index generation corpus snapshot, parser version, chunking rule, embedding model, metadata schema ve build time'ı bağlar. Deployment controlled switch yapar; rollback ve deletion test edilir.

Observability privacy'ye uyarak query, route, filter, candidate, score, reranking, context ve latency'yi record eder. Trace olmadan search, filtering ve generation failure ayrılamaz.

Evaluation answer score'dan fazlasını ister

Fluent output poor retrieval üzerine kurulabilir. Recall@k evidence'ın pool'a girip girmediğini, Precision@k relevant hit oranını ölçer. MRR ve nDCG position'ı dikkate alır.

Permission, filter ve freshness test, latency budget ve cost measurement gerekir. Golden Query Set identifier, paraphrase, ambiguity, version conflict, empty result ve unauthorised content içerir.

Ablation test vector only, lexical only, reranker olmadan ve reranker ile hybrid seçeneklerini compare eder. Architecture maximal değil justified olmalıdır.

Candidate Record decision'ı inspectable yapar

Her retrieval run compact Candidate Record üretmelidir: original query, route, filter, candidate ID, rank change, exclusion reason ve final context selection. Bu, confidential passage'ların tamamını log'lamak değildir. Stable reference ve minimised signal, neden bir source'un answer'a girdiğini reconstruct etmek için çoğu zaman yeterlidir.

Controlled empty result da record edilir. System permitted, current ve sufficiently relevant evidence bulunmadığını söyleyebilmelidir. Gap'i weak neighbour ile doldurmak retrieval failure'ı gizler. Team empty result, stale hit, permission violation ve latency breach için failure budget tanımlar; recurring pattern'i query class bazında inceler.

Bu kayıtlar regression analysis için de kullanılır. Embedding model, fusion weight veya filter logic değiştiğinde aynı Golden Query Set yeniden çalıştırılır. Önceki ve yeni Candidate Record karşılaştırılarak yalnız final answer değil, retrieval path içindeki her rank ve exclusion değişikliği görünür hale gelir.

Method: ROUTE → FILTER → RETRIEVE → FUSE → RERANK → ASSEMBLE → VERIFY

ROUTE source seçer. FILTER permitted ve valid content ile sınırlar. RETRIEVE lexical ve semantic candidate üretir. FUSE list'leri birleştirir. RERANK precise order eder. ASSEMBLE evidence packet kurar. VERIFY relevance, grounding, permission ve freshness'i test eder.

Vector database önemlidir. Yalnız entire retrieval system ile karıştırıldığında abartılır.

Exercise: Retrieval Stack Canvas tasarla

1. Identifier, paraphrase ve version reference içeren on question seç.

2. Authoritative source ve route belirle.

3. Metadata ve permission filter tanımla.

4. Lexical ve semantic candidate set'i belirle.

5. Fusion, reranking ve context assembly'yi açıkla.

6. Recall, ranking, freshness ve security test tanımla.

7. Stack'i vector-only search ile compare et.

Yansıtma: Hangi question semantic similarity yerine exact search ister? Hangi result relevant olduğu halde status veya permission nedeniyle prohibited olur?

İndirilecek tüm materyaller — konu özeti ve çalışma kâğıdı:

Kapsam: Architecture corpus, query type, permission, quality target ve operation'a bağlıdır. Tek method professional correctness guarantee etmez. Editoryal inceleme: 17 Temmuz 2026.