Bir RAG system vector database'den fazlasını gerektirir

Birçok RAG project document'ı embed eder, vector saklar ve similarity ile retrieve eder. Demo birkaç question'a cevap verince architecture tamam görünür. Production vector index'in yalnız bir search component olduğunu gösterir.

Exact product code kaçırılır, obsolete policy approved version'dan önce gelir, close passage yanlış department'tan gelir ve confidential content access rule'dan önce candidate list'e girer. Larger vector database bunu çözmez. Retrieval stack meaning, exact string, metadata, permission ve quality control'ü birleştirir.

Index sınırlı bir question cevaplar

Embedding model query ve segment'i numerical space'e map eder. Similarity function proximity'yi rank eder. Bu farklı ifade edilen text'leri bulur; fakat numerical proximity professional validity değildir.

Separate field olmadan index approval status, effective date, owner, region, language veya confidentiality bilmez. Hit'in definition, example, exception ya da incidental mention olduğunu belirlemez. Property'ler vector dışında structured signal olarak kalmalıdır.

Distance function, embedding version ve normalisation ranking'i etkiler. Farklı model representation'ları silently interchangeable değildir. Index build versioned configuration ve traceable re-indexing ister.

Lexical search vazgeçilmezdir

Dense retrieval paraphrase ve topic proximity'de; full-text search exact term, rare name, identifier, error code, part number ve quotation'da güçlüdür. AB-17.4 veya precise error message embedding'in general description'a yakınlığına bağlı kalmamalıdır.

BM25 term frequency, rarity ve document length'i weight eder. Outdated değildir; farklı relevance question cevaplar. Exact identifier lexical boost veya deterministic lookup tetikleyebilir.

Synonym ve language variant yararlıdır; automatic expansion meaning'i bozabilir. „Bank" finance institution, seat veya technical component olabilir.

Hybrid retrieval evidence signal'larını birleştirir

Hybrid retrieval lexical ve semantic candidate'ları merge eder. Score scale'ları farklıdır ve basitçe toplanmamalıdır. Reciprocal Rank Fusion comparable score gerektirmeden result list rank'lerini birleştirir.

Fusion quality guarantee değildir. Product-code corpus stronger lexical weight, variable language archive semantic search isteyebilir. Query class tek global weighting'den daha iyi olabilir.

Candidate pool final context'ten geniş olmalıdır. Retrieval önce recall'u, reranking sonra precision ve order'ı geliştirir.

Metadata search logic'tir

Metadata filter citation decoration değildir. Valid search space'i sınırlar. Document type, status, version, effective period, organisation unit, product, region, language, data class ve owner tipik field'lardır.

Filter vector search'ten önce veya sonra çalışabilir. Approximate nearest-neighbour index filter'ı bounded scan sonrasında değerlendirebilir. pgvector documentation az result kalabileceğini, iterative scan, partial index ve partitioning strategy'lerini açıklar.

top_k=10 on permitted hit guarantee etmez. Status veya permission filter dokuz candidate'ı çıkarırsa retrieval controlled biçimde devam etmelidir.

Permission generation'dan önce uygulanır

Access control yalnız interface'te yaşayamaz. Unauthorised chunk candidate pool, log, cache veya model context'e girmemelidir. Retrieval requester identity, role ve segment-level rule ister.

Provenance olmayan chunk permission'ı kaybeder. Her unit source ve access-control information'a stable link taşır. Group ve approval change reliable biçimde propagate edilir.

Principle security trimming before generation'dır. Model confidential passage'ı aldıktan sonra unutamaz.

Query processing neyin aranacağını belirler

Question short, ambiguous veya conversation-dependent olabilir. Query processing spelling'i normalise eder, abbreviation çözer, language detect eder, time reference'ı concretise eder veya follow-up'ı standalone request yapar.

Transformation assumption ekleyebilir. Original ve transformed query record edilmeli, critical ambiguity clarification üretmelidir. Query routing full-text index, structured database, knowledge graph, API veya archive seçebilir. Current account balance authoritative transaction system'dan gelmelidir.

Reranking candidate'ı context'te inceler

Bi-encoder query ve passage'ı speed için ayrı represent eder. Compression fine relation kaybedebilir. Reranker küçük candidate set'i daha precise değerlendirir.

Cross-encoder accurate fakat compute-intensive'dir. ColBERT gibi late-interaction approach token-level representation'ı korur. Method latency, corpus size ve quality target'a bağlıdır.

Reranking professional rule yerine geçmez. Obsolete source high rank ile authoritative olmaz. Önce hard filter, sonra relevance order uygulanır.

Context assembly top-k'dan fazlasıdır

İlk beş hit'i unchanged generation'a göndermek optimal değildir. Hit duplicate olabilir, aynı parent'ı paylaşabilir, conflicting version içerebilir veya neighbour kaybedebilir. Context assembly deduplicate eder, relation expand eder, source diversity'yi korur ve evidence'ı budget içinde order eder.