Kanonik Mühendislik Kılavuzu #04|TinyCTO RAG Bible
Hibrit Arama ve Cross-Encoder Yeniden Sıralama
BM25 sözcüksel arama, Karşılıklı Sıra Füzyonu (RRF) ve derin cross-encoder token düzeyinde yeniden sıralama.
Kanonik Onaylı 11 min
#1. Saf Yoğun Getirmenin Yetersizlikleri
Saf yoğun vektör araması, teknik kısaltmalar, ürün kodları (SKU) ve yasal madde numaraları gibi tam sözcüksel eşleşmelerde zorlanır. Saf anahtar kelime araması (BM25) ise eşanlamlıları ve anlamsal ifadeleri yakalayamaz. Yüksek güvenilirlikli RAG sistemleri hibrit yaklaşım gerektirir.
Reciprocal Rank Fusion (RRF)
RRF, heterojen algoritmalardan gelen sıralı listeleri puan kalibrasyonuna ihtiyaç duymadan birleştirir:
Burada düzeltme sabitidir (genellikle 60) ve dokümanın sistemindeki sırasıdır.
#2. Cross-Encoder ile İki Aşamalı Getirme
- Aşama 1 (Aday Üretimi): Vektör ve BM25 indeksleri üzerinde hızlı arama yaparak ilk 50 ila 100 aday parçayı çeker.
- Aşama 2 (Yeniden Sıralama): Derin bir cross-encoder (ör. bge-reranker-large), sorgu-doküman çiftini aynı anda inceleyerek en yüksek kaliteli ilk 5 ila 10 pasajı filtreler.