Kanonik Mühendislik Kılavuzu #03|TinyCTO RAG Bible
Embeddingler ve Vektör Uzayı Geometrisi
Yoğun iki-kodlayıcılar, seyrek SPLADE, geç etkileşimli ColBERT, MRL boyut indirgeme ve vektör kuantizasyonu.
Kanonik Onaylı 14 min
#1. Vektör Uzayı Gösterimleri
Yoğun vektör embedding modelleri, yapılandırılmamış metinleri sürekli yüksek boyutlu uzaylara (768 ila 3072 boyut) eşler. Bu uzayda anlamsal yakınlık, kosinüs benzerliğine veya iç çarpım mesafesine karşılık gelir.
Modern Embedding Yaklaşımları
- Yoğun İki-Kodlayıcılar (Dense Bi-Encoders):
- Pasaj başına tek vektör (ör. BGE-large, text-embedding-3-large). Yaklaşık en yakın komşu (ANN) indeksleri ile yüksek arama hızı sunar.
- Seyrek Sözcüksel Kodlayıcılar (SPLADE):
- Pasajları kelime dağarcığı boyutundaki uzaya yansıtır; anahtar kelime ağırlıklarını genişletir.
- Geç Etkileşimli Token Kodlayıcıları (ColBERT):
- Bağımsız token vektörlerini korur ve MaxSim operatörü üzerinden geç benzerlik hesaplar.
#2. Kuantizasyon ve Boyut Optimizasyonu
- Matryoshka Representation Learning (MRL): Vektörlerin 3072 boyuttan 512 boyuta asgari kayıpla kırpılmasına olanak tanır.
- Skaler ve Ürün Kuantizasyonu (SQ/PQ): 32-bit kayan noktalı koordinatları 8-bit tamsayılara sıkıştırarak RAM kullanımını 4 ila 8 kat azaltır.