Kanonik Mühendislik Kılavuzu #05|TinyCTO RAG Bible
Bağlam Mühendisliği ve Bellek Yönetimi
Ortada kaybolma olgusunun önlenmesi, istem yerleşimi, vLLM üzerinde KV önbellek yeniden kullanımı ve epizodik bellek.
Kanonik Onaylı 10 min
#1. Ortada Kaybolma (Lost-in-the-Middle) Olgusunun Önlenmesi
Ampirik araştırmalar, transformer dikkat mekanizmalarının istem bağlamının en başında ve en sonunda yer alan token'lara öncelik verdiğini, ortada kalan pasajların ise göz ardı edildiğini göstermektedir.
Bağlam Bütçeleme ve Düzenleme Kuralları
- Sıralama Duyarlı Bağlam Düzeni:
- En yüksek puanlı kanıt parçalarını bağlam penceresinin en başına ve en sonuna yerleştirin.
- İkincil arka plan bilgilerini ortaya konumlandırın.
- Token Payı Değişmezleri:
- Bağlam boyutu modelin toplam sınırının %70'ini aşmamalı, akıl yürütme ve çıktı üretimi için en az %30 pay ayrılmalıdır.
#2. Dinamik Bellek Mimarileri
- Önek KV Önbelleğe Alma (Prefix KV Caching): vLLM gibi altyapılarda tekrarlanan istem önekleri için önbellek tensörlerini yeniden kullanarak ilk tokene kadar geçen süreyi (TTFT) %75'e kadar azaltır.
- Epizodik ve Varlık Belleği: Kullanıcı tercihlerini ve ilişkisel varlıkları dinamik bilgi grafiklerine aktararak çok turlu oturumlarda süreklilik sağlar.