Kanonik Mühendislik Kılavuzu #01|TinyCTO RAG Bible
Yönetici Mimarisi Özeti
Mimari temeller, RAG / Fine-Tuning / Uzun Bağlam karar matrisi ve 6 temel yaşam döngüsü aşaması.
Kanonik Onaylı 8 min
#1. Problem Alanı ve Mimari Temeller
Modern kurumsal bilgi sistemleri, statik parametrik dil modellerinin doğasında bulunan halüsinasyon riskleri olmadan kurumsal dokümanlara güvenilir, olgusal ve düşük gecikmeli erişim gerektirir. Retrieval-Augmented Generation (RAG), parametrik akıl yürütmeyi parametrik olmayan olgusal depolamadan ayırarak kuruluşların LLM üretimlerini doğrulanabilir ve sürekli yenilenen kaynak dokümanlara dayandırmasını sağlar.
Karar Matrisi: RAG, İnce Ayar (Fine-Tuning) ve Uzun Bağlam
- Retrieval-Augmented Generation (RAG):
- En Uygun Alan: Dinamik bilgi tabanları, hızlı günlük güncellemeler, doğrulanabilir atıflar ve çok kiracılı (multi-tenant) erişim kontrolü.
- Maliyet: Düşük başlangıç yatırımı, öngörülebilir token operasyonel maliyeti, saniyeler içinde yeni dosya indeksleme.
- Parametre Verimli İnce Ayar (PEFT / LoRA):
- En Uygun Alan: Özel dilsel üslup, terminoloji veya sözdizimi uyarlamaları. Hızlı değişen bilgiler için uygun değildir.
- Maliyet: Orta düzey GPU hesaplama maliyeti; düşük çalışma zamanı maliyeti.
- Uzun Bağlamlı (Long-Context) Bellek-İçi Modeller:
- En Uygun Alan: Az sayıda doküman üzerinde (<200k token) tek oturumluk derin analiz.
- Maliyet: Milyonlarca istekte doğrusal token maliyeti ve yüksek gecikme nedeniyle ölçeklenemez.
#2. Temel Mimari Yaşam Döngüsü Aşamaları
Dayanıklı bir üretim RAG işlem hattı 6 farklı yaşam döngüsü aşamasında çalışır:
- Doküman Alımı ve Ayrıştırma: Heterojen dosyalardan (PDF, Office, HTML vb.) sayfa düzenini koruyarak metin çıkarma.
- Parçalama (Chunking) ve Embedding Üretimi: Metni anlamsal birimlere ayırma ve vektör uzayına kodlama.
- İndeksleme ve Hibrit Arama: Çok kiracılı vektör depolaması ve ters çevrilmiş indeks yönetimi.
- Bağlam Mühendisliği ve Yeniden Sıralama (Reranking): Cross-encoder ile filtreleme ve istem bağlamını optimize etme.
- Üretim ve Doğrulama: Kısıtlanmış logit maskeleme ve otomatik atıf kontrolü ile yanıt üretme.
- Güvenlik Bariyerleri ve Denetim Günlüğü: Prompt injection engelleme, PII maskeleme ve değişmez denetim kayıtları.
