Yapay Zeka ve Ajan Sistemleri Gelen bir YZ (LLM) isteği ulaştığında, önbellek (cache) istem (prompt) belirteçlerini (tokens) analiz eder. Tam önek (prefix) eşleşmeleri için (örneğin, uzun sistem talimatları veya statik RAG bağlamı), istem değerlendirme (prompt evaluation) aşamasını atlayarak GPU'da veya ana bilgisayar belleğinde depolanan önceden hesaplanmış KV dikkat durumlarını (KV attention states) yeniden kullanır. Anlamsal (semantic) eşleşmeler için bir vektör deposuna (vector store) karşı kosinüs benzerliğini (cosine similarity) değerlendirir ve önceden doğrulanmış tamamlama yanıtlarını milisaniyeler içinde sunar.
LLM Semantic CacheKV-Cache StorePrompt Response CacheKV-Cache OffloadingPrefix Caching+7 more
Yapay Zeka ve Ajan Sistemleri Uygulama hizmetleri, benzersiz anlamsal (semantic) tanımlayıcı ve sürüm etiketiyle (version tag) yüksek erişilebilirlik API'si aracılığıyla sabitlenmiş (pinned) istem (prompt) sürümlerini getirir. Kayıt defteri (registry), çalışma zamanı (runtime) bağlam (context) değişkenlerini doğrular ve şablona (template) güvenli bir şekilde ekler (interpolates), biçimlendirme (formatting) kısıtlamalarını uygular, denetlenebilirlik (auditability) için meta verileri kaydeder ve A/B testi ve değerlendirme (eval) kıyaslamaları (benchmarks) sırasında istem varyantları (variants) arasında sorunsuz trafik bölmeyi (traffic splitting) destekler.
Prompt StorePrompt CatalogAI Template RegistrySemantic Versioning (SemVer)Template Parameterization+7 more
Normal koşullar altında, ters vekil sunucu (reverse proxy), genel arayüzlerde (public interfaces) gelen TCP/HTTP bağlantılarını kabul eder, donanım hızlandırmalı şifrelerle (ciphers) kriptografik TLS el sıkışmalarını (handshakes) tamamlar, başlık (header) normalleştirme ve yönlendirme kurallarını uygular, sağlıklı yukarı akış soket havuzları (upstream socket pools) arasında istekleri dengeler ve ağın kenarında (network edge) statik yükleri (payloads) önbelleğe alırken arka uç (backend) yanıtlarını döndürür.
Reverse ProxyForward ProxyIntermediaryMiddlewareEdge Proxy+15 more
Mesaj gönderenlerin, mesajların belirli alıcılara doğrudan gönderilmesini programlamadığı bir mesajlaşma deseni.
Publish-SubscribeScalabilityFault toleranceLatencyCrash loop+2 more
Kuantum mekanik fenomenlerini kullanan bir işlem (compute) kaynağı.
ScalabilityFault toleranceLatencyCrash loopTimeout+1 more
Üreticiler (producers) yapılandırılmış mesajları adlandırılmış kuyruklara (named queues) veya bölümlenmiş konulara (partitioned topics) yayınlar. Kuyruk aracısı (queue broker), mesajları yalnızca eklenebilir bir işleme günlüğüne (append-only commit log) atomik olarak kaydeder, teslim onaylarını (delivery acknowledgments) izler ve mesaj sıralamasını (message ordering) ve izolasyonu (isolation) korurken, itme veya çekme protokollerini (push or pull protocols) kullanarak iş yüklerini tüketici grupları (consumer groups) arasında eşit olarak dağıtır.
Message QueuePub/SubBrokerEvent BusTask Queue+15 more
Dağıtık bir veritabanı (distributed database) veya kümede oylama ve yeter sayı (quorum) kararlarını yöneten bir sistem.
ScalabilityFault toleranceLatencyCrash loopTimeout+1 more
Yapay Zeka ve Ajan Sistemleri Belge alımı (document ingestion) sırasında, bilgi kaynakları ayrıştırılır, parçalara (chunked) ayrılır ve seyrek (sparse) anahtar kelime indekslerinin yanında bir vektör indeksinde (vector index) saklanan yoğun (dense) vektör yerleştirmelerine (vector embeddings) dönüştürülür. Bir kullanıcı sorgu gönderdiğinde, RAG işlem hattı hibrit anlamsal ve sözcüksel (semantic and lexical) arama yürütür, bir çapraz kodlayıcı (cross-encoder) kullanarak aday pasajları yeniden sıralar (reranks), doğrulanmış bağlam içeren zenginleştirilmiş bir istem (augmented prompt) oluşturur ve Yüksek Dil Modeline (LLM) doğru, alıntılanmış (cited) bir yanıt sentezlemesi (synthesize) talimatını verir.
Retrieval-Augmented GenerationVector SearchSemantic SearchContext Retrievalvector database+14 more
2 Karakter4 Konu
Kullanıcının (user) belirli bir zaman diliminde (time period) yapabileceği istek sayısını sınırlayan bir bileşen (component).
ScalabilityFault toleranceLatencyCrash loopTimeout+1 more
Güvenlik, Kimlik ve Güven İstekler (requests) ağ kenarına (network edge) veya API ağ geçidine (API gateway) ulaştığında, motor istemci tanımlayıcılarını (client identifiers) çıkarır, belirteç (token) kullanılabilirliğini dağıtık sayaçlara (distributed counters) karşı değerlendirir (Redis destekli kayan pencere günlükleri - sliding window logs veya token buckets gibi) ve kotaları (quotas) atomik (atomically) olarak düşürür. Kurallara uyan istekler standart hız limiti (rate limit) başlıklarıyla (headers) geçerken, aşan istekler anında HTTP 429 Too Many Requests (Çok Fazla İstek) yanıtı alır.
API ThrottlerTraffic ShaperRequest Quota ManagerToken Bucket AlgorithmSliding Window Counter+7 more
Güvenlik, Kimlik ve Güven Kullanıcı kimlik doğrulaması (authentication) veya belirteç (token) oluşturma sırasında, RBAC (Rol Tabanlı Erişim Kontrolü) yöneticisi dizin hizmetlerini (directory services) sorgular, atanan rolleri statik bir yetkilendirme (authorization) matrisine göre çözümler ve mikro hizmet (microservice) sınırında milisaniye altı yerel yetkilendirme uygulaması için JSON Web Belirteçlerine (JWTs) veya yan araba politika motorlarına (sidecar policy engines) gömülü (embedded) kriptografik olarak imzalanmış talepler (claims) yayınlar.
Role-Based Access ControllerAuthorization DirectoryEntitlements ManagerRole-Based Access Control (RBAC)Permission Matrix+7 more
Veriler sisteme girdikten hemen sonra analitiği sunmak (deliver) için tasarlanmış bir sistem.
ScalabilityFault toleranceLatencyCrash loopTimeout+1 more
