> ML_LITERATURE // ZHENG-2024-SGLANG-EFFICIENT-EXECUTION-STRUCTURED-LANGUAGE-MODEL-PROGRAMS_v1.0
SGLang: Efficient Execution of Structured Language Model Programs
Lianmin Zheng, Liangsheng Yin, Zhiqiang Xie, Jeff Huang, Chuyue Sun, Cody Hao Yu, Shiyi Cao, Christos Kozyrakis, Ion Stoica, Joseph E. Gonzalez, Hao Zhang · arXiv preprint (2024)
systems2024industry-standardartifactsAvailable
Temel Katkı (Principal Contribution)
Çok turlu hiyerarşik KV önbellek paylaşımı için RadixAttention ve yapılandırılmış kod çözme çalışma zamanı sunarak çoklu çağrılı ajan iş akışlarını ve JSON üretimini hızlandırdı.
Operasyonel ve Mühendislik Uygunluğu
Üretim sistemlerinde task-text-generation uygulaması için yetkili referans olarak hizmet eder.
Temel Varsayımlar (Assumptions)
- Temel hesaplama topolojisi ve matematiksel sınırlar belirlenmiş dışbükeylik/pürüzsüzlük garantilerine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Donanım hızlandırmaları, gizlilik bütçeleri ve yakınsama hiperparametrelere ve ağ iletişim limitlerine bağlıdır
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: