llama.cpp: Inference of LLaMA model in pure C/C++

AVX2/AVX-512, ARM NEON ve Metal GPU boşaltma ile saf C/C++ sıfır bağımlılıklı kuantalanmış çıkarım uygulayarak cihaz üzerinde evrensel LLM çalıştırması için GGUF formatını oluşturdu.

Üretim sistemlerinde task-text-generation uygulaması için yetkili referans olarak hizmet eder.

Temel Varsayımlar (Assumptions)

• Temel hesaplama topolojisi ve matematiksel sınırlar belirlenmiş dışbükeylik/pürüzsüzlük garantilerine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Donanım hızlandırmaları, gizlilik bütçeleri ve yakınsama hiperparametrelere ve ağ iletişim limitlerine bağlıdır