Skip to main content

> ML_STANDARD // GGUF-BINARY-FILE-FORMAT-SPECIFICATION_v1.0

GGUF İkili Dosya Formatı Şartnamesi (llama.cpp)

llama.cpp Project (Georgi Gerganov) · Open Source Community Standard · active

specificationOpen Source Community Standardactive
Resmî Düzenleme MetniStandartlara Dön

Standart / Çerçeve Özeti

Çapraz platform CPU/GPU çıkarımı için model metaverilerini, tokenizer sözlüğünü ve kuantalanmış ağırlık tensörlerini tek bir ikili dosyada kapsülleyen dosya formatı.

Temel Uyumluluk Gereksinimleri

  • Tokenizer ayarlarını, bağlam uzunluğunu ve mimari detaylarını içeren tek dosya paketleme
  • İleriye dönük uyumlu okuyucu uygulamalarına izin veren genişletilebilir anahtar-değer metaveri deposu
  • Birleşik bellek mimarilerinde sıfır gecikmeli anında model yükleme için doğrudan bellek eşleme (mmap)
  • K-quant (Q2_K - Q8_0) ve karma duyarlıklı tensör düzenleri için yerel destek

Kapsam Dahilindeki Sektörler ve Görevler

Etkilenen Sektörler:
technologymobile edge
Etkilenen Görevler:
text generation

TinyCTO, regülatif özetleri ve teknik mühendislik uyumunu yalnızca bilgilendirme amaçlı sağlar. Bu içerik resmi hukuki danışmanlık veya regülasyon uyumluluk sertifikası teşkil etmez.