GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

Ters Hessian matrisi güncellemelerine dayalı ikinci derece hata telafisi algoritması geliştirerek 175B parametreli modelleri yaklaşık 4 GPU saatinde 3-bit veya 4-bit ağırlıklara kuantaladı.

task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.

Temel Varsayımlar (Assumptions)

• Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir