> ML_LITERATURE // TOUVRON-2023-LLAMA-OPEN-EFFICIENT-FOUNDATION-MODELS_v1.0
LLaMA: Open and Efficient Foundation Language Models
Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample · arXiv preprint (2023)
seminal-architecture2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Daha fazla belirteç (1,4T) üzerinde eğitilen daha küçük modellerin (7B-65B) çıkarımda büyük modelleri geride bıraktığını kanıtlayarak açık ağırlıkları demokratikleştirdi.
Operasyonel ve Mühendislik Uygunluğu
Açık kaynaklı LLM ekosistemi için temel katalizör: llama.cpp, vLLM, Ollama, yerel ince ayar ve kurum içi yapay zeka dağıtımları.
Temel Varsayımlar (Assumptions)
- Hesaplama açısından optimal sınır muhafazakardı; modelleri optimal belirteçlerin çok ötesinde eğitmek büyük çıkarım verimliliği sağlar
Kısıtlar ve Sınırlamalar (Limitations)
- İlk sürüm Llama-2 sohbet hizalamasından önce toksik web metni yansımaları içeren ham ön eğitimli modeller içeriyordu