> ML_LITERATURE // ROZIERE-2023-CODE-LLAMA-OPEN-FOUNDATION-MODELS-CODE_v1.0
Code Llama: Open Foundation Models for Code
Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Chintan Shah, Kamile Lukosuite, Thomas Hartvigsen, Arden Fallon, Alonso Pahuamba, Thomas Scialom, Gabriel Synnaeve · arXiv preprint (2023)
Temel Katkı (Principal Contribution)
LLaMA 2'yi 500B token kod üzerinde metin arası doldurma (FIM) ve değiştirilmiş RoPE frekanslarıyla 100K token bağlam penceresiyle uzmanlaştırdı.
Operasyonel ve Mühendislik Uygunluğu
task-code-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir