> ML_LITERATURE // SCHICK-2023-TOOLFORMER-LANGUAGE-MODELS-TEACH-THEMSELVES-TOOLS_v1.0
Toolformer: Language Models Can Teach Themselves to Use Tools
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom · Advances in Neural Information Processing Systems (NeurIPS) (2023)
algorithm2023industry-standardthirdPartyReproduced
Temel Katkı (Principal Contribution)
Gelecekteki token'larda karmaşıklığı (perplexity) azaltmayan çağrıları filtreleyerek API çağrılarının (hesap makineleri, arama motorları) kendi kendini denetleyen başlatmasını tanıttı.
Operasyonel ve Mühendislik Uygunluğu
task-autonomous-agents, task-text-generation için mimari kararları, hizalama stratejisini ve sunum altyapısını doğrudan yönlendirir.
Temel Varsayımlar (Assumptions)
- Ampirik dağılım düzenliliği geçerlidir ve hedef alan ön eğitim dilsel/görsel desteğine uygundur
Kısıtlar ve Sınırlamalar (Limitations)
- Kaynak ölçekleme, çıkarım bellek gereksinimleri ve hizalama sağlamlığı model boyutuna ve donanım topolojisine göre değişir
Bağlantılı Algoritmalar, Mimariler ve Kütüphaneler
İlgili Algoritmalar:
İlgili Mimariler:
Uygulayıcı Kütüphaneler: