Quantifying Memorization Across Neural Language Models

Dil modellerindeki ezberlemenin model parametre kapasitesi, yinelenen dizi sayısı ve bağlam uzunluğu ile log-doğrusal olarak ölçeklendiğini kanıtladı.

Üretim sistemlerinde task-adversarial-robustness, task-privacy-preserving-ml uygulaması için yetkili referans olarak hizmet eder.

Temel Varsayımlar (Assumptions)

• Temel hesaplama topolojisi ve matematiksel sınırlar belirlenmiş dışbükeylik/pürüzsüzlük garantilerine uygundur

Kısıtlar ve Sınırlamalar (Limitations)

• Donanım hızlandırmaları, gizlilik bütçeleri ve yakınsama hiperparametrelere ve ağ iletişim limitlerine bağlıdır