> ML_KUTUPHANE // WEBLLM_v1.0
WebLLM
MLC AI — WebGPU ile güçlendirilmiş yüksek performanslı tarayıcı içi LLM çıkarım motoru.
client-edge-embeddedv0.2.62Apache-2.0qualified
Model Eğitimi (Training)
Bu kütüphane optimize edilmiş bir inference motorudur; model eğitimi için kullanılmaz.
Model Sunumu (Inference)
Inference Hızlandırıcıları:
WEBGPUWASM
Hedef Ortamlar (Targets):browser
Kuantizasyon Formatları:q4f16_1, q4f32_1
Neleri Sağlar (Ne Yapar)
- +1B-8B parametreli büyük dil modellerini doğrudan web tarayıcısı sekmelerinde çalıştırma
- +Sunucu arka ucuna gerek duymadan yerel tarayıcı WebGPU API'leri ile donanım hızlandırması
- +Ağ üzerinden hiçbir istem verisi iletilmeden eksiksiz istemci tarafı gizlilik
Neleri Sağlamaz (Ne Yapmaz)
- -WebGPU desteği olmayan eski tarayıcılarda veya aygıtlarda çalışma
- -Yüksek verimli çok kiracılı kurumsal API hizmeti sunma
- -Yapay sinir ağı ağırlıklarını eğitme
>Uygun İş Tipleri
- Sunucu maliyetsiz, istemci tarafı yapay zeka sohbet ve özetleme web uygulamaları
- Hassas dosyaların kullanıcının cihazından ayrılamayacağı gizlilik odaklı belge analitiği
- Akıllı asistan barındıran çevrimdışı ilerici web uygulamaları (PWA)
>Uygun Olmayan İş Tipleri
- Sunucu taraflı kurumsal toplu işlem boru hatları
- 4GB'tan az RAM'e sahip düşük segment akıllı telefonlar
Veri Yerleşimi ve İkameti
%100 tarayıcı kum havuzu bellek alanı. İstemci makinesinden tek bir veri paketi dışarı çıkmaz.
Güvenlik Değerlendirmesi
Tarayıcı güvenlik kum havuzuyla korunur. Kullanıcı dosya seçicisi dışında yerel dosya sistemine erişemez.
Operasyonel Metrikler ve Bilinen Kısıtlar
Olgunluk:emerging
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
- İlk çalıştırmada 1GB-4GB boyutundaki kuantalanmış model ağırlıklarının tarayıcı önbelleğine indirilmesi gerekir.
- Model bellek boyutu ayrılan GPU VRAM sınırını aşarsa tarayıcı sekmesi çökebilir.
İlişkili Üretim Arıza Paternleri (Incidentpedia)
Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:
> Birincil Kanıt ve Doğrulama Kaynakları
WebLLM Documentationofficial-docs • >=0.2.40, <=0.2.62
2026-09-25HIGH