> tpl_aim_023
Model Dağıtımı, Sunumu ve Geri Alma Planı
Kanarya trafik bölmeyi, gölge (shadow) trafik aynalamayı, GPU bellek optimizasyonunu (vLLM / TensorRT-LLM), soğuk başlangıç azaltmayı ve dakika altı otomatik geri alma tetikleyicilerini detaylandıran canlı makine öğrenimi dağıtımı, yüksek hacimli çıkarım sunumu ve otomatik geri alma planı.
Kanarya trafik kademelerini, gölge testleri, önbellek ısıtmayı ve dakika altı otomatik geri almayı yöneten canlı model sunum planı.
Önemli Teknik Doküman Şablonu ve Hukuki Uyarı
TinyCTO.tv Teknik Doküman Şablon Bildirimi: Bu şablon genel eğitim ve operasyon amaçlı bir başlangıç materyalidir. Hukuki, vergisel, muhasebesel, yatırım, satın alma, mevzuat, güvenlik veya sertifikasyon danışmanlığı değildir. Gereklilikler ülkeye, kuruma, sözleşmeye ve riske göre değişir. Kullanmadan önce yetkin uzmanlarla gözden geçirip uyarlayın.
Çözülen Üretim Problemi
Ekipler yeni modelleri tek seferde %100 trafiğe geçirir; ani GPU bellek yetersizliği (OOM), gecikme patlamaları veya tahmin hataları hızlı geri alma mekanizması olmadan kullanıcıları etkilediğinde canlı kesintiler yaşanır.
Ne Zaman Kullanılmalı?
- •Yeni model ağırlıklarını hazırlık ortamından canlı üretim trafiğine geçirirken
- •Mevcut Şampiyon model ile Meydan Okuyucu model arasında canlı gölge trafik karşılaştırmaları yürütürken
- •Gecikme veya hata eşiği aşıldığında kanarya trafiğini anında geri alan otomatik sağlık denetim kapıları yapılandırırken
Ne Zaman Kullanılmamalı?
- •Temel ilişkisel veritabanı geçiş planlarında (TPL-DAT-004 kullanın)
- •İlk keşif amaçlı makine öğrenimi eğitimi ve hiperparametre aramasında (TPL-AIM-019 kullanın)
5 Şablon Bölümü ve Yapısal İskelet
Adım 1: Gölge trafik aynalama (%0 kullanıcı riski, canlı çıkarım çıktısı ve gecikme karşılaştırması); Adım 2: Kademeli kanarya yayımı (%5 -> %25 -> %50 -> %100).
vLLM / Triton çalışma zamanı yapılandırması, tensör paralelliği (TP), GPU bellek tahsisi (KV önbellek rezervasyonu) ve otomatik ölçekleme tabanları.
Ağırlıkların yerel NVMe disklerine önceden yazılması, konteyner optimizasyonu, yapay istek ısıtma betikleri ve hazırlık kontrolleri.
p99 gecikme (tabanın > 1,5 katı), sunucu hataları (> %0,2) ve tahmin kayması için otomatik sigortalar; eski şampiyona anında geri dönüş.
Doğrulama duman testleri, iş KPI takibi, 48 saatlik eski model sıcak yedek beklemesi ve acil durdurma anahtarı (kill-switch) prosedürleri.
Doldurma ve Uygulama Yönergeleri
Bağımsız İnceleme ve Onay Kontrol Listesi
- Tüm zorunlu bölümler dolduruldu
- Gizli anahtar veya parola içermiyor
- Yönetici sponsor onayı alındı
Model Dağıtımı, Sunumu ve Geri Alma Planı - Örnek Vaka Analizi
Örnek Organizasyon: Sovereign Sohbet Bankacılığı LLM Sıfır Kesintili Dağıtım Planı
Sovereign Sohbet Bankacılığı LLM Sıfır Kesintili Dağıtım Planı için eksiksiz operasyonel uygulamayı gösteren gerçek dünya vaka analizi.
- •vLLM tensör paralelliği ile 32 H100 GPU üzerinde 70 milyar parametreli model sıfır kesintili kanarya yöntemiyle canlıya alındı
- •%5 kanarya aşamasında tespit edilen 35 ms'lik gecikme artışı 30 saniyenin altında otomatik geri almayı tetikleyerek kullanıcıyı korudu
- •Önceden ısıtılmış NVMe ağırlık önbellekleri ve yapay isteklerle kullanıcıya yansıyan soğuk başlangıç gecikmeleri tamamen sıfırlandı
Sıkça Sorulan Sorular
Makine öğreniminde gölge dağıtım (shadow deployment / dark traffic) nedir?
Gölge dağıtım, gelen canlı üretim isteklerini kopyalayarak mevcut şampiyon modele paralel olarak asenkron biçimde yeni aday modele de iletir. Kullanıcıya yalnızca şampiyonun yanıtı dönerken, gölge modelin çıktısı, gecikmesi ve kaynak tüketimi arka planda kaydedilip karşılaştırılır; böylece sıfır kullanıcı riskiyle doğrulama yapılır.
Büyük dil modelleri (LLM) neden ağır "soğuk başlangıç" (cold-start) gecikmeleri yaşar?
Onlarca gigabaytlık model ağırlıklarını (70B model için ~140 GB) nesne deposundan ağ üzerinden çekmek, ana belleğe almak ve PCIe veri yolu üzerinden GPU VRAM'ine aktarmak dakikalar sürer. Ağırlıkları yerel yüksek hızlı NVMe disklerde önbelleğe almak ve yapay isteklerle ısıtmak, pod'ların açılır açılmaz anında hizmet vermesini sağlar.
vLLM'in PagedAttention teknolojisi çıkarım sırasında GPU belleğini nasıl optimize eder?
Geleneksel sunucular KV önbelleği için azami metin uzunluğuna göre bitişik bellek ayırır; bu da parçalanma nedeniyle VRAM'in %60-80'ini israf eder. PagedAttention ise işletim sistemleri gibi belleği sanal sayfalara böler; böylece bellek israfını sıfırlar ve 2-4 kat daha fazla eşzamanlı istek işlenmesine olanak tanır.
Teknik Doküman Şablon Paketi
Giriş GerekliTüm boş şablonları, işlenmiş senaryoları ve doğrulama manifestolarını tek bir arşivde indirin.
Yetkili Standartlar ve Kaynaklar
- vLLM: Efficient Memory Management for Large Language Model ServingUC Berkeley LMSYS Organization • OFFICIAL REQUIREMENT
- Triton Inference Server Architecture & Best PracticesNVIDIA • OFFICIAL REQUIREMENT