> tpl_air_023
İnce Ayar (Fine-Tuning)/Uyarlama Veri Kümesi ve İş Şartnamesi
Talimat ayarlama (instruction-tuning) veri kümesi kürasyonunu, istem-yanıt formatlamasını, parametre verimli ince ayar (PEFT / LoRA / QLoRA) hiperparametrelerini, bilgi işlem bütçelemesini, kayıp (loss) takibini ve felaket düzeyinde unutmayı (catastrophic forgetting) önlemeyi belirleyen uçtan uca temel model uyarlama şartnamesi.
Veri kümesi kürasyonunu, LoRA hiperparametrelerini ve felaket unutmasını önlemeyi standartlaştıran kapsamlı LLM ince ayar şartnamesi.
Önemli Teknik Doküman Şablonu ve Hukuki Uyarı
TinyCTO.tv Teknik Doküman Şablon Bildirimi: Bu şablon genel eğitim ve operasyon amaçlı bir başlangıç materyalidir. Hukuki, vergisel, muhasebesel, yatırım, satın alma, mevzuat, güvenlik veya sertifikasyon danışmanlığı değildir. Gereklilikler ülkeye, kuruma, sözleşmeye ve riske göre değişir. Kullanmadan önce yetkin uzmanlarla gözden geçirip uyarlayın.
Çözülen Üretim Problemi
Mühendislik ekipleri değerlendirme kriterleri olmadan kirli ve doğrulanmamış veri kümeleri üzerinde milyarlarca parametreli modellere ince ayar yapar; bu da binlerce dolarlık GPU bulut bütçesini boşa harcayarak aşırı öğrenen (overfitting) ve felaket unutmasına uğrayan modeller üretir.
Ne Zaman Kullanılmalı?
- •Açık kaynaklı temel modelleri (Llama 3, Mistral, Qwen) belirli kurumsal alanlara, özel çıktı şemalarına veya tescilli şirket jargonu terminolojisine uyarlarken
- •Özel GPU kümelerinde LoRA veya QLoRA kullanarak Parametre Verimli İnce Ayar (PEFT) boru hatları yapılandırırken
- •Yüksek kaliteli talimat ayarlama ve tercih hizalama (DPO/RLHF) veri kümelerini derleyip doğrularken
Ne Zaman Kullanılmamalı?
- •İstem mühendisliği, az örnekli öğrenme veya RAG sistemleri hedeflenen kaliteye yettiğinde (TPL-AIR-026 kullanın)
- •Kapsamlı kurumsal veri platformu mimarisi ve veri gölü tasarımında (TPL-AIM-003 kullanın)
5 Şablon Bölümü ve Yapısal İskelet
İnce ayarın neden gerekli olduğunun doğrulanması: az örnekli istemlerin veya RAG'in gecikme, üslup veya şema tutarlılığı hedeflerini karşılayamadığının kanıtlanması.
Talimat veri kümelerinin yapılandırılması (JSONL: sistem, kullanıcı, asistan), PII/PHI temizliği, MinHash ile tekilleştirme ve sentetik kalite filtreleri.
Parametre verimli uyarlama: hedef modüller (q_proj, v_proj, k_proj), LoRA rank (r=16/32), alpha (32/64), öğrenme oranı çizelgeleyici (ısınmalı Cosine) ve gradyan kontrol noktaları.
Gereken GPU saati, FLOPS, vRAM sınırlarının hesaplanması ve Weights & Biases telemetri kayıtlı dağıtık Ray/DeepSpeed ZeRO-3 koşucularının yapılandırılması.
Genel akıl yürütme yeteneğinin korunduğunu doğrulamak için uyarlanan modelin genel kıyaslamalarda (GSM8K, HumanEval, MMLU) temel modelle karşılaştırılması.
Doldurma ve Uygulama Yönergeleri
Bağımsız İnceleme ve Onay Kontrol Listesi
- Tüm zorunlu bölümler dolduruldu
- Gizli anahtar veya parola içermiyor
- Yönetici sponsor onayı alındı
İnce Ayar (Fine-Tuning)/Uyarlama Veri Kümesi ve İş Şartnamesi - Örnek Vaka Analizi
Örnek Organizasyon: Biyotıp Bilişimi Klinik NLP Araştırma Laboratuvarı
Biyotıp Bilişimi Klinik NLP Araştırma Laboratuvarı için eksiksiz operasyonel uygulamayı gösteren gerçek dünya vaka analizi.
- •2.400 doğrulanmış onkoloji teşhis kaydı üzerinde QLoRA kullanarak açık kaynaklı Llama 3.3 70B modeline ince ayar yaptı
- •Tescilli bulut LLM API maliyetlerini aylık 32.000 dolar düşürürken %96,8 JSON şema uyumluluğu elde etti
- •%10 genel talimat tamponu ekleyerek MMLU genel akıl yürütme testlerinde temel model yeteneğinin %98,2'sini korudu
Sıkça Sorulan Sorular
Bir ekip Retrieval-Augmented Generation (RAG) yerine ne zaman İnce Ayarı (Fine-Tuning) seçmelidir?
İnce ayar, modele *nasıl davranacağını* öğretmek için idealdir—katı JSON şemalarına uymak, özel bir kurumsal üslup benimsemek, tescilli terminolojiyi öğrenmek veya gecikmeyi düşürmek gibi. RAG ise modele *ne bileceğini* öğretmek için idealdir—sürekli güncellenen dinamik ve olgusal bilgiler sağlamak gibi.
"Felaket Düzeyinde Unutma" (Catastrophic Forgetting) nedir ve ince ayar sırasında nasıl engellenir?
Felaket unutması, bir modelin dar bir alana o kadar aşırı adapte olmasıdır ki temel genel bilgisini, sohbet yeteneğini ve mantıksal çıkarımını unutmasıdır. Eğitim setine %10-15 oranında genel talimat verisi karıştırarak ve dengeli LoRA rank parametreleri kullanarak engellenir.
Geleneksel tam ince ayara kıyasla QLoRA kullanmanın pratik avantajı nedir?
Tam ince ayar tüm parametreleri 16-bit hassasiyetle günceller ve devasa GPU kümeleri (70B model için 8x 80GB A100) gerektirir. QLoRA temel modeli 4-bit hassasiyette dondurur ve yalnızca hafif adaptör ağırlıklarını (LoRA) eğitir; bu da GPU bellek ihtiyacını %65'ten fazla azaltırken neredeyse farksız kalite sunar.
Teknik Doküman Şablon Paketi
Giriş GerekliTüm boş şablonları, işlenmiş senaryoları ve doğrulama manifestolarını tek bir arşivde indirin.
Yetkili Standartlar ve Kaynaklar
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al.)arXiv / Microsoft Research • OFFICIAL REQUIREMENT
- QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al.)arXiv / University of Washington • OFFICIAL REQUIREMENT
- Datasheets for Datasets (Gebru et al., CACM)ACM • OFFICIAL REQUIREMENT