> tpl_air_012
Model Seçimi Mimari Karar Kaydı (ADR) ve Karar Matrisi
Tescilli API öncü modelleri (OpenAI, Anthropic) ile kurum içinde barındırılan açık ağırlıklı modelleri (Llama, Mistral, Qwen) veri egemenliği, ince ayar yapılabilirliği, soğuk başlatma gecikmesi ve toplam sahip olma maliyeti (TCO) genelinde değerlendiren Mimari Karar Kaydı (ADR) ve nicel çok kriterli karar matrisi.
Tescilli API'leri ve kurum içi açık modelleri maliyet, gizlilik ve gecikme açısından karşılaştıran nicel ADR ve karar matrisi.
Önemli Teknik Doküman Şablonu ve Hukuki Uyarı
TinyCTO.tv Teknik Doküman Şablon Bildirimi: Bu şablon genel eğitim ve operasyon amaçlı bir başlangıç materyalidir. Hukuki, vergisel, muhasebesel, yatırım, satın alma, mevzuat, güvenlik veya sertifikasyon danışmanlığı değildir. Gereklilikler ülkeye, kuruma, sözleşmeye ve riske göre değişir. Kullanmadan önce yetkin uzmanlarla gözden geçirip uyarlayın.
Çözülen Üretim Problemi
Mühendislik organizasyonları yapılandırılmış karar kayıtları yerine anlık hislerle geri dönülmez yapay zekâ mimari kararları alır; bu da sağlayıcı API zamlarına veya devasa kurum içi GPU altyapı yüklerine hapsolmalarına neden olur.
Ne Zaman Kullanılmalı?
- •Barındırılan öncü API'ler (OpenAI, Anthropic, Bedrock) ile kurum içi açık ağırlıklar (Kubernetes üzerinde vLLM) arasında seçim yaparken
- •Kurumsal üretken yapay zekâ platformları ve müşteri asistanları için resmi Mimari Karar Kaydı (ADR) onaylarını alırken
- •Kurum içi açık modellerin ticari token faturalarından daha ekonomik hale geldiği 3 yıllık TCO kırılma noktalarını modellerken
Ne Zaman Kullanılmamalı?
- •Yapay zekâ odağı olmayan genel bulut sağlayıcı değerlendirmelerinde (TPL-ARC-007 kullanın)
- •Ticari yazılım satın alma sözleşmeleri ve genel hizmet anlaşmalarında (TPL-PRC-006 kullanın)
5 Şablon Bölümü ve Yapısal İskelet
Kararın çerçevesi: iş yükü gereksinimleri, gecikme eşikleri, mevzuatsal kısıtlar ve token hacim projeksiyonları.
Seçenek A (Tescilli API), Seçenek B (K8s üzerinde Açık Ağırlıklar) ve Seçenek C (Hibrit Ağ Geçidi Yönlendirmesi) değerlendirmesi.
Adayların 8 boyutta puanlanması: Akıl Yürütme Gücü, TTFT Gecikmesi, Veri Egemenliği, İnce Ayar Kolaylığı, Bağımlılık ve TCO.
Sabit GPU barındırma maliyetlerinin ($/ay) değişken ticari API faturalarını kestiği token hacim kırılma noktasının hesaplanması.
Seçilen kararın, artı/eksi sonuçlarının, uyumluluk onaylarının ve 12 ay sonra yeniden değerlendirme koşullarının belgelenmesi.
Doldurma ve Uygulama Yönergeleri
Bağımsız İnceleme ve Onay Kontrol Listesi
- Tüm zorunlu bölümler dolduruldu
- Gizli anahtar veya parola içermiyor
- Yönetici sponsor onayı alındı
Model Seçimi Mimari Karar Kaydı (ADR) ve Karar Matrisi - Örnek Vaka Analizi
Örnek Organizasyon: Bağımsız Bankacılık Kurumu Üretken Yapay Zekâ Model Seçim ADR'si
Bağımsız Bankacılık Kurumu Üretken Yapay Zekâ Model Seçim ADR'si için eksiksiz operasyonel uygulamayı gösteren gerçek dünya vaka analizi.
- •Azure OpenAI GPT-4o ile özel OpenShift üzerinde Llama 3.3 70B'yi karşılaştıran resmi MADR 3.0 karar kaydı yürütüldü
- •Yasal KVKK kısıtlarının temel kredi itiraz kararlarında üçüncü taraf genel bulut API'lerini yasakladığı tespit edildi
- •Hibrit mimari benimsendi: şirket içi pazarlama metinleri için genel GPT-4o, bankacılık çekirdeği için kurum içi Llama 3.3 seçildi
Sıkça Sorulan Sorular
Açık ağırlıklı bir modeli kurum içinde barındırmak ticari API'lerden ne zaman daha ucuz hale gelir?
Başabaş noktası genellikle bir kurum günde 10 milyon ila 25 milyon token işlediğinde gerçekleşir. Bu eşiğin altında ticari API'ler çok daha ekonomiktir; çünkü sabit altyapı veya MLOps işgücü maliyeti olmadan yalnızca kullanılan token için ödeme yapılır.
Tescilli öncü API'leri kullanırken hangi veri gizliliği garantileri yasal olarak güvenceye alınmalıdır?
Kurumlar imzalı bir Sıfır Veri Saklama (ZDR) sözleşmesi, istemlerin ve yanıtların asla model eğitiminde kullanılmayacağına dair açık taahhüt ve müşteri yönetimli anahtarlarla (CMEK) aktarım şifrelemesi talep etmelidir.
Kurumlar neden tek bir modele bağlanmak yerine hibrit LLM yönlendirme mimarisini benimsemelidir?
Hibrit ağ geçidi, basit ve yüksek hacimli işleri (veri çıkarma, biçimlendirme) ucuz açık modellere yönlendirirken, pahalı öncü modelleri (GPT-4o, Claude 3.5 Sonnet) karmaşık akıl yürütme görevlerine ayırarak çıkarım maliyetlerini %60-75 oranında düşürür.
Teknik Doküman Şablon Paketi
Giriş GerekliTüm boş şablonları, işlenmiş senaryoları ve doğrulama manifestolarını tek bir arşivde indirin.
Yetkili Standartlar ve Kaynaklar
- MADR: Markdown Architectural Decision Records (Version 3.0)Architectural Decision Records Community • OFFICIAL REQUIREMENT
- ISO/IEC 42001:2023 Artificial Intelligence Management System — Section 8.2ISO/IEC • OFFICIAL REQUIREMENT
- Cloud FinOps Foundation: Managing Generative AI and LLM CostsFinOps Foundation • OFFICIAL REQUIREMENT