Log Toplama Ekonomisi: CloudWatch Logs Toplama Vergisi ve S3 Doğrudan Akış Optimizasyonu

Senior (L5)

⚡ÖZET VE TEKNİK CEVAP

AWS'te Amazon CloudWatch Logs toplanan her 1 GB veri için 0,50 toplama ücreti, depolanan her GB için 0,03/ay ve CloudWatch Insights sorguları için taranan her GB başına 0,005 ücret keser. Ayrıntılı debug logları, HTTP erişim logları ve VPC Flow Logs üreten yüksek trafikli bir sistemde (ayda 10 TB log), sadece CloudWatch faturası ayda 5.300 tutar. Buna karşılık 10 TB sıkıştırılmış log dosyasını doğrudan Amazon S3'te saklamak ayda yalnızca $230 tutar (23 kat daha ucuz). Finansal tuzak, geliştiricilerin canlı ortamda DEBUG seviyesini açık unutması veya saniyelik sağlık kontrolü (health check) loglarını CloudWatch'a doldurmasıyla patlar. Canlı FinOps mimarileri bu israfı:

Dinamik Log Seviyesi Filtreleme (canlıda DEBUG loglarını atmamak),

Yüksek hacimli ham logları Kinesis Firehose ile Zstandard sıkıştırmasıyla doğrudan S3'e akıtmak, ve

Eski logları pahalı Insights yerine Amazon Athena veya ClickHouse ile sorgulayarak çözer.

Mühendislik El Kitabı & Mekanizma

6 Boyutlu Mimari Analiz

⚙️1. Temel Çalışma Mekanizması

Mekanizma

Log boru hattı optimizasyonu katmanlı bir akış mimarisiyle çalışır:

İstemci Tarafı Filtreleme: Kubernetes düğümlerindeki Vector veya FluentBit ajanları /healthz sağlık kontrolü erişim loglarını sunucudan çıkmadan eler.

Önem Derecesine Göre Ayrıştırma: Yalnızca ERROR ve WARN logları anlık alarmlar için CloudWatch Logs'a (0,50/GB) gönderilir.

Toplu S3 Arşivleme: Yüksek hacimli INFO logları ve VPC Flow Logs, CloudWatch'a hiç uğramadan Kinesis Firehose (0,029/GB) ile doğrudan S3 Parquet dosyalarına yazılır.

Saklama Süresi: CloudWatch log gruplarına katı 14 günlük otomatik silme süresi (retention) tanımlanır.

🎯2. Doğru Kullanım Senaryosu

Kapsam

Yüksek hacimli Kubernetes konteyner logları, API gateway erişim kayıtları, VPC Flow Logs ve kurumsal denetim log hatları.

⚠️3. Prodüksiyon Arıza Modları

Kritik Risk

✓
CloudWatch log gruplarını 'Asla Silme' (Never Expire) ayarında bırakıp yılların eski loglarına her ay binlerce dolar depolama ücreti ödemek
✓
canlıda tüm SQL sorgularını DEBUG seviyesinde loglamak

📡4. Teşhis ve Telemetri Sinyalleri

Metrikler

✓
AWS Fatura Detaylarında 'CloudWatch Ingestion' kaleminin ilk 3 harcama kaleminden biri olması
✓
log gruplarının süresiz saklamaya ayarlı olması
✓
logların %90'ının tekrarlayan sağlık kontrolü satırlarından oluşması

🛡️5. Önleme ve Mimari Bariyerler

Bariyerler

✓
Tüm CloudWatch log gruplarına AWS Config ile en fazla 14-30 günlük saklama süresi zorunlu kılın
✓
FluentBit ile sağlık kontrollerini loglamadan düşürün
✓
ham analitik logları S3 Firehose'a yönlendirin

⚖️6. Mimari Ödünleşimler (Trade-offs)

Ödünleşim

Logları doğrudan S3'e aktarmak toplama maliyetini %80-90 düşürür; ancak geçmiş S3 loglarını Athena ile sorgulamak anlık CloudWatch Insights'a kıyasla 5-15 saniye sürer.

📋

Vaka İncelemesi (TinyCTO Saha Örneği)

GERÇEK DÜNYA TELEMETRİSİ

AWS EKS üzerinde çalışan bir e-ticaret platformu ayda 25 TB konteyner logu üretiyor ve ayda 13.250 CloudWatch faturası ödüyordu. Yapılan denetimde logların %60'ının NGINX sağlık kontrolleri ve devasa JSON yanıtları olduğu görüldü. Ekip FluentBit kurarak sağlık kontrollerini eledi; 1 TB'lık ERROR loglarını alarmlar için CloudWatch'a, kalan 9 TB'lık INFO loglarını ise Kinesis Firehose ile doğrudan S3'e akıttı. Aylık log maliyeti 13.250'den $1.420'ye geriledi.

İnteraktif Konsept Alıştırmaları

2 Alıştırma

CloudWatch Logs veri toplama ücreti ile Amazon S3 depolama ücreti arasındaki maliyet farkı nedir?

CloudWatch Logs toplanan veri için $0,50/GB ücret alır; Amazon S3 Standard aylık $0,023/GB ücret alır, bu da S3'ü ham log depolamada 20 kattan daha ucuz yapar.

Eski logların CloudWatch depolama faturasını şişirmesini anında durduran tek ayar nedir?

CloudWatch log gruplarını 'Asla Silme' ayarında bırakmak yerine 14 veya 30 günlük otomatik silme süresi (retention) tanımlamak.

Log Toplama Ekonomisi: CloudWatch Logs Toplama Vergisi ve S3 Doğrudan Akış Optimizasyonu — Sıkça Sorulan Sorular

Amazon S3'te saklanan eski loglar CloudWatch'a geri yüklenmeden nasıl sorgulanır?

Amazon Athena ile sunucusuz SQL sorgusu atarak (taranan TB başına $5) veya ClickHouse / DuckDB kullanarak.

Kubernetes sağlık kontrolü logları (`/healthz`) neden sunucu ajanında filtrelenip atılmalıdır?

Çünkü kubelet her konteyneri 5-10 saniyede bir yoklar; bu da ağ bant genişliğini ve log toplama bütçesini israf eden milyarlarca gereksiz HTTP 200 satırı üretir.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

▸
CloudWatch Logs toplama ücreti ($0,50/GB) ham logları S3'te tutmaktan 20 kat daha pahalıdır.
▸
Sadece kritik hata alarmlarını CloudWatch'a iletin; büyük hacimli telemetriyi Firehose ile S3'e akıtın.
▸
Tüm CloudWatch log gruplarına mutlaka 14 ila 30 günlük saklama süresi (retention) koyun.
▸
Tekrarlayan Kubernetes sağlık kontrolü loglarını kenar ajanda (FluentBit) çöpe atın.

Yaygın Yanılgılar

✗
Yanılgı: Hata ayıklayabilmek için tüm uygulama logları CloudWatch'a atılmalıdır (Gerçek: Info loglarının %90'ı asla okunmaz ve sıkıştırılmış S3 dosyalarında ucuzca saklanmalıdır).
✗
Yanılgı: CloudWatch Insights sorguları ücretsizdir (Gerçek: Insights taranan her GB için $0,005 ücret keser; geniş tarihli aramalar pahalıya patlar).

Karar Kılavuzu & Önceliklendirme

Tam denetim arşivini korurken kurumsal CloudWatch log faturasını %80 düşürmek için kenar filtreleme uygulayın ve kritik olmayan telemetriyi doğrudan S3'e aktarın.

Doğrulanmış Kaynaklar & Referanslar

[OFFICIAL_DOCUMENTATION]Amazon CloudWatch Pricing: Logs Ingestion, Storage & Insights Analysis— Amazon Web Services Documentation

Bu sayfadaki teknik terimler

health check