Skip to main content

> log_toplama_ekonomisi:_cloudwatch_logs_toplama_vergisi_ve_s3_doğrudan_akış_optimizasyonu

Log Toplama Ekonomisi: CloudWatch Logs Toplama Vergisi ve S3 Doğrudan Akış Optimizasyonu

CloudWatch Logs veri toplama ücreti ($0,50/GB) S3 depolamaya göre neden 20 kat daha pahalıdır; log filtreleme ve S3 Firehose doğrudan aktarımı log faturasını nasıl %80 düşürür?

Senior (L5)

ÖZET VE TEKNİK CEVAP

AWS'te Amazon CloudWatch Logs toplanan her 1 GB veri için **$0,50 toplama ücreti**, depolanan her GB için **$0,03/ay** ve CloudWatch Insights sorguları için **taranan her GB başına $0,005** ücret keser. Ayrıntılı debug logları, HTTP erişim logları ve VPC Flow Logs üreten yüksek trafikli bir sistemde (ayda 10 TB log), sadece CloudWatch faturası **ayda $5.300** tutar. Buna karşılık 10 TB sıkıştırılmış log dosyasını doğrudan Amazon S3'te saklamak **ayda yalnızca $230** tutar (**23 kat daha ucuz**). Finansal tuzak, geliştiricilerin canlı ortamda `DEBUG` seviyesini açık unutması veya saniyelik sağlık kontrolü (health check) loglarını CloudWatch'a doldurmasıyla patlar. Canlı FinOps mimarileri bu israfı: (1) **Dinamik Log Seviyesi Filtreleme** (canlıda DEBUG loglarını atmamak), (2) Yüksek hacimli ham logları Kinesis Firehose ile Zstandard sıkıştırmasıyla doğrudan S3'e akıtmak, ve (3) Eski logları pahalı Insights yerine **Amazon Athena veya ClickHouse** ile sorgulayarak çözer.

Mühendislik El Kitabı & Mekanizma

1. Temel Çalışma Mekanizması

Log boru hattı optimizasyonu katmanlı bir akış mimarisiyle çalışır: (1) İstemci Tarafı Filtreleme: Kubernetes düğümlerindeki Vector veya FluentBit ajanları `/healthz` sağlık kontrolü erişim loglarını sunucudan çıkmadan eler. (2) Önem Derecesine Göre Ayrıştırma: Yalnızca `ERROR` ve `WARN` logları anlık alarmlar için CloudWatch Logs'a ($0,50/GB) gönderilir. (3) Toplu S3 Arşivleme: Yüksek hacimli `INFO` logları ve VPC Flow Logs, CloudWatch'a hiç uğramadan Kinesis Firehose ($0,029/GB) ile doğrudan S3 Parquet dosyalarına yazılır. (4) Saklama Süresi: CloudWatch log gruplarına katı 14 günlük otomatik silme süresi (retention) tanımlanır.

2. Doğru Kullanım Senaryosu

Yüksek hacimli Kubernetes konteyner logları, API gateway erişim kayıtları, VPC Flow Logs ve kurumsal denetim log hatları.

3. Prodüksiyon Arıza Modları

CloudWatch log gruplarını 'Asla Silme' (Never Expire) ayarında bırakıp yılların eski loglarına her ay binlerce dolar depolama ücreti ödemek; canlıda tüm SQL sorgularını DEBUG seviyesinde loglamak.

4. Teşhis ve Telemetri Sinyalleri

AWS Fatura Detaylarında 'CloudWatch Ingestion' kaleminin ilk 3 harcama kaleminden biri olması; log gruplarının süresiz saklamaya ayarlı olması; logların %90'ının tekrarlayan sağlık kontrolü satırlarından oluşması.

5. Önleme ve Mimari Bariyerler

Tüm CloudWatch log gruplarına AWS Config ile en fazla 14-30 günlük saklama süresi zorunlu kılın; FluentBit ile sağlık kontrollerini loglamadan düşürün; ham analitik logları S3 Firehose'a yönlendirin.

6. Mimari Ödünleşimler (Trade-offs)

Logları doğrudan S3'e aktarmak toplama maliyetini %80-90 düşürür; ancak geçmiş S3 loglarını Athena ile sorgulamak anlık CloudWatch Insights'a kıyasla 5-15 saniye sürer.

Vaka İncelemesi (TinyCTO Örneği)

AWS EKS üzerinde çalışan bir e-ticaret platformu ayda 25 TB konteyner logu üretiyor ve ayda $13.250 CloudWatch faturası ödüyordu. Yapılan denetimde logların %60'ının NGINX sağlık kontrolleri ve devasa JSON yanıtları olduğu görüldü. Ekip FluentBit kurarak sağlık kontrollerini eledi; 1 TB'lık `ERROR` loglarını alarmlar için CloudWatch'a, kalan 9 TB'lık `INFO` loglarını ise Kinesis Firehose ile doğrudan S3'e akıttı. Aylık log maliyeti $13.250'den $1.420'ye geriledi.

İnteraktif Konsept Alıştırmaları

2 Alıştırma
Q1

CloudWatch Logs veri toplama ücreti ile Amazon S3 depolama ücreti arasındaki maliyet farkı nedir?

CloudWatch Logs toplanan veri için $0,50/GB ücret alır; Amazon S3 Standard aylık $0,023/GB ücret alır, bu da S3'ü ham log depolamada 20 kattan daha ucuz yapar.
Q2

Eski logların CloudWatch depolama faturasını şişirmesini anında durduran tek ayar nedir?

CloudWatch log gruplarını 'Asla Silme' ayarında bırakmak yerine 14 veya 30 günlük otomatik silme süresi (retention) tanımlamak.

Log Toplama Ekonomisi: CloudWatch Logs Toplama Vergisi ve S3 Doğrudan Akış Optimizasyonu — Sıkça Sorulan Sorular

Amazon S3'te saklanan eski loglar CloudWatch'a geri yüklenmeden nasıl sorgulanır?

Amazon Athena ile sunucusuz SQL sorgusu atarak (taranan TB başına $5) veya ClickHouse / DuckDB kullanarak.

Kubernetes sağlık kontrolü logları (`/healthz`) neden sunucu ajanında filtrelenip atılmalıdır?

Çünkü kubelet her konteyneri 5-10 saniyede bir yoklar; bu da ağ bant genişliğini ve log toplama bütçesini israf eden milyarlarca gereksiz HTTP 200 satırı üretir.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

  • ▸CloudWatch Logs toplama ücreti ($0,50/GB) ham logları S3'te tutmaktan 20 kat daha pahalıdır.
  • ▸Sadece kritik hata alarmlarını CloudWatch'a iletin; büyük hacimli telemetriyi Firehose ile S3'e akıtın.
  • ▸Tüm CloudWatch log gruplarına mutlaka 14 ila 30 günlük saklama süresi (retention) koyun.
  • ▸Tekrarlayan Kubernetes sağlık kontrolü loglarını kenar ajanda (FluentBit) çöpe atın.

Yaygın Yanılgılar

  • ✗Yanılgı: Hata ayıklayabilmek için tüm uygulama logları CloudWatch'a atılmalıdır (Gerçek: Info loglarının %90'ı asla okunmaz ve sıkıştırılmış S3 dosyalarında ucuzca saklanmalıdır).
  • ✗Yanılgı: CloudWatch Insights sorguları ücretsizdir (Gerçek: Insights taranan her GB için $0,005 ücret keser; geniş tarihli aramalar pahalıya patlar).

Karar Kılavuzu & Önceliklendirme

Tam denetim arşivini korurken kurumsal CloudWatch log faturasını %80 düşürmek için kenar filtreleme uygulayın ve kritik olmayan telemetriyi doğrudan S3'e aktarın.

Doğrulanmış Kaynaklar & Referanslar