Skip to main content

> gözlemlenebilirlik_finops'u:_datadog_özel_metrik_ve_span_i̇ndeksleme_faturaları_ve_opentelemetry_filtreleme

Gözlemlenebilirlik FinOps'u: Datadog Özel Metrik ve Span İndeksleme Faturaları ve OpenTelemetry Filtreleme

Geliştiriciler yüksek kardinaliteli özel metrikler (100 metrik başına $5) veya indeksli APM span'leri (milyon başına $1,70) bastığında Datadog faturası neden kontrolden çıkar; OpenTelemetry Collector boru hattı bu telemetriyi göndermeden önce nasıl filtreler ve örnekler?

Staff/Principal (L6+)

ÖZET VE TEKNİK CEVAP

Datadog, New Relic ve Dynatrace gibi ticari SaaS gözlemlenebilirlik platformları kontrolsüz telemetri için ağır faturalar keser: (1) **Özel Metrik Vergisi**: Datadog her 100 özel metrik etiketi kombinasyonu için **ayda $5,00** ücret alır. Bir geliştirici metriğe `kullanici_id` veya `siparis_uuid` gibi yüksek kardinaliteli (high-cardinality) bir etiket eklerse, 100.000 farklı kullanıcı tek bir satır kod yüzünden **ayda $5.000 ek metrik faturası** üretir. (2) **APM Span İndeksleme Vergisi**: APM izlerini toplamak milyon başına $0,10 iken, **arama için indekslemek milyon başına $1,70 ek ücret** yaratır. (3) **Log İndeksleme**: Log toplamak $0,10/GB iken 15 günlük indeksleme **milyon log başına $1,70'tir**. Canlı FinOps mimarileri uygulama kodu ile Datadog arasına **Şirket İçi OpenTelemetry (OTel) Collector Boru Hattı** kurar: (1) **Kuyruk Tabanlı Örnekleme (Tail-Based Sampling)** (HTTP 5xx hatalarının %100'ünü, başarılı 200 OK isteklerinin sadece %1'ini indekslemek), (2) Yüksek kardinaliteli etiketleri sunucudan çıkmadan temizlemek, ve (3) Metrikleri göndermeden önce yerel olarak toplulaştırmak (pre-aggregate)—bu sayede gözlemlenebilirlik faturası **%60 ila %80 oranında düşürülür**.

Mühendislik El Kitabı & Mekanizma

1. Temel Çalışma Mekanizması

OpenTelemetry Collector maliyet optimizasyonu bildirimsel işleme boru hatlarıyla çalışır: (1) Nitelik Filtreleme (Attribute Processor): `kullanici_id`, `email`, `kart_no` gibi yasaklı yüksek kardinaliteli etiketleri metriklerden sunucuda temizler. (2) Kuyruk Tabanlı Örnekleme (Tail-Based Sampling): Dağıtık izin tamamını inceledikten sonra karar verir: İstek `HTTP 5xx` hatası almışsa veya süresi 2 saniyeyi aşmışsa %100 oranında Datadog'a gönderir; başarılı `200 OK` isteklerinin yalnızca %0,5'ini iletir. (3) Yerel Toplulaştırma: Saniyelik sayaçları 60 saniyelik özetlere indirger. (4) Çift Çıkış (Dual Export): Alarm gereken kritik verileri Datadog'a gönderirken, tüm ham debug izlerini şirket içi ucuz Jaeger / S3 deposuna akıtır.

2. Doğru Kullanım Senaryosu

Yüksek verimli mikroservis altyapıları (saniyede 10.000+ istek), milyonlarca tekil kullanıcıya hizmet veren kurumsal SaaS platformları ve Datadog faturası tavan yapmış şirketler.

3. Prodüksiyon Arıza Modları

Datadog özel metriklerine kullanıcı e-postası veya UUID ekleyip tek ayda $30.000 aşım faturası yemek; baştan rastgele örnekleme (head-based) yapıp en kritik 500 hatalarının trace izlerini çöpe atmak.

4. Teşhis ve Telemetri Sinyalleri

Datadog Kullanım panelinde 'Custom Metrics' veya 'Indexed Spans' kotalarının %300 aşıldığının görülmesi; ay sonunda gelen beklenmedik Datadog fatura şokları; metrik sayısının neden arttığının bilinmemesi.

5. Önleme ve Mimari Bariyerler

Uygulamalar ile ticari APM sağlayıcıları arasına mutlaka bir OpenTelemetry Collector ağ geçidi yerleştirin; Datadog'da etiket beyaz listesi (Metrics without Limits) uygulayın; hata odaklı Kuyruk Tabanlı Örnekleme (Tail-Based Sampling) kurun.

6. Mimari Ödünleşimler (Trade-offs)

OpenTelemetry boru hatları gözlemlenebilirlik faturalarını %60-80 azaltır ve sağlayıcı bağımlılığını yok eder; ancak şirket içinde toplayıcı (collector) konteynerlerinin bakımını yapmayı gerektirir.

Vaka İncelemesi (TinyCTO Örneği)

Bir finans şirketinin Datadog faturası 30 gün içinde ayda $8.000'den $34.000'e fırladı. Yapılan incelemede iki suçlu bulundu: Bir geliştirici ödeme metriğine `magaza_id` etiketi eklemişti (45.000 tekil etiket = ayda $2.250 ek metrik faturası) ve APM tüm sağlıklı `/healthz` isteklerini indeksliyordu (ayda 120 milyon span = $20.400 indeksleme faturası). Platform ekibi OpenTelemetry Collector kurdu: (1) `magaza_id` etiketini metriklerden elediler, ve (2) Tail-Based Sampling ile hataların %100'ünü, başarılı isteklerin %1'ini indekslediler. Datadog faturası anında $34.000'den $6.800'e geriledi.

İnteraktif Konsept Alıştırmaları

2 Alıştırma
Q1

Datadog'da 'Yüksek Kardinaliteli Özel Metrik' fatura tuzağına ne sebep olur?

Bir metriğe `kullanici_id`, `email` veya `uuid` gibi benzersiz değerler içeren etiketler eklemek; Datadog her 100 tekil kombinasyon için $5,00 kestiği için 100.000 kullanıcı tek başına ayda $5.000 fatura çıkarır.
Q2

OpenTelemetry Collector boru hattında Kuyruk Tabanlı Örnekleme (Tail-Based Sampling) nedir?

Bir dağıtık izin tamamlanmasını bekleyip sonuca göre karar veren örnekleme modelidir; hatalı (5xx) ve yavaş isteklerin %100'ünü saklarken, sıradan başarılı 200 OK isteklerinin %99'unu çöpe atarak tasarruf sağlar.

Gözlemlenebilirlik FinOps'u: Datadog Özel Metrik ve Span İndeksleme Faturaları ve OpenTelemetry Filtreleme — Sıkça Sorulan Sorular

Head-Based (Baştan) Örnekleme ile Tail-Based (Kuyruk Tabanlı) Örnekleme arasındaki fark nedir?

Head-Based örnekleme isteğin başında başarılı mı hatalı mı olacağını bilmeden rastgele yazı-tura atar; Tail-Based örnekleme ise işlemin sonucunu ve süresini görüp hatayı yakaladıktan sonra veriyi APM sağlayıcısına gönderir.

OpenTelemetry Collector sağlayıcı bağımlılığını (vendor lock-in) nasıl engeller?

Uygulama kodu tarafsız OpenTelemetry SDK'sına göre yazılır; gözlemlenebilirlik platformunu değiştirmek (Datadog'dan Grafana/ClickHouse'a geçmek) için sadece toplayıcıdaki tek bir YAML dosyasını güncellemek yeterlidir.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

  • ▸Yüksek kardinaliteli metrik etiketleri (`kullanici_id`) her 100 etiket için $5 gibi devasa fatura tuzakları üretir.
  • ▸Uygulamalar ile ticari APM sağlayıcıları arasına bir OpenTelemetry Collector boru hattı yerleştirin.
  • ▸Hataların %100'ünü saklayıp sağlıklı isteklerin %99'unu elemek için Tail-Based Sampling kullanın.
  • ▸Yüksek kardinaliteli nitelikleri sunucudan çıkmadan kenar toplayıcıda metriklerden temizleyin.

Yaygın Yanılgılar

  • ✗Yanılgı: Datadog APM sadece en faydalı izleri otomatik filtreler (Gerçek: Varsayılan olarak retention filtrelerine uyan her şeyi indeksler ve milyon span başına $1,70 fatura çıkarır).
  • ✗Yanılgı: OpenTelemetry uygulama gecikmesini artırır (Gerçek: OTel SDK'sı telemetriyi bellekte toplar ve mikrosaniyeler içinde asenkron olarak yerel ajana devreder).

Karar Kılavuzu & Önceliklendirme

Kritik hata ayıklama yeteneklerinden ödün vermeden ticari gözlemlenebilirlik faturalarını %60-80 düşürmek için Tail-Based Sampling ve nitelik filtrelemeye sahip bir OpenTelemetry Collector mimarisi kurun.

Doğrulanmış Kaynaklar & Referanslar