Geliştiriciler yüksek kardinaliteli özel metrikler (100 metrik başına $5) veya indeksli APM span'leri (milyon başına $1,70) bastığında Datadog faturası neden kontrolden çıkar; OpenTelemetry Collector boru hattı bu telemetriyi göndermeden önce nasıl filtreler ve örnekler?

Datadog, New Relic ve Dynatrace gibi ticari SaaS gözlemlenebilirlik platformları kontrolsüz telemetri için ağır faturalar keser: (1) **Özel Metrik Vergisi**: Datadog her 100 özel metrik etiketi kombinasyonu için **ayda $5,00** ücret alır. Bir geliştirici metriğe `kullanici_id` veya `siparis_uuid` gibi yüksek kardinaliteli (high-cardinality) bir etiket eklerse, 100.000 farklı kullanıcı tek bir satır kod yüzünden **ayda $5.000 ek metrik faturası** üretir. (2) **APM Span İndeksleme Vergisi**: APM izlerini toplamak milyon başına $0,10 iken, **arama için indekslemek milyon başına $1,70 ek ücret** yaratır. (3) **Log İndeksleme**: Log toplamak $0,10/GB iken 15 günlük indeksleme **milyon log başına $1,70'tir**. Canlı FinOps mimarileri uygulama kodu ile Datadog arasına **Şirket İçi OpenTelemetry (OTel) Collector Boru Hattı** kurar: (1) **Kuyruk Tabanlı Örnekleme (Tail-Based Sampling)** (HTTP 5xx hatalarının %100'ünü, başarılı 200 OK isteklerinin sadece %1'ini indekslemek), (2) Yüksek kardinaliteli etiketleri sunucudan çıkmadan temizlemek, ve (3) Metrikleri göndermeden önce yerel olarak toplulaştırmak (pre-aggregate)—bu sayede gözlemlenebilirlik faturası **%60 ila %80 oranında düşürülür**.

Gözlemlenebilirlik FinOps'u: Datadog Özel Metrik ve Span İndeksleme Faturaları ve OpenTelemetry Filtreleme

Staff/Principal (L6+)

⚡ÖZET VE TEKNİK CEVAP

Datadog, New Relic ve Dynatrace gibi ticari SaaS gözlemlenebilirlik platformları kontrolsüz telemetri için ağır faturalar keser:

Özel Metrik Vergisi: Datadog her 100 özel metrik etiketi kombinasyonu için ayda 5,00 ücret alır. Bir geliştirici metriğe kullanici_id veya siparis_uuid gibi yüksek kardinaliteli (high-cardinality) bir etiket eklerse, 100.000 farklı kullanıcı tek bir satır kod yüzünden ayda 5.000 ek metrik faturası üretir.

APM Span İndeksleme Vergisi: APM izlerini toplamak milyon başına 0,10 iken, arama için indekslemek milyon başına 1,70 ek ücret yaratır.

Log İndeksleme: Log toplamak 0,10/GB iken 15 günlük indeksleme milyon log başına 1,70'tir. Canlı FinOps mimarileri uygulama kodu ile Datadog arasına Şirket İçi OpenTelemetry (OTel) Collector Boru Hattı kurar:

Kuyruk Tabanlı Örnekleme (Tail-Based Sampling) (HTTP 5xx hatalarının %100'ünü, başarılı 200 OK isteklerinin sadece %1'ini indekslemek),

Yüksek kardinaliteli etiketleri sunucudan çıkmadan temizlemek, ve

Metrikleri göndermeden önce yerel olarak toplulaştırmak (pre-aggregate)—bu sayede gözlemlenebilirlik faturası %60 ila %80 oranında düşürülür.

Mühendislik El Kitabı & Mekanizma

6 Boyutlu Mimari Analiz

⚙️1. Temel Çalışma Mekanizması

Mekanizma

OpenTelemetry Collector maliyet optimizasyonu bildirimsel işleme boru hatlarıyla çalışır:

Nitelik Filtreleme (Attribute Processor): kullanici_id, email, kart_no gibi yasaklı yüksek kardinaliteli etiketleri metriklerden sunucuda temizler.

Kuyruk Tabanlı Örnekleme (Tail-Based Sampling): Dağıtık izin tamamını inceledikten sonra karar verir: İstek HTTP 5xx hatası almışsa veya süresi 2 saniyeyi aşmışsa %100 oranında Datadog'a gönderir; başarılı 200 OK isteklerinin yalnızca %0,5'ini iletir.

Yerel Toplulaştırma: Saniyelik sayaçları 60 saniyelik özetlere indirger.

Çift Çıkış (Dual Export): Alarm gereken kritik verileri Datadog'a gönderirken, tüm ham debug izlerini şirket içi ucuz Jaeger / S3 deposuna akıtır.

🎯2. Doğru Kullanım Senaryosu

Kapsam

Yüksek verimli mikroservis altyapıları (saniyede 10.000+ istek), milyonlarca tekil kullanıcıya hizmet veren kurumsal SaaS platformları ve Datadog faturası tavan yapmış şirketler.

⚠️3. Prodüksiyon Arıza Modları

Kritik Risk

✓
Datadog özel metriklerine kullanıcı e-postası veya UUID ekleyip tek ayda $30.000 aşım faturası yemek
✓
baştan rastgele örnekleme (head-based) yapıp en kritik 500 hatalarının trace izlerini çöpe atmak

📡4. Teşhis ve Telemetri Sinyalleri

Metrikler

✓
Datadog Kullanım panelinde 'Custom Metrics' veya 'Indexed Spans' kotalarının %300 aşıldığının görülmesi
✓
ay sonunda gelen beklenmedik Datadog fatura şokları
✓
metrik sayısının neden arttığının bilinmemesi

🛡️5. Önleme ve Mimari Bariyerler

Bariyerler

✓
Uygulamalar ile ticari APM sağlayıcıları arasına mutlaka bir OpenTelemetry Collector ağ geçidi yerleştirin
✓
Datadog'da etiket beyaz listesi (Metrics without Limits) uygulayın
✓
hata odaklı Kuyruk Tabanlı Örnekleme (Tail-Based Sampling) kurun

⚖️6. Mimari Ödünleşimler (Trade-offs)

Ödünleşim

OpenTelemetry boru hatları gözlemlenebilirlik faturalarını %60-80 azaltır ve sağlayıcı bağımlılığını yok eder; ancak şirket içinde toplayıcı (collector) konteynerlerinin bakımını yapmayı gerektirir.

📋

Vaka İncelemesi (TinyCTO Saha Örneği)

GERÇEK DÜNYA TELEMETRİSİ

Bir finans şirketinin Datadog faturası 30 gün içinde ayda 8.000'den 34.000'e fırladı. Yapılan incelemede iki suçlu bulundu: Bir geliştirici ödeme metriğine magaza_id etiketi eklemişti (45.000 tekil etiket = ayda 2.250 ek metrik faturası) ve APM tüm sağlıklı /healthz isteklerini indeksliyordu (ayda 120 milyon span = 20.400 indeksleme faturası). Platform ekibi OpenTelemetry Collector kurdu:

magaza_id etiketini metriklerden elediler, ve

Tail-Based Sampling ile hataların %100'ünü, başarılı isteklerin %1'ini indekslediler. Datadog faturası anında 34.000'den 6.800'e geriledi.

İnteraktif Konsept Alıştırmaları

2 Alıştırma

Datadog'da 'Yüksek Kardinaliteli Özel Metrik' fatura tuzağına ne sebep olur?

Bir metriğe `kullanici_id`, `email` veya `uuid` gibi benzersiz değerler içeren etiketler eklemek; Datadog her 100 tekil kombinasyon için $5,00 kestiği için 100.000 kullanıcı tek başına ayda $5.000 fatura çıkarır.

OpenTelemetry Collector boru hattında Kuyruk Tabanlı Örnekleme (Tail-Based Sampling) nedir?

Bir dağıtık izin tamamlanmasını bekleyip sonuca göre karar veren örnekleme modelidir; hatalı (5xx) ve yavaş isteklerin %100'ünü saklarken, sıradan başarılı 200 OK isteklerinin %99'unu çöpe atarak tasarruf sağlar.

Gözlemlenebilirlik FinOps'u: Datadog Özel Metrik ve Span İndeksleme Faturaları ve OpenTelemetry Filtreleme — Sıkça Sorulan Sorular

Head-Based (Baştan) Örnekleme ile Tail-Based (Kuyruk Tabanlı) Örnekleme arasındaki fark nedir?

Head-Based örnekleme isteğin başında başarılı mı hatalı mı olacağını bilmeden rastgele yazı-tura atar; Tail-Based örnekleme ise işlemin sonucunu ve süresini görüp hatayı yakaladıktan sonra veriyi APM sağlayıcısına gönderir.

OpenTelemetry Collector sağlayıcı bağımlılığını (vendor lock-in) nasıl engeller?

Uygulama kodu tarafsız OpenTelemetry SDK'sına göre yazılır; gözlemlenebilirlik platformunu değiştirmek (Datadog'dan Grafana/ClickHouse'a geçmek) için sadece toplayıcıdaki tek bir YAML dosyasını güncellemek yeterlidir.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

▸
Yüksek kardinaliteli metrik etiketleri (kullanici_id) her 100 etiket için $5 gibi devasa fatura tuzakları üretir.
▸
Uygulamalar ile ticari APM sağlayıcıları arasına bir OpenTelemetry Collector boru hattı yerleştirin.
▸
Hataların %100'ünü saklayıp sağlıklı isteklerin %99'unu elemek için Tail-Based Sampling kullanın.
▸
Yüksek kardinaliteli nitelikleri sunucudan çıkmadan kenar toplayıcıda metriklerden temizleyin.

Yaygın Yanılgılar

✗
Yanılgı: Datadog APM sadece en faydalı izleri otomatik filtreler (Gerçek: Varsayılan olarak retention filtrelerine uyan her şeyi indeksler ve milyon span başına $1,70 fatura çıkarır).
✗
Yanılgı: OpenTelemetry uygulama gecikmesini artırır (Gerçek: OTel SDK'sı telemetriyi bellekte toplar ve mikrosaniyeler içinde asenkron olarak yerel ajana devreder).

Karar Kılavuzu & Önceliklendirme

Kritik hata ayıklama yeteneklerinden ödün vermeden ticari gözlemlenebilirlik faturalarını %60-80 düşürmek için Tail-Based Sampling ve nitelik filtrelemeye sahip bir OpenTelemetry Collector mimarisi kurun.

Doğrulanmış Kaynaklar & Referanslar

[OFFICIAL_DOCUMENTATION]OpenTelemetry Collector: Tail-Based Sampling Processor Architecture & Cost Control— Cloud Native Computing Foundation (CNCF / OpenTelemetry)

Bu sayfadaki teknik terimler

Telemetry Observability