Skip to main content

> veri_ambarı_slot_taahhütleri_vs._i̇steğe_bağlı_sorgu_fiyatlandırması

Veri Ambarı Slot Taahhütleri vs. İsteğe Bağlı Sorgu Fiyatlandırması

Bulut veri ambarlarında (BigQuery, Snowflake, Redshift) bölümlenmemiş sorgular ve bilinçsiz isteğe bağlı fiyatlandırma bir gecede nasıl beş haneli fatura felaketlerine yol açar?

Stack: FINOPS INFRASTRUCTURE STACK →Staff (L6-L7)tradeoff

ÖZET VE TEKNİK CEVAP

İsteğe bağlı veri ambarları taranan bayt üzerinden fatura keser (BigQuery'de 6,25$/TB); 500 TB'lık bir tabloda tek bir filtresiz sorgu 3.125$ tutar. Yoğun analitik iş yüklerini sabit slot taahhütlerine (veya otomatik durdurmalı Snowflake ambarlarına) geçirmek harcamaları deterministik olarak sınırlar.

Mühendislik El Kitabı & Mekanizma

1. Temel Çalışma Mekanizması

Bulut veri ambarları işlem gücü ile depolamayı ayırır. İsteğe Bağlı (On-Demand) modelde sorgu motorunun okuduğu her gigabayt için ödeme yapılır (TB başına 6,25$). Kapasite/Editions modelinde ise isteğe göre ölçeklenen sabit işlem birimleri ('Slot') kiralanır. Tabloları tarihe göre bölümlemek (partitioning) ve sütunlara göre kümelemek (clustering) sorguların sadece ilgili kısımları taramasını sağlayarak veri hacmini ve maliyeti %99'a kadar düşürür.

2. Doğru Kullanım Senaryosu

Petabayt ölçeğinde veri platformları, dbt dönüşüm boru hatları ve iş zekası (BI) panelleri işleten tüm veri mühendisliği ekipleri için zorunludur.

3. Prodüksiyon Arıza Modları

Bir analist Looker'ı 200 TB'lık bölümlenmemiş bir log tablosuna bağlar ve paneli 60 saniyede bir otomatik yenilemeye ayarlar. 24 saat içinde 1.440 sorgu çalışır, 288 Petabayt veri taranır ve ay sonunda 1.8 Milyon Dolarlık dev bir BigQuery faturası çıkar.

4. Teşhis ve Telemetri Sinyalleri

1. BigQuery `INFORMATION_SCHEMA` sorgularında tek bir sorgunun >10 TB veri taradığının görülmesi. 2. Auto-suspend kapalı olduğu için Snowflake kredi tüketiminin hafta sonları bile hiç düşmemesi. 3. Veri ambarı faturasının tüm canlı uygulama sunucu giderlerini geride bırakması.

5. Önleme ve Mimari Bariyerler

1. Tüm büyük tablolarda bölümleme filtresini zorunlu kılın (`require_partition_filter = true`). 2. BigQuery'de sorgu başına maksimum faturalanan bayt sınırı koyun (`maximum_bytes_billed = 1 TB`). 3. Snowflake ambarlarında `AUTO_SUSPEND = 60` saniye ayarlayın. 4. Düzenli ETL işlerini sabit BigQuery Slot taahhütlerine taşıyın.

6. Mimari Ödünleşimler (Trade-offs)

Slot taahhütleri ani yüklerde sorguların kuyrukta beklemesine yol açabilir; buna karşılık %100 bütçe öngörülebilirliği sağlar ve binlerce dolarlık kontrolden çıkmış sorgu felaketlerine karşı tam koruma sunar.

Vaka İncelemesi (TinyCTO Örneği)

TinyCTO'nun veri ekibi dbt boru hatları yüzünden BigQuery On-Demand modelinde ayda 42.000 dolar harcıyordu. Tablolar günlük bölümlendi, `tenant_id` sütununa göre kümelendi ve 200 adet BigQuery Standard Edition slot taahhüdü alındı. Taranan veri %84 azaldı ve aylık harcama 9.400 dolara geriledi (yılda 391.200$ tasarruf).

İnteraktif Konsept Alıştırmaları

3 Alıştırma
Q1

Google BigQuery isteğe bağlı (On-Demand) sorgu standart birim fiyatı nedir?

Sorgu motoru tarafından taranan Terabayt (TB) veri başına 6,25$'dır.
Q2

Tablo bölümleme (partitioning) veri ambarı maliyetlerini nasıl düşürür?

Veriyi anahtarlara (tarih) göre fiziksel olarak ayırır; filtre içeren sorgular tüm geçmiş tablo yerine sadece ilgili bölümü tarar.
Q3

Maliyet verimliliği için önerilen Snowflake `AUTO_SUSPEND` süresi nedir?

60 saniye (1 dakika); böylece sorgu biter bitmez sunucular kredi yakmayı hemen durdurur.

Veri Ambarı Slot Taahhütleri vs. İsteğe Bağlı Sorgu Fiyatlandırması — Sıkça Sorulan Sorular

BigQuery'de `require_partition_filter = true` ayarı ne işe yarar?

Bölümlenmiş sütun üzerinde WHERE filtresi içermeyen sorguların çalışmasını tamamen engelleyerek kazara tüm tablonun taranmasını önler.

BigQuery Slot'ları ile On-Demand modeli arasındaki fark nedir?

On-Demand okunan bayt başına fatura keser ($6,25/TB); Slot'lar ise taranan bayttan bağımsız olarak kiralanan saatlik sanal CPU gücüne göre faturalanır.

Tablo kümeleme (clustering) tablo bölümlemeyi (partitioning) nasıl tamamlar?

Bölümleme veriyi ana dilimlere (günler) ayırır; kümeleme ise her dilim içindeki veriyi belirli sütunlara (`user_id`) göre sıralayarak mikro düzeyde blok atlamayı sağlar.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

  • ▸Petabayt ölçeğindeki isteğe bağlı veri ambarlarında tek bir filtresiz sorgu binlerce dolara mal olup ekip bütçesini batırabilir.
  • ▸`maximum_bytes_billed` ve `require_partition_filter` kurallarını zorunlu kılmak, felaket boyutundaki kontrolsüz sorgu faturalarını %100 engeller.

Yaygın Yanılgılar

  • ✗Sütun tabanlı motorların açık bir bölümleme ve kümeleme olmadan sorguları kendiliğinden en ucuz şekilde optimize edeceğine inanmak.

Karar Kılavuzu & Önceliklendirme

1 TB üzeri tüm tablolarda bölümleme filtresini zorunlu kılın, Snowflake'te `AUTO_SUSPEND = 60` ayarlayın ve yoğun ETL işlerini BigQuery Slot taahhütlerine geçirin.

Doğrulanmış Kaynaklar & Referanslar