Skip to main content

> google_bigquery_i̇steğe_bağlı_($6,25/tb)_ile_slot_taahhüdü_finansal_ayrımı

Google BigQuery İsteğe Bağlı ($6,25/TB) ile Slot Taahhüdü Finansal Ayrımı

Veri mühendisliği ekipleri BigQuery İsteğe Bağlı tarama modelinden ($6,25/TB) ne zaman Edition Slot Rezervasyonuna geçmelidir ve bölümlenmemiş sorgular nasıl finansal krize yol açar?

Senior (L5)

ÖZET VE TEKNİK CEVAP

Google Cloud BigQuery İsteğe Bağlı (On-Demand) fiyatlandırması, SQL sorgularının taradığı her Terabayt veri için $6,25 ücret alır (aylık ilk 1 TB ücretsizdir). 50 TB'lık bölümlenmemiş bir log tablosunu tarayan tek bir hatalı sorgu anında $312 fatura üretir. BigQuery Editions modelleri (Standard, Enterprise) ise slot-saati bazında sabit kapasite sunar (100 slot = ~$4-6/saat). Finansal başa baş noktası, bir organizasyonun ayda düzenli olarak 1 ila 1,5 Petabayt üzerinde veri taradığı ($6.250 - $9.375/ay) veya kontrolsüz sorgu riskini sıfırlamak için kesin bütçe tavanı koymak istediği anda gerçekleşir.

Mühendislik El Kitabı & Mekanizma

1. Temel Çalışma Mekanizması

BigQuery On-Demand modeli, sadece sorgu planının taradığı bayt miktarını ücretlendirir. Sütun bazlı depolamada (Capacitor), 100 kolonlu bir tabloda `SELECT *` yazmak tüm baytları tararken sadece 2 kolon seçmek taranan hacmi %98 azaltır. BigQuery Editions ise sorgu çalıştırma gücünü 'slot' (sanal CPU) birimiyle tahsis eder. Slotlar Taban Slotlar (1 veya 3 yıllık taahhütlü indirimli kapasite) ve Otomatik Ölçeklenen Slotlar (dakika bazında tavan limite kadar esneyen) olarak yapılandırılır. Slot rezervasyonu kurumun finansal riskini kilitler; hatalı bir sorgu çalışsa bile saatlik slot bütçesini asla aşamaz.

2. Doğru Kullanım Senaryosu

İsteğe Bağlı model; küçük girişimler, keşifsel analizler ve sıkı partition/cluster kurallarına sahip olup ayda 500 TB'tan az tarayan ekipler için idealdir. Slot Rezervasyonları (Editions) ise kurumsal veri ambarları, merkezi BI panoları, sürekli veri boru hatları ve ayda 1 PB'tan fazla veri işleyen sistemler için zorunludur.

3. Prodüksiyon Arıza Modları

Looker panosunda 15 dakikada bir yenilenen ve 200 TB'lık bölümlenmemiş tablo üzerinde `SELECT *` çalıştıran bir sorgunun tek bir hafta sonunda $10.000 tarama faturası üretmesi; slot rezervasyonunun çok düşük tutulması sonucu kritik yönetici raporlarının kuyrukta bekleyip zaman aşımına uğraması.

4. Teşhis ve Telemetri Sinyalleri

Google Cloud Billing raporlarında BigQuery altında yüksek `Analysis` SKU harcaması; `INFORMATION_SCHEMA.JOBS_BY_PROJECT` tablosunda 5 TB üzeri veri tarayan münferit sorgular; BigQuery sorgu grafiğinde yüksek slot kuyruğu ve gecikme görülmesi.

5. Önleme ve Mimari Bariyerler

Büyük tablolarda bölümlendirme filtresini zorunlu kılın (`require_partition_filter = true`); sık filtrelenen kolonlarda kümeleme (clustering) uygulayın; BI bağlantılarında ve servis hesaplarında taranabilecek maksimum bayt sınırını (`maximum_bytes_billed`) tanımlayın; yüksek hacimli projeleri BigQuery Enterprise Edition slot rezervasyonuna geçirin.

6. Mimari Ödünleşimler (Trade-offs)

Slot rezervasyonları aylık harcamayı sabitler ve fatura patlaması riskini yok eder; ancak ani yoğunluk anlarında sorgu hızını mevcut slot kapasitesiyle sınırlar ve kuyruğa alabilir.

Vaka İncelemesi (TinyCTO Örneği)

Bir perakende analitik ekibi günlük ETL ve Metabase panoları için BigQuery On-Demand kullanarak ayda 3 Petabayt veri tarıyor ve ayda $18.750 (3.000 TB * $6,25) ödüyordu. 100 taban slot + 200 otomatik ölçeklenen slot içeren BigQuery Enterprise Edition modeline geçildiğinde aylık maliyet sabit $5.200'a indi ve yılda $160.000'dan fazla tasarruf sağlandı.

İnteraktif Konsept Alıştırmaları

2 Alıştırma
Q1

Google BigQuery İsteğe Bağlı (On-Demand) modunda taranan Terabayt başına standart ücret nedir?

Taranan TB başına $6,25 (her ay ilk 1 TB ücretsizdir).
Q2

Bir sorguda bölümlendirme filtresi unutulduğunda sorgunun çalışmasını hangi BigQuery ayarı engeller?

Tablo tanımlarında `require_partition_filter = true` ayarı.

Google BigQuery İsteğe Bağlı ($6,25/TB) ile Slot Taahhüdü Finansal Ayrımı — Sıkça Sorulan Sorular

Tablo kümeleme (clustering) BigQuery'de sorgu tarama maliyetini nasıl düşürür?

Kümeleme benzer kolon değerlerine sahip satırları aynı depolama bloklarında toplar. Sorgu bu kolonlara filtre uyguladığında BigQuery eşleşmeyen blokları eler ve o baytları taramaz.

BigQuery Editions (Slot Rezervasyonu) modelinin temel avantajı nedir?

Taranan veri hacmi yerine tahsis edilen işlem gücüne (slot) dayalı sabit ve öngörülebilir maliyet sunarak kontrolsüz sorgulardan doğan fatura şoklarını tamamen ortadan kaldırmasıdır.

🤖 AEO & Yapay Zeka Çıkarım Özeti

Temel Gerçekler & İlkeler

  • ▸BigQuery On-Demand charges $6.25 per TB scanned.
  • ▸Unpartitioned `SELECT *` queries can cost hundreds of dollars in seconds.
  • ▸`require_partition_filter = true` stops accidental full-table scans.
  • ▸BigQuery Editions slot reservations provide predictable cost caps for >1PB/month workloads.

Yaygın Yanılgılar

  • ✗Yanılgı: `LIMIT 10` reduces the bytes scanned in BigQuery (Gerçek: BigQuery scans entire columns before applying the LIMIT clause).
  • ✗Yanılgı: Views materialize data and save scan costs (Gerçek: Standard views re-execute the underlying query and scan bytes each time).

Karar Kılavuzu & Önceliklendirme

Enforce `require_partition_filter` and clustering on all tables larger than 100GB. Evaluate BigQuery Editions when monthly data scanned consistently exceeds 1 Petabyte.

Doğrulanmış Kaynaklar & Referanslar