> STREAMING
Serverless Data Lakehouse on Apache Iceberg & Athena
Apache Iceberg açık tablo formatı, AWS S3 ve sunucusuz sorgu motorları (Athena/DuckDB) kullanan sıfır küme yönetimli veri ambarı mimarisi.
Matematiksel Başabaş Eğrisi ve Geçiş Noktası
Toplu analitik ve günlük 5.000 sorgunun altındaki BI sorgularında idealdir. Günde 20.000 sorgunun üzerinde ClickHouse veya StarRocks %60 daha ucuzdur.
3 Olgunluk Seviyesi ve Dağıtım Spesifikasyonları
Prototip aşamasından hiper-ölçekli kurumsal dağıtıma kadar bileşenler ve maliyet basamakları
1. Prototip / Erken Aşama100 GB - 1 TB stored data
$25 - $150 / mo
$0.005 / TB scanned
Teknoloji Yığını:
- S3 Standard Storage
- Apache Iceberg (Parquet formatted)
- AWS Athena (Serverless SQL)
Maliyet Dağıtım Stratejisi:Athena Workgroup Tagging
Otomatik Ölçeklendirme:Native Athena Serverless Capacity
2. Canlı Üretim Ortamı5 TB - 50 TB stored data
$250 - $1,800 / mo
$0.0035 / TB scanned (Partition pruned)
Teknoloji Yığını:
- S3 Intelligent-Tiering
- Iceberg with compaction lambdas
- Athena Workgroups with per-query limits
Maliyet Dağıtım Stratejisi:Cost Allocation per Athena Workgroup & Team
Otomatik Ölçeklendirme:Serverless Auto-Partitioning
3. Yüksek Hacimli Kurumsal100 TB - 1 PB stored data
$1,800 - $9,500 / mo
$0.002 / TB scanned
Teknoloji Yığını:
- S3 Express One Zone (hot tier) + Glacier (cold)
- Apache Iceberg with DuckDB cache
- Athena Provisioned Capacity
Maliyet Dağıtım Stratejisi:Enterprise Data Mesh Cost Allocation
Otomatik Ölçeklendirme:Athena Reserved DPU Pools
Birincil Maliyet Sürücüleri
- •Athena Data Scanned ($5.00/TB scanned)
- •S3 GET/PUT API request calls
- •S3 Storage volume
İsraf Açıkları
- •Running SELECT * queries without partition filtering scanning full petabytes
- •Small file problem causing excessive S3 API call costs
İyileştirme Yönergeleri
- •Enforce Iceberg automatic file compaction
- •Set Athena workgroup data scan limits (e.g. max 10GB per query)
- •Convert all tables to Parquet with Snappy/ZSTD