Skip to main content

SQL Engine for Data Lakes

Sistem Analizi

Veri ve Depolama

Normal Davranış

Bir veya daha fazla heterojen veri kaynağına dağıtılmış büyük veri kümelerini (data sets) sorgulamak için tasarlanmış dağıtık bir SQL sorgu motoru (SQL query engine).

Çöküş Davranışı

Yük altında istekleri düşürebilir veya bozulmuş moda (degraded mode) geçebilir.

İş Sonuçları

Bir veri gölü (data lake) üzerindeki bir SQL motorunun (Trino veya Presto gibi) arızalanması, devasa nesne depolama (object storage) hazinelerindeki sorgulama yeteneklerini keser. Analitik ardışık düzenleri (analytics pipelines) başarısız olur, ad-hoc iş zekası (BI) sorguları zaman aşımına uğrar ve veri gölü erişilemez bir veri bataklığına (data swamp) dönüşerek kurumsal karar alma mekanizmasını felç eder ve devasa işlem kaynaklarını (compute resources) boşa harcar.

Görsel Tezahür

"'Planlama' ('Planning') aşamasında süresiz olarak takılan sorgular, işçi düğümlerde (worker nodes) devasa bellek yetersizliği (out-of-memory) hataları ve S3 API kısıtlama (throttling) uyarıları."

Satirical Behavior

"A magical engine that lets you write SQL against unstructured CSVs in S3, taking exactly 45 minutes to tell you that there's a typo in row 4,000,000."

Teknik Terminoloji

ScalabilityFault toleranceLatency

Hata Göstergeleri

Crash loopTimeoutDeadlock

Sistem Mimarisi

Click or hover to interact

FAQ

Normalde nasıl davranır?

Bir veya daha fazla heterojen veri kaynağına dağıtılmış büyük veri kümelerini (data sets) sorgulamak için tasarlanmış dağıtık bir SQL sorgu motoru (SQL query engine).

Nasıl çöker?

Yük altında istekleri düşürebilir veya bozulmuş moda (degraded mode) geçebilir.

İş sonuçları nelerdir?

Bir veri gölü (data lake) üzerindeki bir SQL motorunun (Trino veya Presto gibi) arızalanması, devasa nesne depolama (object storage) hazinelerindeki sorgulama yeteneklerini keser. Analitik ardışık düzenleri (analytics pipelines) başarısız olur, ad-hoc iş zekası (BI) sorguları zaman aşımına uğrar ve veri gölü erişilemez bir veri bataklığına (data swamp) dönüşerek kurumsal karar alma mekanizmasını felç eder ve devasa işlem kaynaklarını (compute resources) boşa harcar.

What is a SQL Engine for Data Lakes?

A distributed SQL query engine designed to query large data sets distributed over one or more heterogeneous data sources.

Sistemi keşfet

Incidentpedia'da devam et→Olay Dizinini oku→Stack'leri incele→Konuları keşfet→Bölümleri izle→Ajanlar→

AI özeti

SQL Engine for Data Lakes is a DATA_AND_STORAGE system in TinyCTO.tv. A distributed SQL query engine designed to query large data sets distributed over one or more heterogeneous data sources.