Skip to main content

> STREAMING_LOGS // Quorum // CP

Çok-Kiracılı Katmanlı Depolama Olay Akışı (Apache Pulsar)

Sonsuz saklama ve milyonlarca konu için Apache Pulsar brokerları ve Apache BookKeeper ledgerlarını ayıran ayrık hesaplama-ve-depolama mimarisi.

Genel BakışCAP & PACELCMimariler18Topoloji SihirbazıInteractiveKılavuzlar10Karşılaştırma Matrisi22
Tüm Dağıtık Mimarilere Dön
CAP: CPPACELC: PC/ECConsensus: Quorum

Mimarî Problem ve Çözüm Hipotezi

Monolitik brokerlar bölüm depolamayı broker işlemcisiyle bağlar; disk sınırına ulaşıldığında pahalı küme rebalance ve bölüm taşımalarına yol açar.

Resmi Dağıtık Sistem Garantileri

  • ⚡Instant partition rebalancing (BookKeeper segment handoff)
  • ⚡Native multi-tenancy with strict tenant rate quotas
  • ⚡Native tiered storage streaming direct to Parquet/Iceberg

Ele Alınan Hata Tipleri

DS-FAIL-03: Unbounded Consumer Lag Spiral
DS-FAIL-12: Hot Partition Skew
Ham Döküm & İndirmeHam Markdown Görüntüle

3 Ölçek ve Olgunluk Konfigürasyonu

Başlangıç kümesinden multi-datacenter ultra-ölçek seviyesine kadar kademeli üretim konfigürasyonları.

INITIAL TIER
Verim Hedefi:

20,000 msg/sec

p99 Gecikme:

< 25ms

Teslimat Garantisi:

At-Least-Once Delivery

Altyapı Topolojisi:

3 broker pods + 3 BookKeeper bookie pods.

Bileşen Yığını:
Apache PulsarApache BookKeeperZooKeeper / KRaft
⚠️ Operasyonel Ödünleşim: Dual-layer operations (managing both brokers and bookies).
SCALED TIER
Verim Hedefi:

350,000 msg/sec

p99 Gecikme:

< 6ms

Teslimat Garantisi:

Strict Deduplication (Broker Deduplication Engine)

Altyapı Topolojisi:

6 stateless brokers + 12 bookies with dedicated journal and ledger NVMe disks.

Bileşen Yığını:
Apache PulsarApache BookKeeperPulsar FunctionsGrafana
⚠️ Operasyonel Ödünleşim: Higher component operational complexity.
ULTRA_SCALE TIERMISSION CRITICAL
Verim Hedefi:

2,000,000 msg/sec

p99 Gecikme:

< 3.2ms

Teslimat Garantisi:

Global Geo-Replication across 3 Continents with Automatic Failover

Altyapı Topolojisi:

Multi-datacenter mesh across US, EU, and APAC with asynchronous geo-replication.

Bileşen Yığını:
Pulsar MeshBookKeeper AutorecoveryApache Iceberg SinkS3 Tiered Storage
⚠️ Operasyonel Ödünleşim: Cross-continental network latency on geo-replicated namespaces.

Altyapı Kodları: Terraform, Kubernetes & Motor Konfigürasyonları

Doğrudan üretim kümelerine uygulanabilir doğrulukta açık kaynak altyapı otomasyon manifestoları.

Terraform (HCL)main.tf
resource "helm_release" "pulsar" {
  name       = "pulsar"
  repository = "https://pulsar.apache.org/charts"
  chart      = "pulsar"
  version    = "3.3.x"

  values = [
    file("${path.module}/pulsar-production-values.yaml")
  ]
}
Kubernetes (YAML)k8s-manifest.yaml
apiVersion: pulsar.apache.org/v1alpha1
kind: PulsarCluster
metadata:
  name: pulsar-mesh
spec:
  broker:
    replicas: 6
  bookkeeper:
    replicas: 12
    journal:
      volumeSize: 200Gi
    ledgers:
      volumeSize: 1000Gi
Engine Configurationconfig.properties
managedLedgerDefaultEnsembleSize=3
managedLedgerDefaultWriteQuorum=3
managedLedgerDefaultAckQuorum=2
brokerDeduplicationEnabled=true
managedLedgerOffloadDriver=aws-s3
s3ManagedLedgerOffloadBucket=tinycto-pulsar-offload
Yapay Zekâ Özeti — Çok-Kiracılı Katmanlı Depolama Olay Akışı (Apache Pulsar)
AEO / GEO / Perplexity Indexable

Sonsuz saklama ve milyonlarca konu için Apache Pulsar brokerları ve Apache BookKeeper ledgerlarını ayıran ayrık hesaplama-ve-depolama mimarisi.

CAP & PACELC TeoremleriCAP: CP // PACELC: PC/EC
Uzlaşı ProtokolüQuorum
Ultra-Ölçek Verimi2,000,000 msg/sec (< 3.2ms)
Ele Alınan Hata ModlarıDS-FAIL-03: Unbounded Consumer Lag Spiral; DS-FAIL-12: Hot Partition Skew

Mimarî Plan Sıkça Sorulan Sorular

Çok-Kiracılı Katmanlı Depolama Olay Akışı (Apache Pulsar) mimarisinin CAP ve PACELC teoremleri altındaki matematiksel sınıflandırması nedir?

Çok-Kiracılı Katmanlı Depolama Olay Akışı (Apache Pulsar), CAP teoreminde CP ve PACELC teoreminde PC/EC olarak modellenmiştir. Ağ bölünmesi (Partition) durumunda tutarlılık (Consistency) önceliklendirilirken, normal çalışma durumunda gecikme ile tutarlılık dengesi korunur.

Bu mimari hangi dağıtık uzlaşı protokolünü (Quorum) kullanır ve lider seçimi nasıl işler?

Bu mimari Quorum protokolünü kullanır. Düğümler arası durum çoğaltması (state replication) ve liderlik seçimi çoğunluk oyu (quorum) ile garanti altına alınır; bölünmüş beyin (split-brain) durumu monotonik dönem numaraları (epoch/term) ve fencing belirteçleriyle engellenir.

Bu mimari hangi dağıtık hata modlarını (Failure Modes) bertaraf eder?

Bu mimari şu kritik dağıtık sistem arızalarını ele alır: DS-FAIL-03: Unbounded Consumer Lag Spiral, DS-FAIL-12: Hot Partition Skew. Sistem veri kaybı olmadan otomatik hata devri ve durumsal yakınsama sağlar.

INITIAL ile ULTRA_SCALE seviyeleri arasındaki verim (Throughput) ve p99 gecikme farkları nelerdir?

INITIAL seviyesi 20,000 msg/sec hedefi ve < 25ms p99 gecikmesi sağlarken (3 broker pods + 3 BookKeeper bookie pods.), ULTRA_SCALE seviyesi 2,000,000 msg/sec ve < 3.2ms sunar (Multi-datacenter mesh across US, EU, and APAC with asynchronous geo-replication.). Bileşenler: Pulsar Mesh, BookKeeper Autorecovery, Apache Iceberg Sink, S3 Tiered Storage.

Bu mimari Altyapı Kodu (IaC) ve motor ayarlarıyla nasıl devreye alınır?

Bu sayfada sunulan Terraform (main.tf), Kubernetes dağıtım bildirimleri (k8s-manifest.yaml) ve motor konfigürasyon parametreleri (config.properties) doğrudan üretime hazır olarak sağlanmıştır.