> tpl_aim_009
Veri Kalitesi Planı, Kurallar Kütüğü ve Puan Kartı
6 temel boyutu (Eksiksizlik, Benzersizlik, Tazelik, Geçerlilik, Doğruluk, Tutarlılık), otomatik doğrulama kurallarını ve eşik puan kartlarını belirleyen kapsamlı veri kalitesi mühendisliği standardı.
6 DAMA boyutu genelinde Great Expectations test kurallarını, anomali uyarı eşiklerini ve iş etkisi puan kartlarını tanımlayan otomatik veri kalitesi şartnamesi.
Önemli Teknik Doküman Şablonu ve Hukuki Uyarı
TinyCTO.tv Teknik Doküman Şablon Bildirimi: Bu şablon genel eğitim ve operasyon amaçlı bir başlangıç materyalidir. Hukuki, vergisel, muhasebesel, yatırım, satın alma, mevzuat, güvenlik veya sertifikasyon danışmanlığı değildir. Gereklilikler ülkeye, kuruma, sözleşmeye ve riske göre değişir. Kullanmadan önce yetkin uzmanlarla gözden geçirip uyarlayın.
Çözülen Üretim Problemi
Sessiz veri bozulmaları, yinelenen anahtarlar, zorunlu alanlardaki boşluklar ve geciken veri hatları veri ambarlarını fark edilmeden kirletir; bu durum yöneticilerin hatalı raporlara dayalı yanlış kararlar almasına neden olur.
Ne Zaman Kullanılmalı?
- •dbt veya Great Expectations test paketlerinde otomatik veri kalitesi testleri kurarken
- •Kurumsal veri yönetişimi için aylık veri kalitesi puan kartlarını ölçüp yayınlarken
- •Hata oranları fırladığında veri alımını durduran devre kesicileri (circuit breakers) yapılandırırken
Ne Zaman Kullanılmamalı?
- •Veri boru hatlarını değerlendirmeyen genel yazılım birim testlerinde
- •Veri kümesi incelemesi içermeyen ağ gecikmesi performans izlemelerinde
5 Şablon Bölümü ve Yapısal İskelet
Eksiksizlik, Benzersizlik, Tazelik, Geçerlilik, Doğruluk ve Tutarlılık matematiksel tanımları.
Great Expectations / Soda test kuralları: not_null, unique, accepted_values, relationships ve hacim eşikleri.
Satır sayısı anomalisi tespiti, istatistiksel dağılım kayması (Z-score) ve boru hattı otomatik durdurma mantığı.
Ağırlıklı genel veri sağlık endeksi, alan bazında puan kartı dağılımı ve SLA başarı oranı takibi.
Önem dereceleri (P1-P4), kök neden analizi protokolü, sahip eskalasyon yolları ve çözüm süreleri.
Doldurma ve Uygulama Yönergeleri
Bağımsız İnceleme ve Onay Kontrol Listesi
- Tüm zorunlu bölümler dolduruldu
- Gizli anahtar veya parola içermiyor
- Yönetici sponsor onayı alındı
Veri Kalitesi Planı, Kurallar Kütüğü ve Puan Kartı - Örnek Vaka Analizi
Örnek Organizasyon: OmniHealth Hasar Alımı ve Analitik Veri Hattı
OmniHealth Hasar Alımı ve Analitik Veri Hattı için eksiksiz operasyonel uygulamayı gösteren gerçek dünya vaka analizi.
- •Tüm 6 DAMA boyutu genelinde 120 otomatik Great Expectations kuralı yapılandırdı
- •Otomatik devre kesicileri tetikleyerek 2.1 milyon dolarlık hatalı sigorta tazminatı ödemesini engelledi
- •18 kurumsal ambar veri reyonunda (mart) %99.4 genel veri kalitesi endeks puanına ulaştı
Sıkça Sorulan Sorular
DAMA Veri Kalitesinin 6 Boyutu nedir?
6 temel boyut şunlardır: Eksiksizlik (eksik veri olmaması), Benzersizlik (mükerrer kayıt bulunmaması), Tazelik (zamanında teslim), Geçerlilik (biçim/tip uyumu), Doğruluk (gerçek dünya olgusuyla uyum) ve Tutarlılık (sistemler arası uyum).
Bir veri boru hattı devre kesicisi (circuit breaker) tüketicileri nasıl korur?
Otomatik testler yüksek bir hata oranı tespit ettiğinde (örn. customer_id alanında %10 boş değer), devre kesici üretime aktarımı durdurarak önceki günün geçerli verilerini korur.
Bu Veri Kalitesi Planı ile en iyi entegre olan açık kaynaklı araçlar hangileridir?
Great Expectations, Soda Core, dbt-expectations ve Elementary, bu şartnamede tanımlanan kuralların kod tabanlı otomatik yürütülmesini eksiksiz destekler.
Teknik Doküman Şablon Paketi
Giriş GerekliTüm boş şablonları, işlenmiş senaryoları ve doğrulama manifestolarını tek bir arşivde indirin.
Yetkili Standartlar ve Kaynaklar
- DAMA 6 Dimensions of Data Quality FrameworkDAMA UK • OFFICIAL REQUIREMENT
- ISO 8000 Data Quality StandardsISO • OFFICIAL REQUIREMENT