Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Airflow bölümü bir DAG'ın taşıması gereken dört özellikten başlıyor — aynı sonucu veren, bütünüyle başarılı ya da başarısız, artımlı, gözlemlenebilir — ve bunlardan çıkan yeniden deneme varsayılanlarını veriyor; üstel bekleme ve tavanı belirlenmiş gecikme dahil. Spark tarafı genel tavsiyeyi aşıp işleri asıl tıkayan soruna giriyor: veri çarpıklığı. Çözüm executor belleğini artırmak değil; tuzlama, yayın birleştirmeleri ve uyarlamalı sorgu yürütme. Kalite kontrolleri boyut boyut somut Great Expectations kurallarına ve dbt testlerine bağlanmış, böylece "eksiksizlik" ya da "güncellik" sunum maddesi olmaktan çıkıp CI'da adı olan bir denetime dönüşüyor. İki ajan ve iki komut çevredeki işi tamamlıyor: ambar tasarımından yeni bir hatta dayanan özelliğin yayına alınmasına kadar.