Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Il materiale su Airflow parte da quattro proprietà che ogni DAG deve rispettare — idempotenza, atomicità, incrementalità e osservabilità — e dalle impostazioni di retry che ne derivano, incluso il backoff esponenziale con un ritardo massimo limitato. L'ottimizzazione di Spark supera i consigli generici e affronta il problema che blocca davvero i job: lo sbilanciamento dei dati, gestito con salting, broadcast join e adaptive query execution anziché aumentando la memoria degli executor. I controlli di qualità associano ogni dimensione a specifiche asserzioni di Great Expectations e test dbt, così completezza e tempestività diventano verifiche definite nella CI anziché concetti su una slide. Due agenti e due comandi coprono il lavoro circostante, dalla progettazione del data warehouse alla distribuzione di una funzionalità che richiede una nuova pipeline.