Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Le contenu Airflow part de quatre exigences pour un DAG — idempotence, atomicité, traitement incrémental et observabilité — puis en déduit les paramètres de nouvelle tentative, dont un délai exponentiel plafonné. L’optimisation Spark traite notamment l’asymétrie des données avec le salage, les jointures par diffusion et l’exécution adaptative des requêtes, plutôt qu’en augmentant simplement la mémoire des exécuteurs. Les contrôles de qualité associent chaque dimension à des assertions Great Expectations et à des tests dbt concrets, tandis que deux agents et deux commandes couvrent le travail allant de la conception de l’entrepôt au déploiement d’une fonctionnalité nécessitant un nouveau pipeline.