Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

El material de Airflow parte de cuatro propiedades que debe cumplir un DAG —ser idempotente, atómico, incremental y observable— y define los valores de reintento que se derivan de ellas, incluido el retroceso exponencial con un límite máximo. La optimización de Spark aborda el sesgo de datos que bloquea trabajos mediante salting, broadcast joins y ejecución adaptativa de consultas, en vez de limitarse a aumentar la memoria de los ejecutores. Los controles de calidad asignan cada dimensión a aserciones concretas de Great Expectations y pruebas de dbt, para que aspectos como la completitud o la puntualidad se conviertan en comprobaciones identificables dentro de CI. Dos agentes y dos comandos cubren el trabajo complementario, desde el diseño del almacén de datos hasta la entrega de una funcionalidad que requiere un pipeline nuevo.