Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

O material sobre Airflow começa com quatro propriedades obrigatórias de uma DAG — idempotência, atomicidade, processamento incremental e observabilidade — e define os padrões de repetição decorrentes delas, incluindo espera exponencial com atraso máximo limitado. O ajuste do Spark vai além de recomendações genéricas e trata o problema que realmente paralisa tarefas: a distribuição desigual de dados, resolvida com salting, broadcast joins e execução adaptativa de consultas, em vez de simplesmente aumentar a memória dos executores. As verificações de qualidade são associadas, dimensão por dimensão, a asserções concretas do Great Expectations e testes do dbt, transformando completude ou pontualidade em verificações nomeadas no CI. Dois agentes e dois comandos cobrem o trabalho ao redor, do projeto do data warehouse à entrega de uma funcionalidade que depende de um novo pipeline.