Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Het Airflow-materiaal bouwt DAG's rond vier vereisten: idempotentie, atomiciteit, incrementele verwerking en observeerbaarheid, met bijbehorende retry-instellingen en begrensde exponentiële back-off. De Spark-richtlijnen behandelen datascheefheid met salting, broadcast joins en adaptieve query-uitvoering in plaats van simpelweg meer executorgeheugen toe te wijzen. Datakwaliteitsdimensies worden gekoppeld aan concrete Great Expectations-asserties en dbt-tests, terwijl twee agents en twee opdrachten het omliggende werk ondersteunen, van warehouseontwerp tot de oplevering van functies die een nieuwe pipeline vereisen.