Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Airflow-materialet utgår från fyra egenskaper som en DAG måste ha — idempotens, atomicitet, inkrementell bearbetning och observerbarhet — samt de standardvärden för återförsök som följer av dem, inklusive exponentiell backoff med en begränsad maximal fördröjning. Spark-optimeringen går förbi allmänna råd och behandlar problemet som faktiskt får jobb att stanna: ojämn datafördelning, som hanteras med salting, broadcast joins och adaptiv frågekörning i stället för mer exekveringsminne. Kvalitetskontroller kopplas dimension för dimension till konkreta Great Expectations-regler och dbt-tester, medan två agenter och två kommandon täcker arbetet runt omkring, från datalagerdesign till leverans av en funktion som kräver en ny datapipeline.