Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Das Airflow-Material beginnt mit vier Eigenschaften, die ein DAG erfüllen muss – idempotent, atomar, inkrementell und beobachtbar – und leitet daraus passende Wiederholungseinstellungen ab, darunter exponentielles Backoff mit begrenzter Maximalverzögerung. Die Spark-Optimierung behandelt gezielt Datenschieflagen, die Jobs tatsächlich ausbremsen, und begegnet ihnen mit Salting, Broadcast Joins und adaptiver Abfrageausführung statt mit mehr Executor-Speicher. Qualitätsdimensionen werden konkreten Great-Expectations-Prüfungen und dbt-Tests zugeordnet, damit Vollständigkeit oder Aktualität in CI als benannte Prüfung statt nur in einer Präsentation erscheint. Zwei Agenten und zwei Befehle decken die begleitenden Aufgaben ab, vom Entwurf eines Data Warehouse bis zur Bereitstellung einer Funktion, die eine neue Pipeline benötigt.