Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Materialul despre Airflow pornește de la patru proprietăți obligatorii ale unui DAG — idempotent, atomic, incremental și observabil — și de la setările implicite de reîncercare care decurg din ele, inclusiv backoff exponențial cu o întârziere maximă limitată. Optimizarea Spark depășește recomandările generale și abordează problema care blochează efectiv joburile: distribuția dezechilibrată a datelor, tratată prin salting, broadcast joins și adaptive query execution, nu prin mărirea memoriei executorilor. Verificările de calitate sunt asociate, dimensiune cu dimensiune, unor aserțiuni concrete Great Expectations și teste dbt, astfel încât completitudinea sau actualitatea să devină verificări denumite în CI, nu simple concepte dintr-o prezentare. Doi agenți și două comenzi acoperă activitățile conexe, de la proiectarea depozitului de date până la livrarea unei funcționalități care depinde de un pipeline nou.