Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Materiały o Airflow zaczynają od czterech wymaganych cech DAG-a — idempotentności, atomowości, przyrostowości i obserwowalności — oraz wynikających z nich ustawień ponawiania, w tym wykładniczego opóźnienia z ograniczonym maksimum. Optymalizacja Spark wykracza poza ogólne porady i skupia się na przekoszeniu danych, które faktycznie zatrzymuje zadania, rozwiązując je przez salting, broadcast joins i adaptacyjne wykonywanie zapytań zamiast zwiększania pamięci wykonawców. Kontrole jakości przypisują poszczególne wymiary do konkretnych asercji Great Expectations i testów dbt, a dwóch agentów i dwa polecenia wspierają prace od projektowania hurtowni po wdrożenie funkcji wymagającej nowego pipeline’u.