Data Engineering

Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows

Материалы по Airflow начинаются с четырёх обязательных свойств DAG: идемпотентности, атомарности, инкрементальности и наблюдаемости — и выводят из них настройки повторных попыток, включая экспоненциальную задержку с ограниченным максимумом. Раздел о настройке Spark разбирает не общие советы, а реальную причину зависания задач — перекос данных, который устраняется добавлением соли, broadcast join и адаптивным выполнением запросов, а не увеличением памяти executor. Проверки качества по каждому измерению сопоставлены с конкретными утверждениями Great Expectations и тестами dbt, чтобы полнота или своевременность данных стала именованной проверкой в CI, а не пунктом презентации. Два агента и две команды охватывают сопутствующие задачи — от проектирования хранилища до выпуска функции, зависящей от нового конвейера.