Data Engineering
أربع مهارات لـ Airflow وdbt وضبط Spark وعقود جودة البيانات
التثبيت
Claude Code: /plugin marketplace add wshobson/agents → /plugin install data-engineering@claude-code-workflows
ETL hattı, veri ambarı ya da toplu işleme kurulurken; Spark işi yavaşlarken veya veri kalitesi denetimi CI'a bağlanırken
- المؤلف
- Seth Hobson
- الترخيص
- MIT
تبدأ مواد Airflow بأربع خصائص يجب أن يحققها DAG: قابلية التكرار بأمان، والذرية، والعمل التزايدي، وقابلية المراقبة، ثم تحدد إعدادات إعادة المحاولة الناتجة عنها، بما فيها التراجع الأسي بحد أقصى للتأخير. ويتجاوز ضبط Spark النصائح العامة إلى مشكلة انحراف توزيع البيانات التي تعطل المهام فعليًا، ويعالجها بالتمليح وعمليات broadcast join والتنفيذ التكيفي للاستعلامات بدل زيادة ذاكرة المنفّذات. كما تُربط أبعاد الجودة بتأكيدات Great Expectations واختبارات dbt محددة، لتصبح الاكتمالية أو الالتزام الزمني فحصًا مسمى داخل CI، بينما يغطي وكيلان وأمران العمل المحيط من تصميم مستودع البيانات إلى إطلاق ميزة تعتمد على مسار بيانات جديد.
مهارات مشابهة
Astronomer Agent Skills
مهارةمهارات هندسة بيانات Airflow من الشركة المطوّرة لمنصة Astro
Data Agent Kit Starter Pack
مهارة28 مهارة لهندسة البيانات على Google Cloud مع خوادم MCP وضوابط
Machine Learning Ops
مهارةمسارات MLOps وإطار توصية سداسي المراحل مستمد من خوارزمية xAI
التعليقات(0)
سجّل الدخول للتعليق