Serving LLMs on AMD Instinct
شغّل نقاط نهاية vLLM على وحدات AMD Instinct
التثبيت
رسميةتتضمن سكربتاتnpx skills add amd/skills
Use when deploying or troubleshooting a vLLM language-model endpoint on supported AMD Instinct data-center GPUs.
- المؤلف
- AMD
- الترخيص
- MIT
تمنح Serving LLMs on AMD Instinct الوكيل مسار عمل منظّمًا لتحويل وحدات GPU المتوافقة في مراكز البيانات إلى نقاط نهاية vLLM عاملة. وتغطي القرارات التشغيلية من اختيار النموذج إلى التأكد من جاهزية واجهة API، مع مراعاة حاويات ROCm والذاكرة المتاحة وتكوينات وحدات GPU المتعددة.
أبرز المزايا
- اكتشاف عتاد Instinct المدعوم وجمع تفاصيل عدد وحدات GPU وبنيتها وذاكرتها وإصدار ROCm.
- فحص متطلبات المضيف، مثل الوصول إلى Docker وإتاحة الأجهزة والاتصال البعيد عبر SSH.
- تقدير متطلبات ذاكرة النموذج قبل التشغيل وتحديد الحاجة إلى التوازي المصفوفي أو نقطة تحقق أصغر.
- إعداد حاوية vLLM انطلاقًا من وصفات النماذج وبيانات الإعداد الخاصة بوحدة GPU.
- التحقق من سلامة نقطة النهاية وتنفيذ طلب أولي وعرض حلول عملية لأعطال التشغيل الشائعة.
تستهدف المهارة مهندسي المنصات وفرق البنية التحتية لتعلّم الآلة والمطورين الذين يشغّلون الاستدلال على أنظمة MI300X أو MI325X أو MI350X أو MI355X. ويمكنها العمل على جهاز محلي أو مضيف بعيد يُوصل إليه عبر SSH. يتوفر التثبيت من مستودع AMD Skills باستخدام واجهة skills CLI، ويلزم الوصول إلى Bash وقراءة الملفات، من دون الحاجة إلى خادم MCP.
مهارات مشابهة
Skill Seekers
مهارةيحوّل مواقع التوثيق والمستودعات وملفات PDF إلى مهارات للوكلاء
AWS Startup Advisor
مهارةإرشاد AWS يراعي مرحلة الشركة، من تأسيس الحساب إلى الترحيل والأرصدة
LLM Finetuning
مهارةيدير الضبط الدقيق ضمن دورة محكومة تبدأ ببناء منظومة التقييم
التعليقات(0)
سجّل الدخول للتعليق