Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct ger en agent ett strukturerat arbetsflöde för att omvandla kompatibla GPU:er för datacenter till fungerande vLLM-slutpunkter. Det omfattar de praktiska besluten från val av modell till bekräftelse på att dess API är redo, med hänsyn till ROCm-containrar, tillgängligt minne och konfigurationer med flera GPU:er.

Höjdpunkter

• Identifierar Instinct-maskinvara som stöds och samlar in uppgifter om antal GPU:er, arkitektur, minne och ROCm
• Kontrollerar värdkrav som Docker-åtkomst, exponering av enheter och SSH-anslutning till fjärrvärdar
• Uppskattar modellens minnesbehov före start och avgör när tensorparallellism eller en mindre kontrollpunkt behövs
• Skapar inställningar för vLLM-containrar utifrån modellrecept och GPU-specifika konfigurationsdata
• Kontrollerar slutpunktens hälsa, genomför en första begäran och visar praktiska lösningar på vanliga startfel

Färdigheten riktar sig till plattformsingenjörer, ML-infrastrukturteam och utvecklare som kör inferens på system med MI300X, MI325X, MI350X eller MI355X. Den kan arbeta med en lokal dator eller en fjärrvärd som nås via SSH. Den kan installeras från kodförrådet AMD Skills med skills CLI. Bash och åtkomst för filläsning krävs, men ingen MCP-server behövs.