Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct biedt een agent een gestructureerde workflow om compatibele datacenter-GPU's om te zetten in werkende vLLM-eindpunten. De skill behandelt de operationele keuzes tussen het selecteren van een model en het bevestigen dat de API gereed is, met aandacht voor ROCm-containers, beschikbaar geheugen en configuraties met meerdere GPU's.

Hoogtepunten

• Detecteert ondersteunde Instinct-hardware en verzamelt gegevens over het aantal GPU's, de architectuur, het geheugen en ROCm
• Controleert hostvereisten zoals Docker-toegang, zichtbaarheid van apparaten en externe SSH-connectiviteit
• Schat vóór het starten de geheugenvereisten van het model en bepaalt wanneer tensorparallellisme of een kleiner controlepunt nodig is
• Stelt vLLM-containerinstellingen samen op basis van modelrecepten en GPU-specifieke configuratiegegevens
• Controleert de status van het eindpunt, voert een eerste verzoek uit en geeft praktische oplossingen voor veelvoorkomende opstartproblemen

De skill is bedoeld voor platformengineers, ML-infrastructuurteams en ontwikkelaars die inferentie uitvoeren op MI300X-, MI325X-, MI350X- of MI355X-systemen. Hij werkt met een lokale machine of een externe host die via SSH bereikbaar is. Installatie verloopt via de AMD Skills-repository met de Skills CLI; toegang tot Bash en bestanden is vereist, maar een MCP-server is niet nodig.