Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct fournit à un agent un workflow structuré pour transformer des GPU de centre de données compatibles en endpoints vLLM opérationnels. Il couvre les décisions techniques entre le choix d’un modèle et la confirmation que son API est prête, en tenant compte des conteneurs ROCm, de la mémoire disponible et des configurations à plusieurs GPU.

Points forts

• Détecte le matériel Instinct compatible et recueille le nombre de GPU, leur architecture, leur mémoire et les informations ROCm
• Vérifie les prérequis de l’hôte, notamment l’accès à Docker, l’exposition des périphériques et la connectivité SSH à distance
• Estime les besoins en mémoire du modèle avant le lancement et détermine si le parallélisme tensoriel ou un checkpoint plus léger est nécessaire
• Génère les paramètres du conteneur vLLM à partir de recettes de modèles et de données de configuration propres aux GPU
• Vérifie l’état de l’endpoint, effectue une première requête et propose des solutions pratiques aux erreurs de démarrage courantes

Cette compétence s’adresse aux ingénieurs de plateforme, aux équipes d’infrastructure ML et aux développeurs qui exécutent des inférences sur des systèmes MI300X, MI325X, MI350X ou MI355X. Elle fonctionne avec une machine locale ou un hôte distant accessible par SSH. Elle peut être installée depuis le dépôt AMD Skills avec la CLI Skills. Un accès à Bash et à la lecture de fichiers est requis, mais aucun serveur MCP n’est nécessaire.