Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct ofrece al agente un flujo estructurado para convertir GPU compatibles de centros de datos en endpoints funcionales de vLLM. Abarca las decisiones operativas desde la elección del modelo hasta la confirmación de que su API está disponible, prestando atención a los contenedores ROCm, la memoria disponible y las configuraciones con varias GPU.

Aspectos destacados

• Detecta hardware Instinct compatible y obtiene datos sobre el número de GPU, la arquitectura, la memoria y ROCm
• Comprueba requisitos del host como el acceso a Docker, la exposición de dispositivos y la conectividad SSH remota
• Estima las necesidades de memoria del modelo antes de iniciarlo e identifica cuándo se requiere paralelismo tensorial o un checkpoint más pequeño
• Genera la configuración del contenedor de vLLM a partir de recetas de modelos y datos específicos de cada GPU
• Verifica el estado del endpoint, realiza una primera solicitud y propone soluciones prácticas para fallos de inicio habituales

La skill está dirigida a ingenieros de plataforma, equipos de infraestructura de aprendizaje automático y desarrolladores que ejecutan inferencia en sistemas MI300X, MI325X, MI350X o MI355X. Puede trabajar con una máquina local o con un host remoto accesible mediante SSH. Se instala desde el repositorio AMD Skills mediante la CLI de Skills; requiere acceso a Bash y lectura de archivos, pero no necesita un servidor MCP.