Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct oferece ao agente um fluxo estruturado para transformar GPUs compatíveis de data center em endpoints vLLM funcionais. Ele abrange as decisões operacionais entre a escolha do modelo e a confirmação de que sua API está pronta, considerando contêineres ROCm, memória disponível e configurações com várias GPUs.

Destaques

• Detecta hardware Instinct compatível e coleta dados sobre quantidade, arquitetura e memória das GPUs, além de detalhes do ROCm.
• Verifica pré-requisitos do host, como acesso ao Docker, exposição de dispositivos e conectividade SSH remota.
• Estima os requisitos de memória do modelo antes da inicialização e identifica quando é necessário usar paralelismo de tensores ou um checkpoint menor.
• Cria configurações de contêiner vLLM a partir de receitas de modelos e dados específicos das GPUs.
• Verifica a integridade do endpoint, realiza uma solicitação inicial e apresenta soluções práticas para falhas comuns de inicialização.

A skill é voltada a engenheiros de plataforma, equipes de infraestrutura de ML e desenvolvedores que executam inferência em sistemas MI300X, MI325X, MI350X ou MI355X. Ela pode operar em uma máquina local ou em um host remoto acessado por SSH. A instalação pode ser feita pelo repositório AMD Skills usando a Skills CLI; são necessários Bash e acesso de leitura a arquivos, mas nenhum servidor MCP.