Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct offre a un agente un flusso di lavoro strutturato per trasformare GPU compatibili da data center in endpoint vLLM funzionanti. Copre le decisioni operative comprese tra la scelta del modello e la conferma che la relativa API sia pronta, prestando attenzione ai container ROCm, alla memoria disponibile e alle configurazioni multi-GPU.

Punti di forza

• Rileva l'hardware Instinct supportato e raccoglie dettagli su numero di GPU, architettura, memoria e ROCm
• Verifica i prerequisiti dell'host, come accesso a Docker, disponibilità dei dispositivi e connettività SSH remota
• Stima i requisiti di memoria del modello prima dell'avvio e individua quando servono il parallelismo tensoriale o un checkpoint più piccolo
• Crea le impostazioni del container vLLM a partire dalle configurazioni dei modelli e dai dati specifici delle GPU
• Verifica lo stato dell'endpoint, esegue una prima richiesta e propone rimedi pratici per i problemi di avvio più comuni

La skill è destinata a platform engineer, team di infrastruttura ML e sviluppatori che eseguono inferenza su sistemi MI300X, MI325X, MI350X o MI355X. Può operare su una macchina locale o su un host remoto raggiungibile tramite SSH. È installabile dal repository AMD Skills usando skills CLI; richiede Bash e accesso in lettura ai file, ma non necessita di un server MCP.