Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct oferă unui agent un flux structurat pentru transformarea GPU-urilor compatibile din centre de date în endpointuri vLLM funcționale. Acoperă deciziile operaționale dintre alegerea unui model și confirmarea disponibilității API-ului său, ținând cont de containerele ROCm, memoria disponibilă și configurațiile cu mai multe GPU-uri.

Puncte forte

• Detectează hardware-ul Instinct compatibil și colectează detalii despre numărul GPU-urilor, arhitectură, memorie și ROCm
• Verifică cerințele gazdei, precum accesul la Docker, expunerea dispozitivelor și conectivitatea SSH la distanță
• Estimează necesarul de memorie al modelului înainte de lansare și identifică situațiile în care este necesar paralelismul tensorial sau un checkpoint mai mic
• Construiește setările containerului vLLM pe baza rețetelor de model și a datelor de configurare specifice GPU-ului
• Verifică starea endpointului, efectuează o cerere inițială și propune remedii practice pentru erorile frecvente de pornire

Skill-ul se adresează inginerilor de platformă, echipelor de infrastructură ML și dezvoltatorilor care rulează inferență pe sisteme MI300X, MI325X, MI350X sau MI355X. Poate funcționa pe o mașină locală sau pe o gazdă la distanță accesată prin SSH. Instalarea este disponibilă din repository-ul AMD Skills folosind Skills CLI; sunt necesare accesul la Bash și citirea fișierelor, dar nu este necesar un server MCP.