Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct bietet Agenten einen strukturierten Workflow, um kompatible Rechenzentrums-GPUs in funktionierende vLLM-Endpunkte zu verwandeln. Er deckt die betrieblichen Entscheidungen zwischen Modellauswahl und Bestätigung der API-Bereitschaft ab und berücksichtigt dabei ROCm-Container, verfügbaren Speicher und Multi-GPU-Konfigurationen.

Highlights

• Erkennt unterstützte Instinct-Hardware und erfasst GPU-Anzahl, Architektur, Speicher und ROCm-Details
• Prüft Host-Voraussetzungen wie Docker-Zugriff, Gerätefreigabe und entfernte SSH-Verbindungen
• Schätzt den Modellspeicherbedarf vor dem Start und erkennt, wann Tensorparallelität oder ein kleinerer Checkpoint erforderlich ist
• Erstellt vLLM-Container-Einstellungen anhand von Modellrezepten und GPU-spezifischen Konfigurationsdaten
• Prüft den Zustand des Endpunkts, führt eine erste Anfrage aus und zeigt praktische Lösungen für häufige Startfehler

Der Skill richtet sich an Plattformingenieure, ML-Infrastrukturteams und Entwickler, die Inferenz auf MI300X-, MI325X-, MI350X- oder MI355X-Systemen betreiben. Er kann mit einem lokalen Computer oder einem über SSH erreichbaren entfernten Host arbeiten. Die Installation erfolgt über das AMD Skills Repository mit der Skills CLI. Bash- und Dateilesezugriff sind erforderlich, ein MCP-Server hingegen nicht.