Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct zapewnia agentowi uporządkowany proces przekształcania zgodnych GPU dla centrów danych w działające endpointy vLLM. Obejmuje decyzje operacyjne od wyboru modelu po potwierdzenie gotowości jego API, z uwzględnieniem kontenerów ROCm, dostępnej pamięci i konfiguracji wieloprocesorowych.

Najważniejsze funkcje

• Wykrywa obsługiwany sprzęt Instinct oraz zbiera informacje o liczbie GPU, architekturze, pamięci i ROCm
• Sprawdza wymagania hosta, takie jak dostęp do Docker, udostępnienie urządzeń i zdalne połączenie SSH
• Szacuje zapotrzebowanie modelu na pamięć przed uruchomieniem i wskazuje, kiedy potrzebne jest równoległe przetwarzanie tensorów lub mniejszy checkpoint
• Tworzy ustawienia kontenera vLLM na podstawie konfiguracji modelu i danych właściwych dla danego GPU
• Sprawdza stan endpointu, wykonuje pierwsze żądanie i przedstawia praktyczne rozwiązania typowych problemów z uruchamianiem

Skill jest przeznaczony dla inżynierów platform, zespołów infrastruktury ML i programistów uruchamiających inferencję na systemach MI300X, MI325X, MI350X lub MI355X. Może działać na komputerze lokalnym albo zdalnym hoście dostępnym przez SSH. Można go zainstalować z repozytorium AMD Skills za pomocą Skills CLI; wymaga dostępu do Bash i odczytu plików, ale nie potrzebuje serwera MCP.