Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct, uyumlu veri merkezi GPU'larını çalışan vLLM endpoint'lerine dönüştürmek için agente düzenli bir operasyon akışı kazandırır. Model seçiminden API'nin kullanıma hazır olduğunun doğrulanmasına kadar gereken kararları ele alır; ROCm container'ları, kullanılabilir bellek ve çoklu GPU düzenleri üzerinde özellikle durur.

Öne çıkanlar

• Desteklenen Instinct donanımını tanır; GPU sayısı, mimari, bellek ve ROCm bilgilerini toplar.
• Docker erişimi, GPU aygıtları ve uzak SSH bağlantısı gibi sunucu gereksinimlerini denetler.
• Modeli başlatmadan önce bellek ihtiyacını hesaplar; tensor parallelism veya daha küçük checkpoint gereksinimini belirler.
• Model tarifleri ile GPU'ya özel yapılandırma verilerinden uygun vLLM container ayarlarını oluşturur.
• Endpoint sağlığını sınar, ilk isteği çalıştırır ve sık rastlanan başlangıç hataları için uygulanabilir çözümler sunar.

Bu skill; MI300X, MI325X, MI350X veya MI355X sistemlerinde inference çalıştıran platform mühendisleri, ML altyapı ekipleri ve geliştiriciler için uygundur. Yerel makinede ya da SSH üzerinden erişilen uzak bir sunucuda kullanılabilir. AMD Skills deposundan skills CLI ile kurulur; Bash ve dosya okuma erişimi ister, herhangi bir MCP sunucusuna ihtiyaç duymaz.