Serving LLMs on AMD Instinct

Serving LLMs on AMD Instinct предоставляет агенту структурированный процесс превращения совместимых серверных GPU в работающие конечные точки vLLM. Он охватывает практические решения от выбора модели до проверки готовности API, учитывая контейнеры ROCm, доступную память и конфигурации с несколькими GPU.

Основные возможности

• Обнаружение поддерживаемого оборудования Instinct и сбор данных о количестве, архитектуре и памяти GPU, а также версии ROCm.
• Проверка требований к узлу, включая доступ к Docker, подключение устройств и удалённое соединение по SSH.
• Оценка требований модели к памяти до запуска и определение необходимости тензорного параллелизма или контрольной точки меньшего размера.
• Формирование параметров контейнера vLLM на основе рецептов моделей и данных конфигурации конкретного GPU.
• Проверка состояния конечной точки, выполнение первого запроса и предложение практических решений типичных проблем запуска.

Навык предназначен для платформенных инженеров, команд ML-инфраструктуры и разработчиков, запускающих инференс на системах MI300X, MI325X, MI350X или MI355X. Он может работать на локальном компьютере или удалённом узле с доступом по SSH. Установка доступна из репозитория AMD Skills через CLI для навыков; требуются Bash и доступ к чтению файлов, а MCP-сервер не нужен.