Vicuna

Чат-бот с открытым кодом, сопоставимый по качеству с ChatGPT

Vicuna предоставляет конкурентоспособные возможности больших языковых моделей в открытой экосистеме без привязки к поставщику. Модель создана путем дообучения Llama 2 на реальных диалогах пользователей и показывает, что модели с открытым исходным кодом могут обеспечивать высокое качество, оставаясь полностью прозрачными и доступными для модификации.

Основные возможности

Несколько размеров модели (7B, 13B, 33B) под разное оборудование
Расширенные контекстные окна (версии на 4K и 16K токенов)
Локальный запуск на потребительских GPU, CPU и Apple Silicon
Фреймворк FastChat с веб-интерфейсом, CLI и API, совместимым с OpenAI
Поддержка квантования для развертывания с меньшим потреблением памяти

Vicuna подходит исследователям, изучающим возможности LLM, разработчикам, создающим приложения без зависимости от облачных сервисов, и командам, которым нужен настраиваемый разговорный ИИ. Модель полностью бесплатна и распространяется по лицензиям с открытым исходным кодом, что исключает плату за запросы и позволяет сохранить контроль над моделью и конфиденциальность данных.