Vicuna

Vicuna apporte à l’écosystème ouvert des capacités compétitives de grand modèle de langage, sans dépendance envers un fournisseur. Issu de l’affinage de Llama 2 sur de véritables conversations d’utilisateurs, il montre que les modèles open source peuvent atteindre un niveau de qualité élevé tout en restant entièrement transparents et modifiables.

Points forts

• Plusieurs tailles de modèle (7B, 13B et 33B) adaptées à votre matériel
• Fenêtres de contexte étendues avec des versions de 4K et 16K tokens
• Exécution locale sur des GPU grand public, des CPU et Apple Silicon
• Interface web, CLI et API compatible avec OpenAI grâce au framework FastChat
• Prise en charge de la quantification pour réduire l’utilisation de la mémoire

Vicuna convient aux chercheurs qui explorent les capacités des LLM, aux développeurs qui créent des applications sans dépendance au cloud et aux équipes qui recherchent une IA conversationnelle personnalisable. Il est entièrement gratuit sous des licences open source, ce qui supprime les coûts par requête tout en préservant la maîtrise du modèle et la confidentialité des données.