Vicuna

Vicuna porta nell'ecosistema aperto funzionalità competitive da modello linguistico di grandi dimensioni, senza dipendere da un unico fornitore. Ottenuto perfezionando Llama 2 su conversazioni reali degli utenti, dimostra che i modelli open source possono raggiungere un'elevata qualità restando completamente trasparenti e modificabili.

Punti di forza

• Diverse dimensioni del modello (7B, 13B e 33B) adatte al proprio hardware
• Finestre di contesto estese, con versioni da 4K e 16K token
• Esecuzione locale su GPU di largo consumo, CPU e Apple Silicon
• Il framework FastChat offre interfaccia web, CLI e API compatibile con OpenAI
• Supporto della quantizzazione per ridurre l'uso della memoria

Vicuna è adatto ai ricercatori che studiano le capacità degli LLM, agli sviluppatori che creano applicazioni senza dipendenze dal cloud e ai team che necessitano di un'AI conversazionale personalizzabile. È completamente gratuito con licenze open source, elimina i costi per singola richiesta e mantiene il controllo del modello e la riservatezza dei dati.