Vicuna

Vicuna brengt concurrerende mogelijkheden van grote taalmodellen naar het open ecosysteem, zonder afhankelijkheid van één leverancier. Het model is gebouwd door Llama 2 te verfijnen met echte gebruikersgesprekken en laat zien dat open-source modellen een hoog kwaliteitsniveau kunnen bereiken terwijl ze volledig transparant en aanpasbaar blijven.

Hoogtepunten

• Meerdere modelgroottes (7B, 13B en 33B) passend bij je hardware
• Uitgebreide contextvensters met versies voor 4K en 16K tokens
• Draait lokaal op consumenten-GPU's, CPU's en Apple Silicon
• Het FastChat-framework biedt een webinterface, CLI en OpenAI-compatibele API
• Ondersteuning voor kwantisatie voor geheugenbesparende implementatie

Vicuna is geschikt voor onderzoekers die LLM-mogelijkheden verkennen, ontwikkelaars die applicaties zonder cloudafhankelijkheden bouwen en teams die aanpasbare conversationele AI nodig hebben. Het is volledig gratis onder open-sourcelicenties, waardoor kosten per query vervallen en eigendom van het model en privacy van gegevens behouden blijven.