Vicuna

Vicuna tillför konkurrenskraftiga funktioner från stora språkmodeller till det öppna ekosystemet utan leverantörslåsning. Modellen har skapats genom finjustering av Llama 2 med verkliga användarkonversationer och visar att modeller med öppen källkod kan uppnå hög kvalitet samtidigt som de förblir helt transparenta och modifierbara.

Höjdpunkter

• Flera modellstorlekar (7B, 13B och 33B) för olika typer av maskinvara
• Utökade kontextfönster med versioner för 4K och 16K token
• Körs lokalt på vanliga GPU:er, CPU:er och Apple Silicon
• Ramverket FastChat erbjuder webbgränssnitt, CLI och ett OpenAI-kompatibelt API
• Stöd för kvantisering för minneseffektiv driftsättning

Vicuna passar forskare som utforskar LLM-funktioner, utvecklare som bygger applikationer utan molnberoenden och team som behöver anpassningsbar konversationsbaserad AI. Det är helt kostnadsfritt med licenser för öppen källkod, vilket eliminerar kostnader per fråga samtidigt som du behåller kontrollen över modellen och dataintegriteten.