Vicuna

Vicuna udostępnia konkurencyjne możliwości dużego modelu językowego w otwartym ekosystemie, bez uzależnienia od jednego dostawcy. Model powstał przez dostrojenie Llama 2 na rzeczywistych rozmowach użytkowników i pokazuje, że modele open source mogą osiągać wysoką jakość, pozostając w pełni przejrzyste i modyfikowalne.

Najważniejsze cechy

• Kilka rozmiarów modelu (7B, 13B i 33B) dopasowanych do sprzętu
• Rozszerzone okna kontekstu (wersje 4K i 16K tokenów)
• Lokalne działanie na konsumenckich GPU, CPU i Apple Silicon
• Framework FastChat z interfejsem webowym, CLI i API zgodnym z OpenAI
• Obsługa kwantyzacji umożliwiająca wdrożenia zużywające mniej pamięci

Vicuna sprawdzi się u badaczy analizujących możliwości LLM, programistów tworzących aplikacje bez zależności od chmury oraz zespołów potrzebujących konfigurowalnej konwersacyjnej AI. Jest całkowicie bezpłatna na licencjach open source, co eliminuje koszty pojedynczych zapytań, a jednocześnie pozwala zachować kontrolę nad modelem i prywatność danych.