Vicuna

Vicuna bringt konkurrenzfähige Fähigkeiten großer Sprachmodelle in das offene Ökosystem, ohne Abhängigkeit von einem einzelnen Anbieter. Durch die Feinabstimmung von Llama 2 anhand echter Nutzerunterhaltungen zeigt das Modell, dass Open-Source-Modelle eine hohe Qualität erreichen und zugleich vollständig transparent und anpassbar bleiben können.

Highlights

• Mehrere Modellgrößen (7B, 13B und 33B) passend zur eigenen Hardware
• Erweiterte Kontextfenster in Versionen mit 4K und 16K Token
• Lokale Ausführung auf handelsüblichen GPUs, CPUs und Apple Silicon
• FastChat-Framework mit Weboberfläche, CLI und OpenAI-kompatibler API
• Quantisierungsunterstützung für eine speichereffiziente Bereitstellung

Vicuna eignet sich für Forschende, die LLM-Fähigkeiten untersuchen, für Entwickler, die Anwendungen ohne Cloud-Abhängigkeiten erstellen, und für Teams, die eine anpassbare Dialog-KI benötigen. Das Modell ist unter Open-Source-Lizenzen vollständig kostenlos, wodurch Kosten pro Anfrage entfallen und zugleich die Kontrolle über das Modell sowie der Datenschutz erhalten bleiben.