Vicuna

Vicuna leva recursos competitivos de grandes modelos de linguagem ao ecossistema aberto, sem dependência de um único fornecedor. Criado por meio do ajuste fino do Llama 2 com conversas reais de usuários, ele demonstra que modelos de código aberto podem alcançar alta qualidade e ainda permanecer totalmente transparentes e modificáveis.

Destaques

• Vários tamanhos de modelo (7B, 13B e 33B) para diferentes hardwares
• Janelas de contexto ampliadas, com versões de 4K e 16K tokens
• Execução local em GPUs domésticas, CPUs e Apple Silicon
• O framework FastChat oferece interface web, CLI e API compatível com OpenAI
• Suporte a quantização para implantação com uso eficiente de memória

Vicuna atende pesquisadores que exploram os recursos de LLMs, desenvolvedores que criam aplicações sem depender da nuvem e equipes que precisam de uma IA conversacional personalizável. É totalmente gratuito sob licenças de código aberto, eliminando custos por consulta e preservando a propriedade do modelo e a privacidade dos dados.