TurboFieldfare

TurboFieldfare leva modelos de linguagem de última geração a Macs comuns com Apple Silicon por meio de uma estratégia inteligente de otimização de memória. Em vez de carregar modelos inteiros na RAM, ele mantém apenas os componentes essenciais na memória — núcleo de 1,35 GB e cache KV — e carrega os pesos dos especialistas a partir do SSD conforme necessário.

Destaques

• Execute Gemma 4 26B em Macs com pelo menos 8 GB de RAM, usando apenas 2 GB de memória ativa
• Várias interfaces: aplicativo nativo, ferramenta de linha de comando e servidor compatível com OpenAI
• Kernels Metal otimizados para o desempenho do Apple Silicon
• Alcança de 5 a 35 tokens por segundo, dependendo do hardware
• Código aberto sob a licença Apache 2.0, com documentação técnica completa

O projeto inclui comparativos detalhados de desempenho e explicações sobre a arquitetura do sistema em sua documentação. É ideal para desenvolvedores, pesquisadores e entusiastas que querem experimentar grandes modelos de linguagem localmente sem depender de APIs na nuvem. Seu uso e modificação são totalmente gratuitos.