TurboFieldfare

TurboFieldfare lleva modelos de lenguaje avanzados a equipos Mac estándar con Apple Silicon mediante una estrategia inteligente de optimización de memoria. En lugar de cargar el modelo completo en la RAM, mantiene en memoria solo los componentes esenciales —un núcleo de 1,35 GB más la caché KV— y carga desde el SSD los pesos de los expertos cuando se necesitan.

Características destacadas

• Ejecuta Gemma 4 26B en equipos Mac con 8 GB de RAM o más, utilizando solo 2 GB de memoria activa
• Varias interfaces: aplicación nativa, herramienta CLI y servidor compatible con OpenAI
• Kernels Metal optimizados para el rendimiento de Apple Silicon
• Alcanza entre 5 y 35 tokens por segundo, según el hardware
• Código abierto con licencia Apache 2.0 y documentación técnica completa

El proyecto incluye comparativas detalladas de rendimiento y explicaciones sobre el diseño del sistema. Es adecuado para desarrolladores, investigadores y aficionados que quieran experimentar localmente con grandes modelos de lenguaje sin depender de APIs en la nube. Su uso y modificación son completamente gratuitos.