TurboFieldfare

TurboFieldfare bringt moderne Sprachmodelle mithilfe einer durchdachten Speicheroptimierung auf gewöhnliche Macs mit Apple Silicon. Anstatt ganze Modelle in den Arbeitsspeicher zu laden, hält die Engine nur wichtige Komponenten im RAM – einen Kern von 1,35 GB plus KV-Cache – und streamt Expertengewichte bei Bedarf vom SSD-Speicher.

Highlights

• Gemma 4 26B auf Macs mit mindestens 8 GB RAM ausführen, davon nur 2 GB aktiv genutzt
• Mehrere Schnittstellen: native App, CLI-Tool und OpenAI-kompatibler Server
• Optimierte Metal-Kernel für hohe Leistung auf Apple Silicon
• Je nach Hardware 5 bis 35 Token pro Sekunde
• Open Source unter Apache 2.0 mit vollständiger technischer Dokumentation

Die Dokumentation enthält ausführliche Benchmarks und Erklärungen zum Systemdesign. Das Projekt eignet sich für Entwickler, Forschende und Technikbegeisterte, die lokal mit großen Sprachmodellen experimentieren möchten, ohne auf Cloud-APIs angewiesen zu sein. Nutzung und Anpassung sind vollständig kostenlos.