TurboFieldfare

TurboFieldfare gör avancerade språkmodeller tillgängliga på vanliga Mac-datorer med Apple Silicon genom en smart strategi för minnesoptimering. I stället för att läsa in hela modeller i RAM-minnet behåller det bara nödvändiga komponenter i minnet (en kärna på 1,35 GB plus KV-cache) och strömmar expertvikter från SSD-lagringen efter behov.

Höjdpunkter

• Kör Gemma 4 26B på Mac-datorer med minst 8 GB RAM (använder bara 2 GB aktivt)
• Flera gränssnitt: inbyggd app, CLI-verktyg och OpenAI-kompatibel server
• Optimerade Metal-kärnor för prestanda på Apple Silicon
• Uppnår 5–35 token per sekund beroende på din maskinvara
• Öppen källkod (Apache 2.0) med fullständig teknisk dokumentation

Projektets dokumentation innehåller detaljerade prestandamätningar och förklaringar av systemets utformning. Det passar utvecklare, forskare och entusiaster som vill experimentera lokalt med stora språkmodeller utan att vara beroende av molnbaserade API:er. Det är helt kostnadsfritt att använda och modifiera.