TurboFieldfare

TurboFieldfare permite rularea modelelor lingvistice de ultimă generație pe Mac-uri obișnuite cu Apple Silicon printr-o strategie inteligentă de optimizare a memoriei. În loc să încarce întregul model în RAM, păstrează în memorie doar componentele esențiale — un nucleu de 1,35 GB și memoria cache KV — și încarcă de pe SSD ponderile experților atunci când sunt necesare.

Puncte forte

• Rulează Gemma 4 26B pe Mac-uri cu cel puțin 8 GB RAM, folosind doar 2 GB activi
• Mai multe interfețe: aplicație nativă, instrument CLI și server compatibil cu OpenAI
• Nuclee Metal optimizate pentru performanță pe Apple Silicon
• Atinge între 5 și 35 de tokenuri pe secundă, în funcție de hardware
• Open-source, sub licența Apache 2.0, cu documentație tehnică completă

Proiectul include în documentație teste de performanță detaliate și explicații despre arhitectura sistemului. Este potrivit pentru dezvoltatori, cercetători și pasionați care vor să experimenteze local cu modele lingvistice mari fără să depindă de API-uri cloud. Poate fi folosit și modificat complet gratuit.