TurboFieldfare
Esegui Gemma 4 26B sul Mac usando solo 2 GB di RAM
TurboFieldfare porta modelli linguistici all'avanguardia sui comuni Mac con Apple Silicon grazie a una strategia intelligente di ottimizzazione della memoria. Invece di caricare l'intero modello nella RAM, mantiene in memoria solo i componenti essenziali, ossia un nucleo da 1,35 GB più la cache KV, e carica dall'unità SSD i pesi degli esperti quando necessario.
Funzionalità principali
- Esegue Gemma 4 26B sui Mac con almeno 8 GB di RAM, utilizzandone attivamente solo 2 GB
- Offre più interfacce: applicazione nativa, strumento CLI e server compatibile con OpenAI
- Kernel Metal ottimizzati per le prestazioni di Apple Silicon
- Raggiunge da 5 a 35 token al secondo, in base all'hardware
- Open source con licenza Apache 2.0 e documentazione tecnica completa
La documentazione del progetto include benchmark dettagliati e spiegazioni sull'architettura del sistema. È ideale per sviluppatori, ricercatori e appassionati che vogliono sperimentare in locale con grandi modelli linguistici senza dipendere da API cloud. Può essere utilizzato e modificato gratuitamente.
Strumenti simili
Vedi le alternative →Gemini CLI
FreemiumAgente AI nel terminale per codice, automazione e debug
Cline
GratuitoAgente AI in VS Code: modifica file, esegue comandi, crea codice
Continue
GratuitoAssistente di programmazione open source per VS Code e JetBrains
Commenti(0)
Accedi per commentare