TurboFieldfare

TurboFieldfare rend les modèles de langage de pointe accessibles sur les Mac Apple Silicon standards grâce à une stratégie astucieuse d’optimisation de la mémoire. Au lieu de charger le modèle entier dans la RAM, il ne conserve en mémoire que les composants essentiels, soit un cœur de 1,35 Go plus le cache KV, et charge depuis le SSD les poids des experts au moment où ils sont nécessaires.

Points forts

• Exécution de Gemma 4 26B sur les Mac dotés d’au moins 8 Go de RAM, avec seulement 2 Go utilisés activement
• Plusieurs interfaces : application native, outil en ligne de commande et serveur compatible avec OpenAI
• Noyaux Metal optimisés pour les performances des puces Apple Silicon
• Vitesse de 5 à 35 jetons par seconde selon le matériel
• Projet open source sous licence Apache 2.0, accompagné d’une documentation technique complète

La documentation du projet comprend des mesures de performances détaillées et des explications sur la conception du système. TurboFieldfare convient aux développeurs, chercheurs et passionnés souhaitant expérimenter localement avec de grands modèles de langage sans dépendre d’API cloud. Son utilisation et sa modification sont entièrement gratuites.