TurboFieldfare
Mac'inde Gemma 4'ü sadece 2GB RAM ile çalıştır
TurboFieldfare, Apple Silicon Mac'lerde çalışan dil modellerini hafif ve hızlı bir şekilde çalıştırabilmek için özel bir bellek optimizasyon stratejisi kullanır. Tüm modeli RAM'e yüklemek yerine, yalnızca gerekli bileşenleri bellek içinde tutar (1.35 GB çekirdek ve KV cache) ve uzman ağırlıklarını gerektiğinde SSD'den aktarır.
Öne çıkanlar
- Gemma 4 26B'yi 8GB+ RAM olan Mac'lerde çalıştır (sadece 2GB aktif kullanım)
- Seçenekli arayüzler: yerel uygulama, komut satırı aracı ve OpenAI uyumlu sunucu
- Apple Silicon için optimize edilmiş Metal çekirdekleri
- Donanımınıza bağlı olarak saniyede 5-35 token performans
- Açık kaynak (Apache 2.0) ve kapsamlı teknik dokümantasyon
Proje, dokümantasyonunda detaylı performans ölçümleri ve sistem tasarım açıklamalarını içerir. Yerel ortamda büyük dil modelleriyle denemeler yapmak isteyen geliştiriciler, araştırmacılar ve meraklılar için ideal bir çözüm. Tamamen ücretsiz ve değiştirilebilir.
Yorumlar(0)
Yorum yapmak için giriş yap