TurboFieldfare
Uruchom Gemma 4 26B na Macu, używając tylko 2 GB RAM
TurboFieldfare udostępnia najnowocześniejsze modele językowe na standardowych komputerach Mac z Apple Silicon dzięki przemyślanej optymalizacji pamięci. Zamiast ładować cały model do RAM-u, przechowuje w pamięci tylko niezbędne elementy — rdzeń o rozmiarze 1,35 GB i pamięć podręczną KV — a potrzebne wagi ekspertów przesyła z dysku SSD.
Najważniejsze funkcje
- Uruchamianie Gemma 4 26B na komputerach Mac z co najmniej 8 GB RAM-u przy aktywnym użyciu tylko 2 GB
- Kilka interfejsów: natywna aplikacja, narzędzie CLI i serwer zgodny z OpenAI
- Jądra Metal zoptymalizowane pod kątem wydajności Apple Silicon
- Od 5 do 35 tokenów na sekundę, zależnie od sprzętu
- Otwarty kod źródłowy na licencji Apache 2.0 i pełna dokumentacja techniczna
Dokumentacja projektu zawiera szczegółowe testy wydajności oraz wyjaśnienia konstrukcji systemu. To rozwiązanie dla programistów, badaczy i entuzjastów, którzy chcą lokalnie eksperymentować z dużymi modelami językowymi bez korzystania z chmurowych API. Można z niego korzystać i modyfikować je całkowicie bezpłatnie.
Podobne narzędzia
Zobacz alternatywy →Gemini CLI
FreemiumAgent AI w terminalu do analizy kodu, automatyzacji i debugowania
Cline
BezpłatneAgent AI w VS Code: edytuje pliki, uruchamia polecenia i kod
Continue
BezpłatneOtwarty asystent programowania AI do VS Code i JetBrains
Komentarze(0)
Zaloguj się, aby skomentować