TurboFieldfare

TurboFieldfare позволяет запускать современные языковые модели на обычных компьютерах Mac с Apple Silicon благодаря продуманной оптимизации памяти. Вместо загрузки всей модели в оперативную память он хранит там только необходимые компоненты — ядро объёмом 1,35 ГБ и KV-кеш, — а веса экспертов по мере необходимости считывает с SSD.

Ключевые возможности

• Запуск Gemma 4 26B на Mac с 8 ГБ оперативной памяти и более при использовании всего 2 ГБ активной памяти
• Несколько интерфейсов: нативное приложение, инструмент командной строки и сервер, совместимый с OpenAI
• Оптимизированные ядра Metal для высокой производительности на Apple Silicon
• Скорость от 5 до 35 токенов в секунду в зависимости от оборудования
• Открытый исходный код по лицензии Apache 2.0 и полная техническая документация

Документация проекта содержит подробные результаты тестирования производительности и описание архитектуры системы. Решение подходит разработчикам, исследователям и энтузиастам, которые хотят локально экспериментировать с большими языковыми моделями без облачных API. Его можно использовать и изменять совершенно бесплатно.