BestLLMfor

BestLLMfor pomaga uruchamiać modele językowe na własnym sprzęcie. Konfigurator uwzględnia kartę graficzną lub układ Apple Silicon, pamięć RAM, system operacyjny i planowane zastosowanie, a następnie wskazuje pasujące modele z otwartymi wagami, ich zapotrzebowanie na pamięć i przewidywaną szybkość. Wykrywanie sprzętu odbywa się w przeglądarce na Twoje żądanie, a serwis zaleca ręczne potwierdzenie ilości pamięci.

Najważniejsze funkcje

• Konfigurator dobierający modele do karty graficznej lub układu Apple, pamięci RAM, systemu i zastosowania: rozmów, programowania, RAG, pracy z obrazem, dźwiękiem lub agentami
• Katalog modeli z liczbą parametrów, zapotrzebowaniem na VRAM przy kwantyzacji Q4, długością kontekstu i szacowaną liczbą tokenów na sekundę
• Rankingi według zastosowania, np. programowania, RAG, pracy bez karty graficznej lub licencji dopuszczającej użytek komercyjny
• Poradniki instalacji Ollama i LM Studio oraz wskazówki dotyczące sprzętu w różnych budżetach
• Aktualności o premierach modeli z otwartymi wagami
• Płatne pakiety dla konkretnych konfiguracji, m.in. lokalnego asystenta programowania, lokalnego RAG, lokalnych agentów, Maca i generowania obrazów: po 24 USD lub 49 USD za komplet

Warto wiedzieć

• Konfigurator, katalog i poradniki nie wymagają konta
• Dane o szybkości i zużyciu pamięci są szacunkowe; przed zakupem sprzętu przeprowadź test na własnym komputerze
• Ten sam zespół prowadzi wersję francuską (QuelLLM) i włoską (QualeLLM)

Dla osób wybierających model do uruchomienia lokalnie lub komputer, na którym będzie działać. Podstawowe narzędzia są bezpłatne, a pakiety kupuje się jednorazowo.