BestLLMfor

BestLLMfor är en guide till att köra språkmodeller på egen hårdvara. Konfiguratorn utgår från ditt grafikkort eller Apple Silicon-chip, arbetsminne, operativsystem och tänkta användningsområde och visar modeller med öppna vikter som passar, tillsammans med minnesbehov och förväntad hastighet. Hårdvarukontrollen körs i webbläsaren när du begär det, och webbplatsen rekommenderar att du kontrollerar minnesuppgiften manuellt.

Viktiga funktioner

• En konfigurator som matchar modeller mot grafikkort eller Apple-chip, arbetsminne, operativsystem och användningsområden som chatt, programmering, RAG, bildförståelse, ljud eller agenter
• En modellkatalog med antal parametrar, grafikminnesbehov vid Q4-kvantisering, kontextlängd och uppskattat antal token per sekund
• Rankningar efter användningsområde, till exempel programmering, RAG, datorer utan grafikkort eller modeller med licens för kommersiellt bruk
• Installationsguider för Ollama och LM Studio samt hårdvaruråd för olika budgetar
• Ett nyhetsflöde om nya modeller med öppna vikter
• Betalpaket för olika upplägg, bland annat lokal kodassistent, lokal RAG, lokala agenter, Mac och bildgenerering, för 24 USD styck eller 49 USD för alla

Bra att veta

• Konfiguratorn, katalogen och guiderna kräver inget konto
• Uppgifterna om hastighet och minne är uppskattningar; testa på din egen dator innan du köper hårdvara
• Samma team ger ut en fransk version, QuelLLM, och en italiensk, QualeLLM

För dig som väljer en modell att köra lokalt eller en dator att köra den på. Grundverktygen är gratis och paketen köps med en engångsbetalning.