BestLLMfor

BestLLMfor este un ghid pentru rularea modelelor lingvistice pe propriul calculator. Configuratorul ține cont de placa video sau cipul Apple Silicon, memoria RAM, sistemul de operare și utilizarea dorită și îți arată modelele cu ponderi deschise potrivite, împreună cu necesarul de memorie și viteza estimată. Detectarea componentelor se face în browser, la cerere, iar site-ul recomandă să verifici manual valoarea memoriei.

Funcționalități principale

• Configurator care potrivește modelele cu placa video sau cipul Apple, memoria RAM, sistemul de operare și utilizări precum conversații, programare, RAG, procesarea imaginilor, audio sau agenți
• Catalog de modele cu numărul de parametri, memoria VRAM necesară la cuantizare Q4, lungimea contextului și numărul estimat de tokenuri pe secundă
• Clasamente în funcție de utilizare, de exemplu programare, RAG, calculatoare fără placă video sau modele cu licență pentru utilizare comercială
• Ghiduri de instalare pentru Ollama și LM Studio, plus recomandări de componente în funcție de buget
• Flux de știri despre lansările de modele cu ponderi deschise
• Pachete plătite pentru diverse configurații: asistent local de programare, RAG local, agenți locali, Mac, generare de imagini și altele, la 24 USD fiecare sau 49 USD pentru toate

De reținut

• Configuratorul, catalogul și ghidurile nu necesită cont
• Valorile pentru viteză și memorie sunt estimative; testează pe propriul calculator înainte să cumperi componente
• Aceeași echipă publică o ediție în franceză, QuelLLM, și una în italiană, QualeLLM

Pentru cei care aleg un model de rulat local sau un calculator pe care să îl ruleze. Instrumentele de bază sunt gratuite, iar pachetele se cumpără printr-o plată unică.