BestLLMfor

BestLLMfor è una guida per eseguire modelli linguistici sul proprio hardware. Il configuratore usa GPU o chip Apple Silicon, RAM di sistema, sistema operativo e utilizzo previsto per individuare i modelli a pesi aperti compatibili, indicando memoria necessaria e velocità attesa. Il rilevamento dell'hardware avviene nel browser solo su richiesta; il sito consiglia di verificare manualmente la quantità di memoria rilevata.

Funzionalità principali

• Configuratore che abbina i modelli a GPU o chip Apple, RAM, sistema operativo e utilizzi come chat, programmazione, RAG, visione, audio o agenti
• Catalogo dei modelli con numero di parametri, VRAM necessaria con quantizzazione Q4, lunghezza del contesto e stima dei token al secondo
• Classifiche per utilizzo, ad esempio programmazione, RAG, computer senza GPU o modelli con licenza per uso commerciale
• Guide di installazione per Ollama e LM Studio e consigli sull'hardware in base al budget
• Notizie sulle nuove uscite di modelli a pesi aperti
• Kit a pagamento per singole configurazioni, tra cui assistente di programmazione locale, RAG locale, agenti locali, Mac e generazione di immagini: 24 $ ciascuno o 49 $ tutti insieme

Da sapere

• Configuratore, catalogo e guide non richiedono un account
• Velocità e memoria sono stime: fai una prova sul tuo computer prima di acquistare hardware
• Lo stesso gruppo pubblica un'edizione francese, QuelLLM, e una italiana, QualeLLM

Per chi deve scegliere un modello da eseguire in locale o un computer su cui farlo funzionare. Gli strumenti di base sono gratuiti e i kit si acquistano con un pagamento unico.