BestLLMfor

BestLLMfor, dil modellerini kendi donanımında çalıştırmak isteyenler için bir rehber. Yapılandırıcı ekran kartını ya da Apple Silicon çipini, sistem RAM'ini, işletim sistemini ve kullanım amacını alır; sığan açık ağırlıklı modelleri bellek ihtiyacı ve beklenen hızıyla döndürür. Donanım taraması istek üzerine tarayıcıda yapılıyor, site bellek değerinin elle doğrulanmasını öneriyor.

Öne çıkanlar

• Modelleri ekran kartı ya da Apple çipi, RAM, işletim sistemi ve sohbet, kod, RAG, görsel, ses veya ajan gibi kullanım amacına göre eşleştiren yapılandırıcı
• Parametre sayısını, Q4 kuantizasyonda gereken VRAM'i, bağlam uzunluğunu ve saniyedeki tahmini token sayısını gösteren model kataloğu
• Kullanıma göre sıralamalar: kod, RAG, ekran kartı olmayan makineler ya da ticari kullanıma açık lisanslı modeller gibi
• Ollama ve LM Studio kurulum rehberleri, bütçeye göre donanım önerileri
• Açık ağırlıklı model çıkışlarını izleyen haber akışı
• Kuruluma özel ücretli kitler (yerel kod asistanı, yerel RAG, yerel ajanlar, Mac, görsel üretimi ve diğerleri); tanesi 24 dolar, hepsi 49 dolar

Bilmekte fayda var

• Yapılandırıcı, katalog ve rehberler hesap istemiyor
• Hız ve bellek değerleri tahmin; donanım almadan önce kendi makinede denemek gerekiyor
• Aynı ekip Fransızca (QuelLLM) ve İtalyanca (QualeLLM) sürümler de yayımlıyor

Yerelde çalıştıracağı modeli ya da bunun için alacağı makineyi seçenler için. Temel araçlar ücretsiz, kitler tek seferlik satın alınıyor.