PluginEval
Utvärderar Claude Code-färdigheter i tio dimensioner
Installera
Innehåller skriptClaude Code: /plugin marketplace add wshobson/agents → /plugin install plugin-eval@claude-code-workflows
Yazılan bir skill ya da eklentinin kalitesi ölçülürken, iki skill karşılaştırılırken ya da bir pazar yeri için puan eşiği belirlenirken
- Utvecklare
- Seth Hobson
- Licens
- MIT
Tre lager används, där varje lager är dyrare än det föregående: en statisk analys som tolkar SKILL.md på under två sekunder, en LLM-bedömare som poängsätter aktivering, orkestrering, resultat och avgränsning på omkring trettio sekunder samt ett Monte Carlo-lager som kör färdigheten femtio till hundra gånger för att uppskatta tillförlitligheten. De statiska kontrollerna bygger på tydliga antaganden: successiv informationsvisning bedöms mot ett idealintervall på 200–600 rader, och varje upptäckt antimönster sänker lagrets poäng med ytterligare fem procent, dock aldrig under hälften. Resultaten används i en Elo-rankning mot en samling andra färdigheter, så placeringen är relativ till jämförbara alternativ i stället för ett absolut gränsvärde. Det levereras som ett riktigt Python-paket med en testsvit, inte bara som promptfiler.
Liknande färdigheter
MLflow Skills
FärdighetMäter om agentändringar faktiskt ger bättre resultat
DeepEval Skills
FärdighetUtvärdering, spårning och OpenTelemetry-export för LLM-appar
Claude Security
FärdighetDjup sårbarhetsskanning där varje fynd prövas före rapportering

Kommentarer(0)
Logga in för att kommentera