PluginEval
Beoordeelt Claude Code-vaardigheden op tien dimensies
Installeren
Bevat scriptsClaude Code: /plugin marketplace add wshobson/agents → /plugin install plugin-eval@claude-code-workflows
Yazılan bir skill ya da eklentinin kalitesi ölçülürken, iki skill karşılaştırılırken ya da bir pazar yeri için puan eşiği belirlenirken
- Auteur
- Seth Hobson
- Licentie
- MIT
PluginEval combineert drie steeds duurdere lagen: statische controles in minder dan twee seconden, een LLM-beoordelaar in ongeveer dertig seconden en vijftig tot honderd Monte Carlo-runs om de betrouwbaarheid te schatten. De statische analyse hanteert onder meer 200 tot 600 regels als ideaal bereik voor geleidelijke onthulling en verlaagt de score per antipatroon met vijf procent, tot minimaal de helft. Resultaten worden via Elo vergeleken met andere vaardigheden; het geheel wordt geleverd als een echt Python-pakket met testsuite.
Vergelijkbare skills
MLflow Skills
SkillMeet, wijzigt en verifieert verbeteringen aan agents
DeepEval Skills
SkillEvaluatie, tracing en OpenTelemetry-export voor LLM-apps
Claude Security
SkillDiepe codescan die elke kwetsbaarheid eerst probeert te weerleggen
Reacties(0)
Log in om te reageren