PluginEval
Evaluează skill-uri Claude Code prin verificări, LLM și simulări
Instalare
Include scripturiClaude Code: /plugin marketplace add wshobson/agents → /plugin install plugin-eval@claude-code-workflows
Yazılan bir skill ya da eklentinin kalitesi ölçülürken, iki skill karşılaştırılırken ya da bir pazar yeri için puan eşiği belirlenirken
- Autor
- Seth Hobson
- Licență
- MIT
Evaluarea are trei niveluri: o analiză statică a fișierului SKILL.md, un arbitru LLM care notează declanșarea, orchestrarea, rezultatul și domeniul, apoi 50–100 de rulări Monte Carlo pentru estimarea fiabilității. Verificările statice favorizează dezvăluirea progresivă în intervalul de 200–600 de linii, iar fiecare anti-tipar detectat reduce scorul nivelului cu încă 5%, până la minimum jumătate. Rezultatele intră într-un clasament Elo comparativ cu alte skill-uri, iar proiectul este distribuit ca pachet Python cu suită de teste.
Skill-uri similare
MLflow Skills
SkillInstrumentează, urmărește, evaluează și verifică agenți
DeepEval Skills
SkillEvaluare, trasare și export OpenTelemetry pentru aplicații LLM
Claude Security
SkillScanare profundă a codului, cu verificarea fiecărei vulnerabilități
Comentarii(0)
Autentifică-te pentru a comenta