PluginEval
Bewertet Claude Code Skills mit Checks, LLM und Monte Carlo
Installation
Enthält SkripteClaude Code: /plugin marketplace add wshobson/agents → /plugin install plugin-eval@claude-code-workflows
Yazılan bir skill ya da eklentinin kalitesi ölçülürken, iki skill karşılaştırılırken ya da bir pazar yeri için puan eşiği belirlenirken
- Autor
- Seth Hobson
- Lizenz
- MIT
PluginEval prüft Skills in drei zunehmend aufwendigen Stufen: eine statische Analyse von SKILL.md in weniger als zwei Sekunden, eine etwa dreißigsekündige LLM-Bewertung von Auslösung, Orchestrierung, Ausgabe und Umfang sowie fünfzig bis hundert Monte-Carlo-Durchläufe zur Schätzung der Zuverlässigkeit. Die statischen Regeln bevorzugen 200 bis 600 Zeilen für schrittweise offengelegte Inhalte; jedes erkannte Antimuster senkt die Stufenwertung um weitere fünf Prozent, höchstens jedoch bis zur Hälfte. Die Ergebnisse fließen in ein Elo-Ranking relativ zu einem Vergleichskorpus ein, und das Werkzeug wird als echtes Python-Paket mit Testsuite ausgeliefert.
Ähnliche Skills
MLflow Skills
SkillMisst, ob Änderungen an Agenten tatsächlich helfen
DeepEval Skills
SkillEvaluation, Tracing und OpenTelemetry-Export für LLM-Anwendungen
Claude Security
SkillGründliche Schwachstellensuche mit Prüfung jedes Fundes
Kommentare(0)
Zum Kommentieren anmelden