PluginEval
يقيّم مهارات Claude Code عبر فحوص ثابتة ومحاكاة متكررة
التثبيت
تتضمن سكربتاتClaude Code: /plugin marketplace add wshobson/agents → /plugin install plugin-eval@claude-code-workflows
Yazılan bir skill ya da eklentinin kalitesi ölçülürken, iki skill karşılaştırılırken ya da bir pazar yeri için puan eşiği belirlenirken
- المؤلف
- Seth Hobson
- الترخيص
- MIT
يجمع PluginEval ثلاث طبقات متزايدة التكلفة: فحصًا ثابتًا يحلل SKILL.md خلال أقل من ثانيتين، ومحكّم LLM يقيّم الاستدعاء والتنسيق والمخرجات والنطاق خلال نحو ثلاثين ثانية، ثم محاكاة Monte Carlo تشغّل المهارة من خمسين إلى مئة مرة لتقدير موثوقيتها. تفترض الفحوص الثابتة أن طول الإفصاح التدريجي الأنسب يتراوح بين 200 و600 سطر، ويخفض كل نمط سلبي مكتشف نتيجة الطبقة بنسبة خمسة بالمئة إضافية حتى حد أدنى يبلغ النصف. تُستخدم النتائج في تصنيف Elo مقابل مجموعة مرجعية، وتأتي الأداة كحزمة Python فعلية مزودة باختبارات.
مهارات مشابهة
MLflow Skills
مهارةيكمل دورة عمل الوكيل: يرصد ويقيّم ويعدّل ثم يتحقق
DeepEval Skills
مهارةتقييم تطبيقات LLM وتتبعها وتصديرها عبر OpenTelemetry
Claude Security
مهارةيفحص شيفرتك بعمق ويتحقق من كل ثغرة قبل الإبلاغ عنها
التعليقات(0)
سجّل الدخول للتعليق