Armature

Armature est une plateforme d’analyse et d’évaluation destinée aux produits accessibles par des agents d’IA. Son SDK enregistre l’activité au niveau du serveur MCP ou du backend de l’application, puis reconstitue les appels d’outils fragmentés sous forme de sessions complètes comprenant l’intention de l’utilisateur, le raisonnement de l’agent, les résultats et les points d’échec. Les équipes peuvent ainsi comprendre des usages invisibles pour les outils classiques d’analyse web et transformer les comportements réels en tests reproductibles.

Points forts

• Regroupe les sessions par cas d’usage récurrents et les classe selon leur volume et leur taux de réussite
• Détecte les boucles, les impasses, les demandes non prises en charge et d’autres problèmes, même lorsque les API renvoient des réponses valides
• Rejoue les sessions complètes avec les requêtes, les traces de raisonnement, les appels d’outils et les scores de résultat
• Exécute des évaluations de bout en bout sur les principaux modèles et environnements d’agents selon des critères de réussite configurables
• Masque les informations personnelles et les secrets avant le stockage des données de session collectées

Armature convient aux chefs de produit et aux ingénieurs responsables de serveurs MCP, d’applications ChatGPT, de connecteurs Claude et d’agents en ligne de commande. Les analyses et les évaluations peuvent être utilisées séparément ou réunies dans une boucle de rétroaction afin de détecter les problèmes et d’éviter les régressions. Un quota gratuit permanent couvre un usage mensuel limité, tandis que les crédits supplémentaires sont facturés à l’usage et que des offres personnalisées sont disponibles pour les entreprises.