Armature

Armature, AI agent'ları üzerinden kullanılan ürünler için geliştirilmiş bir analitik ve değerlendirme platformudur. SDK, MCP sunucusunda veya uygulama backend'inde oluşan etkinliği yakalar; dağınık tool çağrılarını kullanıcı amacı, agent reasoning süreci, sonuç ve hata noktalarıyla birlikte anlaşılır oturumlara dönüştürür. Böylece klasik web analitiğinin göremediği ürün kullanımını incelemek ve gerçek davranışlardan tekrarlanabilir testler üretmek mümkün olur.

Öne çıkanlar

• Oturumları kullanım senaryolarına ayırır; hacim ve başarı oranına göre sıralar
• API yanıtları başarılı görünse bile döngüleri, çıkmazları ve desteklenmeyen istekleri belirler
• Kullanıcı isteğini, reasoning izini, tool çağrılarını ve sonuç puanını birlikte gösterir
• Tanımlanan başarı ölçütleriyle farklı model ve agent ortamlarında uçtan uca eval çalıştırır
• Kişisel bilgileri ve gizli anahtarları depolama öncesinde otomatik olarak ayıklar

Platform; MCP sunucuları, ChatGPT uygulamaları, Claude connector'ları ve CLI agent'ları geliştiren ürün yöneticileriyle mühendislere uygundur. Analitik ve eval özellikleri ayrı ayrı kullanılabilir veya sorunları keşfedip regresyonları yayın öncesinde yakalayan ortak bir döngüye dönüştürülebilir. Kalıcı ücretsiz paket sınırlı aylık kullanım sunar; sınır aşıldığında ek kredi üzerinden ücretlendirme uygulanır, kurumsal ihtiyaçlar için özel planlar sağlanır.