Langfuse

Langfuse est une plateforme d’observabilité conçue pour les équipes d’ingénierie qui développent des applications LLM et des systèmes à agents. Son traçage de bout en bout enregistre chaque opération — appels aux LLM, étapes de récupération, exécution d’outils et logique personnalisée — avec les durées et toutes les métadonnées associées. Les équipes peuvent ainsi déboguer et optimiser rapidement leurs flux d’IA en production.

Points forts

• Traçage complet des requêtes LLM avec suivi des prompts, des réponses et des jetons
• Gestion et versionnage des prompts pour les itérations collaboratives
• Évaluation par un LLM juge et collecte de retours humains pour mesurer la qualité
• Suivi des coûts et de la consommation de jetons sur plusieurs modèles
• Open source sous licence MIT et auto-hébergeable avec un backend ClickHouse

La plateforme comprend nativement les notions propres aux LLM, comme la consommation de jetons, les paramètres des modèles et les scores d’évaluation, tout en restant indépendante des frameworks et des modèles. Les équipes utilisent Langfuse pour déployer puis améliorer leurs systèmes d’IA en production avec davantage de visibilité et de contrôle. L’offre gratuite comprend 50 000 unités par mois, ce qui permet d’évaluer la plateforme avant de passer à plus grande échelle.