Langfuse

Langfuse es una plataforma de observabilidad creada específicamente para equipos de ingeniería que desarrollan aplicaciones con LLM y sistemas de agentes. Ofrece trazabilidad integral de cada operación —llamadas a LLM, pasos de recuperación, ejecución de herramientas y lógica personalizada— junto con sus tiempos y metadatos. Esto permite depurar y optimizar rápidamente los flujos de IA en producción.

Aspectos destacados

• Trazabilidad completa de solicitudes a LLM, con seguimiento de prompts, respuestas y tokens
• Gestión y control de versiones de prompts para trabajar de forma colaborativa
• Evaluación mediante LLM como juez y recopilación de comentarios humanos para medir la calidad
• Monitorización de costes y consumo de tokens en distintos modelos
• Código abierto con licencia MIT y alojamiento propio mediante un backend de ClickHouse

La plataforma comprende de forma nativa conceptos de los LLM como el consumo de tokens, los parámetros de los modelos y las puntuaciones de evaluación, sin depender de un framework o modelo concreto. Los equipos utilizan Langfuse para publicar e iterar sistemas de IA en producción con mayor visibilidad y control. El plan gratuito incluye 50.000 unidades mensuales, lo que permite evaluarlo antes de ampliar su uso.