Langfuse

Langfuse é uma plataforma de observabilidade criada especificamente para equipes de engenharia que desenvolvem aplicações com LLMs e sistemas de agentes. Oferece rastreamento de ponta a ponta para registrar cada operação — chamadas ao LLM, etapas de recuperação, execução de ferramentas e lógica personalizada — com dados completos de tempo e metadados. Isso permite depurar e otimizar rapidamente fluxos de IA em produção.

Destaques

• Rastreamento completo de solicitações a LLMs, incluindo prompts, respostas e tokens
• Gerenciamento e versionamento de prompts para iteração colaborativa
• Avaliação LLM-as-Judge e coleta de feedback humano para medir a qualidade
• Monitoramento de custos e uso de tokens em vários modelos
• Código aberto sob licença MIT e hospedagem própria com backend ClickHouse

A plataforma compreende nativamente conceitos de LLMs, como uso de tokens, parâmetros de modelos e pontuações de avaliação, mantendo-se independente de framework e modelo. Equipes usam Langfuse para lançar e aprimorar sistemas de IA em produção com visibilidade e controle. O plano gratuito inclui 50.000 unidades por mês, permitindo avaliar a plataforma antes de ampliar o uso.