Langfuse

Langfuse is een speciaal ontwikkeld observatieplatform voor AI-engineeringteams die LLM-applicaties en agentsystemen bouwen. Het biedt end-to-end tracing om elke handeling vast te leggen, waaronder LLM-aanroepen, zoekstappen, tooluitvoeringen en aangepaste logica, inclusief volledige timing en metadata. Hierdoor kunnen AI-workflows in productie snel worden opgespoord en geoptimaliseerd.

Hoogtepunten

• Volledige tracing van LLM-verzoeken met registratie van prompts, antwoorden en tokens
• Beheer en versiebeheer van prompts voor gezamenlijke iteratie
• Evaluaties met LLM-as-Judge en verzameling van menselijke feedback voor kwaliteitsbeoordeling
• Bewaking van kosten en tokengebruik bij meerdere modellen
• Opensource onder de MIT-licentie en zelf te hosten met een ClickHouse-backend

Het platform begrijpt standaard LLM-concepten zoals tokengebruik, modelparameters en evaluatiescores, en is daardoor onafhankelijk van frameworks en modellen. Teams gebruiken Langfuse om AI-systemen met inzicht en controle naar productie te brengen en verder te verbeteren. Het gratis abonnement omvat maandelijks 50.000 eenheden, zodat het platform vóór opschaling kan worden geëvalueerd.