Langfuse

Langfuse är en specialbyggd observabilitetsplattform för AI-utvecklingsteam som skapar LLM-applikationer och agentbaserade system. Den erbjuder heltäckande spårning av varje moment, inklusive LLM-anrop, hämtningssteg, verktygskörningar och egen logik, med fullständig information om tidsåtgång och metadata. Det gör det möjligt att snabbt felsöka och optimera AI-arbetsflöden i produktion.

Höjdpunkter

• Fullständig spårning av LLM-anrop med promptar, svar och tokenanvändning
• Hantering och versionskontroll av promptar för gemensamt iterativt arbete
• LLM-as-Judge-utvärdering och insamling av mänsklig återkoppling för kvalitetsbedömning
• Övervakning av kostnader och tokenanvändning för flera modeller
• Öppen källkod under MIT-licensen och möjlighet till egen drift med ClickHouse som backend

Plattformen har inbyggd förståelse för LLM-begrepp som tokenanvändning, modellparametrar och utvärderingspoäng, samtidigt som den är oberoende av ramverk och modell. Team använder Langfuse för att lansera och vidareutveckla AI-system i produktion med god insyn och kontroll. Den kostnadsfria nivån omfattar 50 000 enheter per månad, vilket gör det möjligt att utvärdera tjänsten innan användningen skalas upp.