Langfuse

Langfuse to platforma obserwowalności zaprojektowana dla zespołów inżynierskich tworzących aplikacje LLM i systemy agentowe. Zapewnia kompleksowe śledzenie każdej operacji, w tym wywołań LLM, etapów wyszukiwania, uruchomień narzędzi i własnej logiki, wraz z pełnymi danymi o czasie i metadanymi. Umożliwia to szybkie diagnozowanie błędów i optymalizowanie produkcyjnych procesów AI.

Najważniejsze funkcje

• Pełne śledzenie żądań LLM, w tym promptów, odpowiedzi i użycia tokenów
• Zarządzanie promptami i ich wersjami na potrzeby zespołowego doskonalenia
• Ocena typu LLM-as-Judge i zbieranie opinii użytkowników do mierzenia jakości
• Monitorowanie kosztów i wykorzystania tokenów w wielu modelach
• Otwarty kod źródłowy na licencji MIT oraz możliwość samodzielnego hostowania z bazą ClickHouse

Platforma natywnie rozumie pojęcia związane z LLM, takie jak wykorzystanie tokenów, parametry modeli i wyniki ocen, pozostając niezależna od frameworka i modelu. Zespoły używają Langfuse, aby wdrażać i rozwijać produkcyjne systemy AI z większą przejrzystością i kontrolą. Bezpłatny plan obejmuje 50 000 jednostek miesięcznie, co pozwala ocenić platformę przed zwiększeniem skali.