Langfuse

Langfuse ist eine speziell für KI-Entwicklungsteams konzipierte Beobachtungsplattform für LLM-Anwendungen und agentenbasierte Systeme. Die durchgängige Ablaufverfolgung erfasst jeden Vorgang – LLM-Aufrufe, Abrufschritte, Werkzeugausführungen und eigene Logik – einschließlich Zeitangaben und Metadaten. Dadurch lassen sich produktive KI-Abläufe schneller untersuchen und optimieren.

Highlights

• Vollständige Verfolgung von LLM-Anfragen einschließlich Prompts, Antworten und Tokenverbrauch
• Verwaltung und Versionierung von Prompts für die gemeinsame Weiterentwicklung
• Bewertung durch LLM-as-Judge und Erfassung menschlichen Feedbacks zur Qualitätsprüfung
• Überwachung von Kosten und Tokenverbrauch über mehrere Modelle hinweg
• Quelloffen unter MIT-Lizenz und mit ClickHouse-Backend selbst betreibbar

Die Plattform versteht LLM-spezifische Konzepte wie Tokenverbrauch, Modellparameter und Bewertungswerte und bleibt dabei unabhängig von Framework und Modell. Teams nutzen Langfuse, um produktive KI-Systeme kontrolliert und transparent bereitzustellen und weiterzuentwickeln. Der kostenlose Tarif umfasst monatlich 50.000 Einheiten und ermöglicht eine Erprobung vor der Skalierung.