Langfuse

Langfuse — специализированная платформа наблюдаемости для команд ИИ-разработки, создающих приложения на основе LLM и агентные системы. Она обеспечивает сквозную трассировку каждой операции — вызовов LLM, этапов поиска данных, выполнения инструментов и собственной логики — с полным контекстом времени выполнения и метаданных. Это позволяет быстро отлаживать и оптимизировать рабочие процессы ИИ в продакшене.

Основные возможности

• Полная трассировка запросов к LLM с отслеживанием промптов, ответов и токенов
• Управление промптами и версиями для совместной итеративной работы
• Оценка методом LLM-as-Judge и сбор обратной связи от людей для контроля качества
• Мониторинг затрат и использования токенов в разных моделях
• Открытый исходный код по лицензии MIT и возможность самостоятельного размещения с ClickHouse в качестве бэкенда

Платформа изначально понимает такие понятия LLM, как использование токенов, параметры моделей и оценки качества, поэтому не зависит от конкретных фреймворков и моделей. Команды используют Langfuse, чтобы уверенно выпускать и совершенствовать продакшен-системы ИИ, сохраняя прозрачность и контроль. Бесплатный тариф включает 50 000 единиц в месяц, поэтому платформу можно оценить до масштабирования.