Langfuse

Langfuse è una piattaforma di osservabilità progettata appositamente per i team di ingegneria AI che sviluppano applicazioni LLM e sistemi basati su agenti. Offre un tracing completo che registra ogni operazione, comprese chiamate LLM, fasi di recupero delle informazioni, esecuzioni di strumenti e logica personalizzata, con tempi e metadati dettagliati. In questo modo consente di individuare rapidamente i problemi e ottimizzare i flussi AI in produzione.

Punti di forza

• Tracing completo delle richieste LLM con monitoraggio di prompt, risposte e token
• Gestione e versionamento dei prompt per lavorare in modo collaborativo sulle iterazioni
• Valutazioni LLM-as-Judge e raccolta di feedback umano per misurare la qualità
• Monitoraggio dei costi e dell'utilizzo dei token tra più modelli
• Open source con licenza MIT, installabile sui propri server e basato su ClickHouse

La piattaforma comprende nativamente concetti propri degli LLM, come utilizzo dei token, parametri dei modelli e punteggi di valutazione, pur restando indipendente da framework e modelli specifici. I team usano Langfuse per pubblicare e perfezionare sistemi AI in produzione mantenendo visibilità e controllo. Il piano gratuito include 50.000 unità al mese, permettendo di valutare la piattaforma prima di ampliarne l'utilizzo.