Langfuse

Como o Langfuse oferece observabilidade e rastreamento para o Agentic Data Stack

Langfuse é a camada de observabilidade do Agentic Data Stack. Ele registra o que o agente fez no LibreChat para que você possa depurá-lo, medir a qualidade e acompanhar o custo. Desenvolvido com base em OpenTelemetry, o Langfuse roda sobre o ClickHouse.

​

Rastreie e inspecione cada execução

Cada conversa é capturada como um trace do Langfuse: os prompts, cada chamada de ferramenta (incluindo o SQL que o agente executou) e a resposta. Cada trace também registra o uso de tokens, custo e latência. Abra uma execução para ver o que o agente fez e onde falhou. Ordene por usuário e sessão para ver quem está gastando mais.

​

Avalie a qualidade da saída

A saída do modelo é não determinística, então o Langfuse permite medir sua qualidade em vez de ficar no achismo. Pontue as execuções com anotação humana ou com um avaliador automatizado de LLM como juiz, por exemplo, para sinalizar quando uma resposta está errada ou uma análise não é útil.

​

Na stack

A stack conecta o LibreChat ao Langfuse para que cada execução seja rastreada automaticamente, sem necessidade de adicionar instrumentação. Os traces são armazenados na própria instância de ClickHouse da stack, mantendo seus dados de observabilidade ao lado dos dados consultados. Para executá-lo como parte da stack, consulte o guia de setup do Docker.

Para enviar traces de uma instância independente do LibreChat ou usar um endpoint regional ou HIPAA do Langfuse, consulte o guia complementar do Langfuse. Para Langfuse no ClickHouse em geral, consulte a visão geral do Langfuse.

Prefere uma experiência gerenciada? O Langfuse Cloud é uma implantação totalmente gerenciada com um cluster gerenciado do ClickHouse — sem infraestrutura para administrar.