Langfuse

Как Langfuse обеспечивает обсервабилити и трассировку для агентного стека данных

Langfuse — это уровень обсервабилити в Agentic Data Stack. Он фиксирует действия агента в LibreChat, чтобы вы могли отлаживать его, оценивать качество и отслеживать затраты. Langfuse построен на OpenTelemetry и работает на ClickHouse.

​

Отслеживайте и проверяйте каждый запуск

Каждый диалог сохраняется как трейс Langfuse: промпты, каждый вызов инструмента (включая SQL, который выполнял агент), и ответ. В каждом трейсе также фиксируются расход токенов, стоимость и задержка. Откройте запуск, чтобы увидеть, что делал агент и где произошла ошибка. Сортируйте по пользователю и сеансу, чтобы понять, кто расходует больше всего.

​

Оценивайте качество результатов

Результаты модели недетерминированы, поэтому Langfuse позволяет измерять качество, а не гадать о нём. Оценивайте запуски с помощью ручной разметки или автоматического оценщика LLM-as-a-judge — например, чтобы отмечать случаи, когда ответ неверен или анализ бесполезен.

​

В составе стека

Стек подключает LibreChat к Langfuse, поэтому каждый запуск автоматически отслеживается, без дополнительной инструментализации. Трассировки хранятся в собственном экземпляре ClickHouse этого стека, поэтому данные обсервабилити находятся рядом с данными, к которым вы обращаетесь в запросах. Чтобы запустить это в составе стека, см. руководство по настройке Docker.

Чтобы отправлять трассировки из автономного экземпляра LibreChat или использовать региональную конечную точку Langfuse либо конечную точку с поддержкой HIPAA, см. сопутствующее руководство по Langfuse. Общие сведения о Langfuse с ClickHouse см. в обзоре Langfuse.

Предпочитаете управляемый вариант? Langfuse Cloud — это полностью управляемое развертывание на базе управляемого кластера ClickHouse, без необходимости поддерживать инфраструктуру.