方案简介

Langfuse 是一个开源的 LLM 工程平台，帮助团队协作开发、监控、评估和调试 AI 应用。它将可观测性（tracing）、Prompt 管理、评估、数据集与 Playground 等能力组合为一个完整方案，解决 LLM 应用在生产环境中难以追踪调用链路、难以迭代 prompt、难以量化效果的痛点。Langfuse 可以在几分钟内自托管，且经过大量生产实践检验。适合正在构建 LLM 应用/Agent、需要 LLMOps 工作流的工程团队，既可使用官方托管的 Langfuse Cloud（有慷慨免费额度、无需信用卡），也可在自己的基础设施上自托管。

亮点与能力

• LLM 应用可观测性：对应用插桩后即可将 trace 摄入 Langfuse，追踪 LLM 调用以及检索、embedding、agent 动作等相关逻辑，检查和调试复杂日志与用户会话。
• Prompt 管理：集中管理、版本控制并协作迭代 prompt，服务端与客户端强缓存使迭代 prompt 不增加应用延迟。
• 评估：支持 LLM-as-a-judge、代码评估器、用户反馈收集、人工标注，以及通过 API/SDK 的自定义评估流水线。
• 数据集：为 LLM 应用提供测试集与基准，支持持续改进、部署前测试、结构化实验，并可与 LangChain、LlamaIndex 等框架无缝集成。
• LLM Playground：测试和迭代 prompt 与模型配置的工具，缩短反馈回路；在 tracing 中看到坏结果可直接跳到 playground 迭代。
• 全面的 API：OpenAPI spec、Postman collection，以及 Python、JS/TS 的类型化 SDK。

组成与分工

• Langfuse：核心平台，提供 tracing、prompt 管理、评估、数据集与 Playground 等能力。
• Docker Compose：本地与单机 VM 部署方式，一条命令拉起整套服务。
• Kubernetes (Helm)：生产环境推荐的部署方式。
• ClickHouse：Langfuse 底层使用的开源数据库（"Proudly made with ClickHouse open source database"）。
• LangChain / LlamaIndex：数据集与评估能力可与之无缝集成的 LLM 框架。
• Python / JS/TS SDK 与 OpenAPI：应用接入与自定义评估流水线的接口层。

前置要求

• 本地部署需要安装 Docker 与 Docker Compose。
• 生产环境推荐 Kubernetes 集群加 Helm。
• 云端一键部署可使用官方提供的 AWS、Azure、GCP Terraform 模板。

实施步骤

1. 克隆仓库

获取最新 Langfuse 仓库的副本：

bash

Get a copy of the latest Langfuse repository

git clone --depth=1 https://github.com/langfuse/langfuse.git
cd langfuse

2. 启动服务

使用 docker compose 一键启动：

bash

Run the langfuse docker compose

docker compose up

官方宣称按此方式可在 5 分钟内于本机运行起 Langfuse（"Run Langfuse on your own machine in 5 minutes using Docker Compose"）。

使用与配置要点

• 部署后可对应用插桩，开始向 Langfuse 摄入 trace，追踪 LLM 调用、检索、embedding 或 agent 动作。
• 使用 Prompt 管理集中管理与版本化 prompt，依托服务端/客户端缓存避免迭代增加延迟。
• 通过数据集构建测试集与基准，进行部署前测试和结构化实验。
• 在 tracing 中看到坏结果可直接跳到 Playground 迭代 prompt 与模型配置。
• 也可通过 OpenAPI spec、Postman collection 或 Python/JS-TS 类型化 SDK 构建定制 LLMOps 工作流。

注意事项与常见问题

• 本地 docker compose 适合本机运行；单机 VM 方式同样使用 Docker Compose；Kubernetes (Helm) 是官方 preferred production deployment，生产环境应优先考虑。
• 除自托管外，官方还提供 Langfuse Cloud 托管部署，免费额度慷慨且无需信用卡，可作为免运维的选择。
• AWS、Azure、GCP 均有官方 Terraform 模板可加速云上部署。
• 更多架构与配置选项见官方 self-hosting 文档。

优缺点

• ✓ 五分钟自托管部署
• ✓ 与主流框架集成
• ✕ 生产推荐需 K8s 集群

出处

本方案挖掘自开源项目 langfuse/langfuse，方案内容与实施命令均来自其 README 原文。