1 v0.1.0 更新于 2026-10-28

evalsmith-mcp MCP Server

Evaluate RAG retrieval, agent tool calls and prompt regressions with deterministic metrics.

适用客户端

本地客户端

Claude Desktop、Claude Code、Cursor、Cline 等支持本地 MCP 的客户端

本地运行(npm)

{
  "mcpServers": {
    "evalsmith-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "evalsmith-mcp"
      ]
    }
  }
}

将上方 JSON 加入 MCP 客户端配置(如 Claude Desktop 的 claude_desktop_config.json 或项目的 .mcp.json)即可接入;远程接入按客户端要求填写 URL 与鉴权头。

evaluate_retrieval

根据 qrels 和排序结果计算 recall、precision、nDCG、hit rate、MRR 等检索指标。

compare_configs

使用带种子的配对 Bootstrap 置信区间对 2-3 个配置进行排名并判断差距是否显著。

check_tool_calls

将 agent 的工具调用 trace 与预期调用进行比对,支持严格或宽松顺序及参数匹配。

detect_prompt_regression

通过 golden 集对比基线与候选输出,检测提示词变更是否引发回归。

generate_report

将评估结果渲染为 markdown、JSON 或 JUnit XML 格式的报告并判断门禁是否通过。

run_suite

根据 evalsmith.yaml 配置运行完整评估套件,可设置门禁、judge 和输出格式。