奇链 奇链
← 文章 / AI技术
HuggingFace博客 4小时前 · 2026-10-14 01:54:01 · 10 阅读

本地高速运行隐私 Agent：LFM2.5-24B-A2B 发布

LFM2.5-24B-A2B 是一款拥有 240 亿参数、每次仅激活 20 亿参数的推理模型，专为本地设备上高速且隐私安全的人机代理（Agent）设计。该模型在作答前会先进行思考，支持调用工具，并能在主流代理框架中处理多步骤任务。由于每个 Token 仅激活 20 亿参数，推理成本极低，你甚至可以在自有硬件上持续运行代理。

  • 同类最佳代理： 在代理和工具使用任务上，其表现可与 Qwen3.6-35B-A3B 相媲美，甚至超越后者（该模型的总参数和激活参数均多约 50%）。在 LiveClaw 测试中，LFM2.5-24B-A2B 得分为 48.09，而 Qwen3.6-35B-A3B 仅为 38.19。
  • MoE 速度的推理： 回答前必先思考。得益于每 Token 仅激活 20 亿参数，推理 Token 的成本很低。
  • 高效推理： 在 Apple M5 Max 芯片上可达 184 tok/s，在单张 NVIDIA B300 GPU 上最高可达 21K 输出 tok/s。

LFM2.5-24B-A2B-benchmark

如何用 20 亿激活参数构建推理代理

LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并沿用了其架构：40 层结构，每个 MoE 模块包含 64 个专家并采用 Top-4 路由，同时保留门控短卷积与 GQA 的混合机制。上下文窗口从 32K 扩展至 131K Token，并通过原地分词器扩展技术，将词汇量从 65K 翻倍至 128K，以优化非拉丁字符的分词效果。与前代不同，这是一款纯推理模型，会在给出最终答案前生成显式的思维链。

预训练规模从约 17T Token 扩大至 33T Token。中期训练在 32K 上下文下增加 2T Token，权重偏向推理、数学、代码、指令跟随和多语言文本；在 131K 上下文下增加 300B Token，权重偏向长上下文数据。工具调用和多轮轨迹贯穿这两个阶段。后训练分五个阶段将基础模型转化为代理：

  1. 监督微调（SFT）
  2. 教师模型专业化
  3. 多领域在线策略蒸馏（MOPD），非 agentic 阶段：在非 agentic 任务上蒸馏各领域专家教师模型。
  4. MOPD，agentic 阶段：第二个蒸馏阶段，聚焦 agentic 任务。
  5. Agentic 强化学习（Agentic RL）：在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等 agent 框架内训练模型。

LFM2.5-24B-A2B-Training-Recipe

基准测试结果

我们在 16 个基准上，将 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了对比，评测覆盖工具调用与 agentic 工作流、知识、指令遵循、数学和编程。它是这组模型中体积最小的，但与总参数量和激活参数量多出约 50% 的 MoE 模型相比依然颇具竞争力。

基准测试 LFM2.5-24B-A2B Qwen3.6-35B-A3B Gemma-4-26B-A4B-it Nemotron-3.5-Lightning (30B-A3B)
AutomationBench 27.69 8.72 5.46 2.61
BFCLv4 65.01 65.00 57.09 53.78
ToolSandbox 80.71 75.02 72.09 75.13
LiveClaw 48.09 38.19 41.25 37.72
PinchBench 83.18 89.93 77.12 84.20
τ³-Bench Banking 8.04 7.63 4.54 7.01
WebArena Verified 26.75 37.62 25.62 28.69
GPQA Diamond 74.42 83.69 74.90 72.42
AA-Omniscience -24.90 -24.35 -59.39 -3.58
HLE 7.40 7.69 8.57 5.65
IFEval 96.75 93.06 92.00 94.19
IFBench 74.69 64.21 47.44 71.67
Multi-IF 84.38 81.53 82.19 82.34
MATH-500 96.04 96.73 95.66 96.40
SWE-Bench Verified (OpenCode) 51.00 66.20 25.80 53.40
SciCode 32.71 37.35 35.42 27.78

*所有模型均通过 vLLM 进行评估，并采用了各基准测试推荐的生成参数。

对于您的应用而言，该模型的优势在于工具调用和指令遵循。LFM2.5-24B-A2B 在 8 个工具使用和智能体基准测试中的 5 个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 以及 τ³-Bench Banking）上领先或匹敌竞品，其中在 AutomationBench 上的得分超过次优模型的 3 倍。此外，它在所有三项指令遵循基准测试中也位居榜首。虽然更大的模型在 GPQA Diamond、HLE、AA-Omniscience 等注重知识的基准测试，以及 SWE-Bench Verified (OpenCode) 和 SciCode 等代码基准测试中仍占优势，但建议为 LFM2.5-24B-A2B 配备检索或网络搜索功能，以应对需要大量知识的工作负载。

这些结果表明，LFM2.5-24B-A2B 是构建推理能力强、工具调用稳定且能在本地设备上可靠运行的智能体的坚实基础。

CPU 和 GPU 上的推理速度

LFM2.5-24B-A2B 在推理生态系统首日即获得广泛支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。

边缘推理。LFM2.5-24B-A2B 是受测 MoE 模型中速度最快的，在 M5 Max 上解码速度达 184 tokens/s，在 Ryzen AI Max+ 395 上达 114 tokens/s。其速度比次优模型快至多 1.7 倍，且占用内存最少。

LFM2.5-24B-A2B-edge-inference

GPU 推理。LFM2.5-24B-A2B 是同级别模型中最快的，在单张 B300 GPU 上高并发时，输出速度超过 21K tokens/s。

LFM2.5-24B-A2B-gpu-inference

LFM2.5-24B-A2B 的使用方法

当你需要能在本地设备上可靠运行、具备推理和工具调用能力的智能体时，LFM2.5-24B-A2B 是理想选择。

安装最新版 transformers（需兼容 transformers>=5.0.0）：

pip install -U transformers

随后加载并运行模型：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model_id = "LiquidAI/LFM2.5-24B-A2B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    dtype="bfloat16",
#   attn_implementation="flash_attention_2" <- 在兼容的 GPU 上取消此注释
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

prompt = "What is C. elegans?"

input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
)["input_ids"].to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.1,
    top_k=50,
    repetition_penalty=1.05,
    max_new_tokens=512,
    streamer=streamer,
)

在智能体框架中集成 LFM2.5-24B-A2B

在本地部署 LFM2.5-24B-A2B，并使用任何 OpenAI 兼容的后端提供服务，然后将智能体框架指向该服务。例如，使用 Hermes Agent 时可配置如下：

hermes config set model.provider custom
hermes config set model.base_url http://localhost:8080/v1
hermes config set model.default LFM2.5-24B-A2B
hermes config set model.context_length 131072
hermes config set model.api_mode chat_completions
hermes config set agent.tool_use_enforcement true

端口号取决于所选的部署后端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，LM Studio 使用 1234。OpenClaw 和 Pi 的配置请参见模型卡片，完整设置指南见官方文档，视频示例见发布博客。

开始使用 LFM2.5-24B-A2B

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均为开放权重模型，现已在 Hugging Face 上发布：

  • 下载：在 Hugging Face 上获取 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B。
  • 接入你的 agent 框架：参考我们的指南，了解如何运行本地 agent，例如 OpenClaw、Hermes Agent 和 Pi。
  • 微调：通过我们的微调教程，将 LFM2.5-24B-A2B 适配到你的任务中。

期待看到你用它构建的作品。

引用

如果你使用了这项工作，请引用发布博客：

@article{liquidAI202624BA2B,
  author  = {Liquid AI},
  title   = {LFM2.5-24B-A2B: Built for Fast On-Device Agents},
  journal = {Liquid AI Blog},
  year    = {2026},
  note    = {www.liquid.ai/blog/lfm2-5-24b-a2b},
}
原始来源： HuggingFace博客

评论 (0)