← 文章 / 开源项目
The Decoder 2小时前 · 2026-10-21 03:50:54 · 1 阅读

Deepseek 开源推理引擎 DeepInfer 以支持最快最便宜的 AI 模型

Deepseek 已按照 Apache License 2.0 协议开源其内部推理框架 DeepInfer。推理是指训练后的 AI 模型处理请求并生成响应的过程。DeepInfer 是支撑 Deepseek V4.1-Flash 模型大规模快速生成答案的服务软件。

该框架基于 vLLM 构建,具备优化过的计算内核、跨芯片分布式处理以及更快的文本生成技术。Deepseek 未来模型的代码也将以开源形式发布。此外,Deepseek 还推出了 deepseek-recipe,它复刻了官方 Deepseek API 的 token 处理逻辑,确保自托管环境的行为与官方一致。

Deepseek 的模型成本本就极低,DeepInfer 则填补了让其运行成本进一步降低的最后一块拼图。Deepseek 在 X 平台上表示,此举旨在“帮助社区降低计算成本、减少能源消耗,让 AI 更加亲民”。但这一发布也给 OpenAI 和 Anthropic 等西方提供商带来了定价压力。鉴于中美之间的 AI 竞争,这一举动也可能出于政治考量。如果西方 AI 公司未能达成增长目标,美国乃至全球经济都将面临风险。

原始来源: The Decoder

评论 (0)