第22章 DeepSeek-V2.5 发布:融合通用与代码能力的新开源模型
DeepSeek-V2.5:兼顾通用与代码能力的新开源模型
我们正式发布了 DeepSeek-V2.5——DeepSeek-V2-0628 与 DeepSeek-Coder-V2-0724 的强强联合!新版本不仅保留了 Chat 模型的通用对话能力和 Coder 模型强大的代码处理能力,还更好地对齐了人类偏好。此外,DeepSeek-V2.5 在写作、指令遵循等任务上也有显著提升。模型现已在网页端和 API 上线,API 端点向后兼容,用户可通过 deepseek-coder 或 deepseek-chat 访问新模型。Function Calling、FIM 补全、JSON 输出等功能保持不变。一体化的 DeepSeek-V2.5 带来了更简洁、智能、高效的使用体验。
版本历史 DeepSeek 一直在持续打磨和优化模型。今年 6 月,我们将 DeepSeek-V2-Chat 的基座模型替换为 Coder-V2-base,大幅提升了代码生成与推理能力,发布了 DeepSeek-V2-Chat-0628。随后又推出了 DeepSeek-Coder-V2-0724,通过对齐优化增强了通用能力。最终,我们成功将 Chat 与 Coder 两个模型合并,打造出了全新的 DeepSeek-V2.5。
注意:本次版本更新幅度较大,如果在某些场景下表现下降,建议调整系统提示词(system prompt)和温度(temperature)参数以获得最佳效果!
通用能力
通用能力评测
我们使用业界标准测试集对 DeepSeek-V2.5 进行了评估。在大多数 benchmark 上,DeepSeek-V2.5 的表现均优于 DeepSeek-V2-0628 和 DeepSeek-Coder-V2-0724。在内部中文评测中,与 DeepSeek-V2-0628 相比,DeepSeek-V2.5 对 GPT-4o mini 和 ChatGPT-4o-latest 的胜率(由 GPT-4o 评判)显著提升,尤其是在内容创作和问答等任务上,整体用户体验得到增强。
安全性评测
在迭代开发过程中,如何平衡安全性与有用性一直是重点关注的问题。在 DeepSeek-V2.5 中,我们更清晰地界定了模型的安全边界,在增强抵御越狱(jailbreak)攻击能力的同时,减少了安全策略对正常提问的误伤。
模型 | 总体安全得分(越高越好)* | 安全外溢率(越低越好) DeepSeek-V2-0628 | 74.4% | 11.3% DeepSeek-V2.5 | 82.6% | 4.6%
* 得分基于内部测试集:分数越高,表示总体安全性越强。 得分基于内部测试集:比例越低,表示安全措施对正常提问的影响越小。
代码能力 在代码领域,DeepSeek-V2.5 保留了 DeepSeek-Coder-V2-0724 的强大代码能力,在 HumanEval Python 和 LiveCodeBench(2024 年 1 月至 9 月)测试中表现明显提升。DeepSeek-Coder-V2-0724 在 HumanEval Multilingual 和 Aider 测试中略占优势,但两个版本在 SWE-verified 测试中的成绩都相对较低,仍有提升空间。此外,在 FIM 补全任务中,DS-FIM-Eval 内部测试集显示提升了 5.1%,插件补全体验进一步优化。我们还针对常见编码场景对 DeepSeek-V2.5 做了优化,以改善用户体验。在 DS-Arena-Code 内部主观评测中(由 GPT-4o 担任裁判),DeepSeek-V2.5 对竞品的胜率显著提高。
开源 DeepSeek-V2.5 现已在 HuggingFace 上开源!欢迎查看: https://huggingface.co/deepseek-ai/DeepSeek-V2.5