第21章 最佳本地编程 LLM 横评:Codestral、Qwen 2.5 Coder 与 DeepSeek Coder 谁更强?
AI 工程与研发
Codestral 22B、Qwen 2.5 Coder 与 DeepSeek V2 Coder:你应该选择哪款 AI 编程助手?
作者:Deepgram,发布日期:2024年10月11日
随着开源 LLM 生态的蓬勃发展,模型专业化趋势愈发明显,其中“代码”类 LLM 极受追捧,开源编程 LLM 领域简直令人振奋。
这些 LLM 旨在比“通识”模型更小,但目标是超越更大规模通用模型的编程性能。它们在以更低成本提供大模型能力的同时,进一步推动了本地 LLM 的普及。特别是在小型编程 LLM 领域,三款模型表现远超竞品:Codestral 22B、DeepSeek Coder V2 Lite 14B 和 Qwen 2.5 Coder 7B。
Codestral 22B 于 5 月 29 日发布,是 Mistral 推出的首个代码专用模型。据称,它精通 80 多种编程语言,并具备“中间填空”(Fill-in-the-Middle)能力,可协助开发者进行编码。
Qwen 2.5 Coder 7B 由阿里云于 2024 年 9 月 19 日发布。它属于 Qwen 系列,该系列模型参数范围从 1.5B 到 32B 不等,性能目标接近闭源模型。
DeepSeek V2 Coder 由 DeepSeek AI 于 2024 年 6 月发布。它是 DeepSeek V1 的改进版,使用 1.17 万亿个代码相关 token 进行训练,重点增强了代码生成和数学能力,同样支持“中间填空”功能。除了拥有 236B 参数的基础模型外,他们还发布了一个 16B 参数的小型“lite”版本。
数据对比
这三款模型在各自参数规模类别中均展现了最先进的性能,数据相当亮眼。让我们看看它们在流行编程基准测试 HumanEval 上的表现。
Codestral 得分为 81.1%,DeepSeek Coder V2 Lite 也是 81.1%,而 Qwen 2.5 Coder 7B 则达到了 88.4%,超越了体积远大于它的另外两款模型。作为参考,OpenAI 的闭源模型 GPT-4 得分仅为 87.1%,改进后的 GPT-4o 得分也仅比 Qwen 2.5 Coder 高 2 个百分点(90.2%)。
另一个值得关注的基准测试是 Spider,它包含超过 10,000 个问题,对应 5,000 多个复杂、跨领域的 SQL 查询。该基准测试对于在数据库中集成 LLM 至关重要。在这次测试中,Qwen 2.5 Coder 以较大优势领先,得分 82.0%,而 Codestral 仅得 76.6%。
下表对比了三款模型在各项基准测试中的表现,并将 GPT-4o 列为参照:
注意:Codestral 的基准数据取自 DeepSeek Coder 对 Codestral 的对比测试,该数据高于 Mistral 官方报告的数据。
从纯数据来看,Qwen 2.5 Coder 7B 在所有方面都绝对优于其他模型,在某些场景下甚至接近 GPT-4o 的性能。
当然,数据并不能说明一切。我们需要在真实场景中测试这些模型,以了解它们的实际“表现”和“操作方式”。
在下方的实验中,我在配备 24GB 统一内存的 M2 MacBook Air 上本地运行所有模型,使用 ollama,底层基于 llama.cpp。在模型优化方面,我对所有模型使用 Q6_K 量化,这在保留原模型合理性能的同时,确保它们都能适配我的 24GB 内存机器。
为了了解模型大小和速度差异,以下是它们在笔记本上运行时的 GGUF 文件大小及每秒 token 数(t/s):
- Codestral 22B - 约 18GB(3.31 t/s)
- DeepSeek Coder V2 Lite 16B - 约 14GB(8.35 t/s)
- Qwen 2.5 Coder 7B - 约 6.3GB(10.31 t/s)
经典游戏
让我们从一个经典的 HTML、CSS 和 JavaScript 贪吃蛇游戏开始。我想看看 LLM 处理一次性编码任务的能力。对于一个没有编程经验、无法指导 LLM 或调试其输出的用户来说,它能多大程度上创建有用的东西?以下是我用于所有 LLM 的提示词:
用 HTML、CSS 和 JavaScript 在一个文件中编写一个基础且功能完整的贪吃蛇游戏。玩家使用方向键控制蛇。
Qwen Coder 毫无问题地生成了代码,完美完成了任务。我甚至多次尝试提示词的变体,以确保这不是侥幸,但 Qwen 每次都能交付成果。
Qwen 实现的贪吃蛇游戏实录
另一方面,Codestral 虽然成功生成了可运行的游戏,但存在一些小毛病和 bug。碰撞检测并不完美,蛇的移动速度太慢,且蛇身增长几乎看不出来。
Codestral 实现的贪吃蛇游戏实录
DeepSeek 的表现令人失望。尽管经过多轮对话,它仍无法生成一个简单贪吃蛇游戏的可用实现。DeepSeek 使用“addEventListener”方法监听按键,但由于移动代码中的 bug,在所有实现中按键均未生效。
我还尝试提示 LLM 编写 2048、扫雷和俄罗斯方块等更复杂的“经典游戏”。除最小的 Qwen 7B Coder 外,几乎所有 LLM 都在这些更“复杂”的提示下失败,生成的代码基本无法运行。
在我的测试中,Qwen 在处理 2048 和俄罗斯方块等复杂游戏时有些吃力,但生成的代码通常具备部分功能,例如 2048 中部分移动逻辑可用,或俄罗斯方块中只有方块下落功能正常。
然而,对于扫雷,Qwen 能够稳定生成近乎完美的实现。以下是其中一个美观度较高的实现版本,以及我加速回放的游戏过程。
Qwen 实现的扫雷游戏实录
测试结果总结如下:
复杂代码
这些模型,尤其是 Codestral,在 Python 编码方面表现出色,其熟练度超过其他语言。我想出了一个相当具有挑战性的请求,这是我个人机器学习项目中实际需要的。
与典型的“一次性”完整游戏任务不同,我只需要两个特定函数。让我们看看它们的反应。
以下是给予所有模型的提示词:
"""创建两个 Python 函数: 1. `five_crop(images, masks)`: - 输入:图像和掩码批次,形状为 (b, 1, h, w) - 输出:裁剪后的图像和掩码,形状为 (5*b, 1, h/2, w/2) - 对图像执行五裁剪,裁出四个角和中心图像 - 裁剪图像的尺寸始终为原图像尺寸的一半,假设原图像尺寸可被 2 整除 - 假设所有裁剪图像和原图像均为正方形,即 h == w 2. `reconstruct(predictions)`: - 输入:裁剪掩码的预测值,形状为 (5*b, 1, h/2, w/2) - 输出:重构后的预测值,形状为 (b, 1, h, w) - 将裁剪部分拼回原始大小 - 平均重叠区域 注意:两个函数应支持任意批次大小和单通道输入。"""
预期输出
Qwen 2.5
Qwen 2.5 Coder 7B 开局良好。其 five_crop 函数运行完美,但 reconstruct 函数遇到了一些麻烦。尽管经过多次修改,Qwen 似乎对裁剪掩码的具体内容感到困惑。
reconstruct 函数的输入是 five_crop 函数产生的输出,即包含裁剪图像的张量。第一维度中每 b 个图像代表不同的裁剪,顺序为第一张图的左上部分,接着是第二张图的左上部分,依此类推。虽然 Qwen 似乎理解了图像重构的逻辑,但用于提取裁剪区域的索引在多次提示和修改后仍存在问题。
Qwen 的实现
DeepSeek Lite
DeepSeek 也成功实现了 five_crop,但其实现过程略显繁琐且不够清晰。我更偏好 Qwen 2.5 的实现。对于 reconstruct 函数,代码运行没有错误,但图像远非重构结果,就像一副拼错位置的拼图。额外的提示和引导未能带来改进。
DeepSeek Lite 的实现
Codestral
Codestral 的 five_crop 函数完美无瑕,且可读性优于 Qwen,它使用 torchvision 的 crop 函数裁剪每个区域,而不是 Qwen 使用的那种混乱索引。与其他模型类似,它在 reconstruct 函数上遇到了一些困难,但在澄清了裁剪图像的前导维度包含的内容后,Codestral 一次性给出了完美的实现。
Codestral 的最终实现
“基础”知识
除了更长、更复杂的编码任务,我还向 LLM 提出了一些关于数学和 Python 基础知识的基本短问题。这些问题测试基础概念,评估 LLM 在不进行不必要赘述的情况下提供精确、准确答案的能力,这是完成复杂请求的基石。此外,它们还能揭示 LLM 知识库或推理过程中意想不到的弱点。
31793 是质数吗?
Qwen 没有直接回答,而是试图“模拟”Python 解释器,写下一些代码后却幻觉出了一个错误的“False”输出。
DeepSeek 回答错误,它列出了一长串逐个检查可除性的测试,并声称 31793 可被 19 整除。
Codestral 试图编写 Python 代码测试该数字,但在回复末尾给出了直接且正确的答案:“yes”。
编写一个 Python 函数,在不使用内置 reverse() 方法的情况下反转字符串。
Qwen 编写了可用的代码,但没有使用快捷方式 [::-1],而是循环遍历列表进行反转。它确实将快捷实现作为“替代方案”提出。
DeepSeek 也生成了可用代码,但甚至没有建议使用快捷方式 [::-1]。相反,它巧妙地循环遍历字符串并将每个字符添加到列表前端,这是一种比 Qwen 更简洁但并非完美的实现。
Codestral 使用了 [::-1] 切片技巧,并给出了简洁、正确的回复。
计算半径为 7.5 单位的圆的面积。将答案四舍五入到小数点后两位。
Qwen 准确计算出了百位分之一的面积 176.71,但解释过于冗长。
DeepSeek 给出了与 Qwen 几乎相同的结果:冗长的解释,但正确答案为 176.71。
Codestral 给出了简洁、准确的答案:176.71。
二进制数 1010 和 1100 进行异或(XOR)的结果是什么?
Qwen 回答错误,给出“0100”,并试图编写它无法运行的 Python 代码来解决问题。
DeepSeek 回答正确,但解释不必要地冗长。
Codestral 回答正确,解释长度适中。
总体而言,较大的模型显得略微更“聪明”。增加的参数规模赋予了它们更多的“原始”力量来回忆知识和理解上下文。最小的模型 Qwen 经常编写并假装运行 Python 代码,而不是直接回答问题。DeepSeek 和 Codestral 都更擅长仅在要求时编写代码。令人惊讶的是,只有 Codestral 给出了最简洁且最广泛采用的字符串反转实现。
以下是本文在三个模型上进行的所有测试结果的总结:
你应该选择哪一个?
如果不考虑计算成本,我建议 Python 任务选择 Codestral,其他语言选择 Qwen。
虽然 Codestral 在浏览器游戏测试中表现不佳,但其更大的参数规模使得对话感觉更“流畅”,因为它比小模型更好地理解语言。与 Codestral 交谈更像是在和 ChatGPT 对话,而 Qwen 和 DeepSeek 则感觉只知道用“代码”交流。
如果内存限制和速度是制约因素,那么 Qwen 是不二之选。它在某些情况下比 Codestral 更聪明,且内存需求不到 Codestral 的一半(Q6 量化版本仅占 6.3GB)。它可以在大多数 GPU 和所有 Apple Silicon Mac 上以不错的速度轻松运行。
当然,这恐怕不会是最终定论。因为 Qwen 背后的公司阿里巴巴计划发布 32B 版本的 coder,目标是对标最先进的闭源性能。32B 模型的低量化版本将能够运行在可以运行 Codestral 的机器上。开源编程 LLM 领域简直令人振奋。
相关文章
Francisco Sousa Machado,GTM 负责人 - 西班牙:使用 Nova-3 让您的西班牙联络中心做好应对 Ley 10/2025 的准备(公告)
Abe Pursell,全球业务与合作伙伴关系高级副总裁:Deepgram Marketplace:语音 AI 的开放生态(公告)
Ed Anuff,首席产品官:保持对话线程的语音代理(公告)
Deepgram:Deepgram 收购 Pipecat 的开发者 Daily,提供首个完整、可投入生产、开放的对话式语音 AI 堆栈(公告)