奇链 奇链
← 文章 / 未分类
mistral 7小时前 · 2026-09-01 19:04:11 · 2 阅读

Mistral Small 3 Mistral AI

今天，我们推出了 Mistral Small 3。这是一款针对低延迟场景优化的 240 亿参数模型，采用 Apache 2.0 许可证发布。

Up and to the Left

Mistral Small 3 的表现可与更大规模的模型相媲美，例如 Llama 3.3 70B 和 Qwen 32B；相比 GPT-4o-mini 这类不透明的专有模型，它也是出色的开放替代方案。Mistral Small 3 的水平与 Llama 3.3 70B instruct 相当，但在相同硬件上速度快 3 倍以上。

Mistral Small 3 是一款经过预训练和指令微调的模型，面向生成式 AI 任务中占比约 80% 的常见场景——这些任务需要可靠的语言理解与指令遵循能力，同时还要求极低延迟。

我们设计这款新模型时，希望在适合本地部署的规模下实现性能最大化。与同类模型相比，Mistral Small 3 的层数少得多，因此显著缩短了每次前向传播所需的时间。在 MMLU 上准确率超过 81%、延迟达到每秒 150 个 token 的情况下，Mistral Small 目前是同类别中效率最高的模型。

我们将在 Apache 2.0 许可证下同时发布预训练版和指令微调版 checkpoint。这些 checkpoint 可以作为强大的基础，助力进一步加速相关进展。需要注意的是，Mistral Small 3 既未经过 RL 训练，也未使用合成数据，因此其所处的模型生产流程早于 DeepSeek R1 等模型（后者是一项优秀且互补的开源技术！）。它可以作为构建和积累推理能力的出色基础模型。我们期待看到开源社区如何采用并定制它。

性能

人工评测

我们与一家外部第三方机构合作，针对超过 1000 条专有编程和通用任务提示词进行了并排评测。评测人员需要在匿名生成的回答中，选择自己更偏好的模型输出，对比对象为 Mistral Small 3 和另一款模型。我们知道，人工评测结果有时会与公开基准产生明显差异，因此在评测公平性方面格外谨慎，并进行了多重验证。我们确信上述基准结果是有效的。

指令遵循性能

我们的指令微调模型在代码、数学、常识和指令遵循基准测试中，性能可与参数规模大其三倍的开放权重模型以及闭源的 GPT4o-mini 相媲美。

Mistral Instruct Knowledge

Mistral Instruct Code Math

Mistral Instruct If

所有基准测试的性能数据均通过同一套内部评测流程获得，因此与此前公布的数据（Qwen2.5-32B-Instruct、Llama-3.3-70B-Instruct、Gemma-2-27B-IT）可能存在轻微差异。Wildbench、Arena hard 和 MTBench 等基于模型评审的评测，均使用 gpt-4o-2024-05-13 作为评审模型。

预训练性能

Mistral Base Benchmarks

Mistral Base Mmlu Int

Mistral Small 3 是一款 24B 模型，在同等规模模型中性能最佳，其表现可媲美 Llama 3.3 70B 等参数规模大三倍的模型。

何时使用 Mistral Small 3

从客户和社区的反馈来看，我们发现这一规模的预训练模型正逐渐涌现出几类典型应用场景：

  • 快速响应的对话助手：Mistral Small 3 擅长需要快速、准确回复的场景，例如各种虚拟助手——用户通常期望即时反馈和近实时交互。

  • 低延迟函数调用：将 Mistral Small 3 用于自动化或智能体工作流时，它能够快速执行函数调用。

  • 微调，打造领域专家：Mistral Small 3 可以通过微调专注于特定领域，打造高准确度的领域专家。这对于法律咨询、医疗诊断和技术支持等高度依赖专业知识的场景尤其有用。

  • 本地推理：对于爱好者以及处理敏感或专有信息的组织而言，本地推理尤其有价值。经过量化后，Mistral Small 3 可以在单块 RTX 4090 或配备 32GB 内存的 MacBook 上私有运行。

目前，我们的客户正在多个行业评估 Mistral Small 3，包括：

  • 金融服务：用于欺诈检测

  • 医疗保健：用于客户分诊

  • 机器人、汽车和制造业：用于设备端命令与控制

  • 跨行业通用场景：虚拟客服、情感分析和反馈分析。

在你偏好的技术栈中使用 Mistral Small 3

Mistral Small 3 现已在 la Plateforme 上线，模型名称为 mistral-small-latest 或 mistral-small-2501。欢迎查看我们的 文档，了解如何使用我们的模型进行文本生成。

我们也很高兴与 Hugging Face、Ollama、Kaggle、Together AI 和 Fireworks AI 展开合作，从今天起在这些平台提供该模型：

未来展望

开源社区近期的发展令人振奋！Mistral Small 3 可以补充 DeepSeek 等近期发布的大型开源推理模型，也能作为强大的基础模型，帮助开发者进一步激发模型的推理能力。

此外，未来几周内，大家还将看到推理能力得到增强的大小型 Mistral 模型。如果你对此感兴趣，欢迎加入我们的旅程（我们正在招聘）；或者，今天就开始改造 Mistral Small 3，争取先我们一步把它做得更好！

Mistral 的开源模型

我们将继续坚持为通用模型采用 Apache 2.0 许可证，并逐步减少对 MRL 许可证模型的依赖。与 Mistral Small 3 一样，模型权重都可以下载并在本地部署，也可以自由修改和使用，不受用途限制。这些模型还将通过 la Plateforme 提供无服务器 API，并支持通过我们的本地部署和 VPC 部署、定制与编排平台，以及推理和云服务合作伙伴使用。对于需要专业能力的企业和开发者——例如更高的速度和更长的上下文、特定领域知识，或代码补全等面向特定任务的模型——我们还将提供更多商业模型，作为社区贡献的补充。

0%

原始来源： mistral

评论 (0)