第31章：用 Unsloth 微调 Mistral Small 3.1

unsloth

下载

☰

下载

博客：微调并运行 Mistral Small 3.1

2025 年 3 月 17 日 • 作者：Daniel & Michael

Mistral Small 3.1（2503）是 Mistral 推出的一款新型多模态模型，支持文本与视觉理解，上下文长度达 128K。凭借 24B 参数，它在多项基准测试中超越了 GPT-4o。

Mistral Small 3.1（2503）现已获得支持！Unsloth 已直接适配该模型。只要拥有至少 18GB 显存（VRAM），即可对它进行微调。

Unsloth 使 Mistral Small 3.1（2503）的微调速度提升 1.8 倍，显存占用降低 70%。在配备 48GB 显存的 GPU 上，其支持的上下文长度是 Flash Attention 2 环境下的 10 倍。

我们已在 Hugging Face 上上传了 Mistral Small 3.1 + 3 的所有版本，包括 2-8 位 GGUF、动态 4 位量化以及 16 位版本，点击此处查看。

✨ Mistral Small 3.1 微调

使用 Unsloth，Mistral Small 3.1 + 3 的微调所需的显存可控制在 18GB 以内，且速度提升 1.8 倍。默认采用 Unsloth 动态 4 位量化，以获得更优的精度。此外，还可以直接使用 Unsloth 的 GRPO 技术对 Mistral Small 3（2501）进行训练，以打造自有的推理模型。

若要在 Colab/Kaggle 或本地环境中微调该模型，请使用我们的基础版 Mistral v0.3 Instruct（7B）Jupyter Notebook，只需将模型名称更改为对应的 Mistral Small 3（2501）版本即可，模型文件已上传至此处。请注意，免费版的 Colab T4 GPU 仅 16GB 显存，无法运行此流程，因此需要租用付费的 L4 实例。

查阅所有笔记本和模型上传内容，请访问我们的文档中心。

性能基准

| 模型 | 显存 | Unsloth 速度 | 显存降幅 | 上下文长度 | Hugging Face +FA2 | | :--- | :--- | :--- | :--- | :--- | :--- | | Mistral-Small-3 | 24GB | 1.8x | >70% | 10x 长 | 1x |

测试环境采用 Alpaca 数据集，批大小为 2，梯度累积步数为 4，秩为 32，并对所有线性层（q, k, v, o, gate, up, down）应用了 QLoRA。

💕 衷心感谢！

非常感谢 Mistral 团队的支持，也感谢所有使用与分享 Unsloth 的朋友们。🙏

一如既往地，欢迎加入我们的 Reddit 和 Discord 社区寻求协助或表达支持。也可以在 Twitter 上关注我们，订阅我们的通讯。

感谢阅读！

Daniel & Michael Han 🦥

2025 年 3 月 17 日

即刻免费微调 Gemma 3！免费开始使用

加入我们的 Discord