第35章 微调并运行 Qwen3：Unsloth 支持 Qwen3 模型全量与量化微调

unsloth

Blog

微调并运行 Qwen3 2025年5月2日 • Daniel & Michael

Qwen 新发布的 Qwen3 模型在推理能力、指令遵循、Agent 能力和多语言支持方面都有显著提升。现在 Unsloth 已支持对它进行微调。

所有 Qwen3 上传版本均采用我们全新的 Unsloth Dynamic 2.0 方法，在 5-shot MMLU 和 KL Divergence 基准测试中表现最佳。这意味着你可以运行并微调量化后的 Qwen3 LLM，而且几乎不损失精度！

我们还上传了原生支持 128K 上下文长度的 Qwen3。Qwen 使用 YaRN 将原本 40K 的窗口扩展到了 128K。

Qwen3 (14B) 微调 notebook 已发布！Colab notebook

Unsloth 让 Qwen3 (8B) 的微调速度提升 2 倍、显存占用降低 70%、上下文长度扩展 8 倍（在所有启用 Flash Attention 2 的环境中对比）。Qwen3-30B-A3B 用 Unsloth 只需 17.5GB 显存即可轻松运行。

我们在 Hugging Face 上上传了 Qwen3 的所有版本，包括 Dynamic 2.0 GGUF、动态 4-bit 等。

阅读我们的指南，了解如何正确运行 Qwen3。

Unsloth 支持一切功能*：全量微调、8-bit、预训练、所有 Transformer 架构模型（Phi-4 reasoning、Mixtral、MOE、Cohere 等），以及任意训练算法，比如配合 VLM 使用 GRPO。

同时非常感谢 Qwen 团队的协作与支持！

✨Qwen3 微调

Qwen3 的 MOE 模型同样支持，包括 30B-A3B 和 235B-A22B。 查看我们的 Qwen3 Alpaca notebook。

请确保使用最新 pip 版本的 Unsloth。更新命令：

``` pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo ```

性能基准测试

| 模型 | 显存 | 🦥Unsloth 速度 | 🦥 显存节省 | 🦥 上下文延长 | 🤗Hugging Face + FA2 | |---|---|---|---|---|---| | Qwen3-30B | 24GB | 2x | >70% | 8x longer | 1x |

测试条件：使用 Alpaca 数据集，batch size 为 2，梯度累积步数为 4，rank = 32，并对所有线性层（q, k, v, o, gate, up, down）应用 QLoRA。

💕 感谢！特别感谢 Qwen 团队的支持，以及 Datta 在 Qwen3 实现上的帮助。当然还要感谢每一位使用并分享 Unsloth 的朋友，我们非常感激。🙏

一如既往，欢迎加入我们的 Reddit 页面和 Discord 服务器寻求帮助或表达支持！你也可以在 Twitter 上关注我们，并订阅我们的 newsletter。

感谢阅读！

Daniel & Michael Han 🦥 2025年5月2日

立即免费微调 Qwen！

免费开始使用

加入我们的 Discord