第27章 Unsloth重返：项目荣登GitHub趋势榜第一及发展历程回顾

unsloth 项目今日荣登 GitHub 趋势榜第一，这完全要归功于大家！借此机会，我们向每一位使用者致敬——无论你是从一开始就陪伴我们的老用户，还是刚刚发现 Unsloth 的新朋友，欢迎加入！💖

首先，我们要向每一位表示感谢。你们的每一份支持都弥足珍贵，无论是阅读我们的博客、参与互动、为仓库做贡献，还是简单地使用和分享 Unsloth。如果没有你们，我们不可能走到今天。

此外，大家对 1.58-bit 动态 DeepSeek-R1 以及我们最新的推理（Reasoning）版本反响热烈，这让我们倍感振奋。但这仅仅是个开始，我们将保持这种势头，绝不会放慢脚步！

Unsloth 旅程回顾： 🦥 - 2023年12月：Unsloth 正式发布，训练速度提升2倍，内存效率提高50%。我们构建了自定义的 autograd 引擎，并使用 OpenAI 的 Triton 重写了所有内核（kernels），包括优化前向和反向传播的 RoPE embeddings，以及自研的 Fast Cross Entropy Loss 内核。 - 2024年1月：开始向 Hugging Face 上传模型，感谢各位千万次的下载支持！我们还与 Hugging Face 展开合作，非常感激他们持续的背书与协助。🤗 - 2024年3月：发现并修复了 Google Gemma 模型中的8个 Bug。感谢 Andrej Karpathy 对我们工作的认可，也感谢 Google 团队的支持！❤️ - 2024年4月：推出 Unsloth Gradient Checkpointing，使上下文长度可提升4倍，Batch Size 可扩大1.7倍。恰逢 Llama 3 发布，我们让 70B 模型能够在仅48GB 显存上运行。 - 2024年5月：发现并修复了 Llama 3 的多个 Bug，显著提升了训练精度。Phi-3 模型发布后，我们对其进行了 Llamafied（Llama 化）处理。 - 2024年7月：修复了 Gemma 2 的许多 Bug，并引入了基于 CSV/Excel 文件及多列数据的微调功能。 - 2024年10月：修复了 Gradient Accumulation 中的一个通用问题，该问题此前负面影响了所有用户的训练（不仅是使用 Unsloth 的用户，而是所有训练模型的开发者）。 - 2024年11月：支持 Llama、Qwen、Pixtral 和 Llava 的视觉微调，速度提升2倍，显存占用降低70%。同时发现并修复了 Qwen 2.5 的多个 Bug。 - 2024年12月：推出 Unsloth 4-bit Dynamic Quants，通过有选择性地避免量化特定层，显著提升了精度（优于标准 4-bit 量化）。另外，为 Llama 3.3 添加了支持13倍更长上下文长度的功能。 - 2025年1月：发布 1.58-bit Dynamic R1 GGUF，让用户能在本地设备上运行 R1。此外，发现并修复了 Phi-4 的多个 Bug。 - 2025年2月：引入 Unsloth 推理（Reasoning）功能，并实现了 GRPO 与 QLoRA 及 LoRA 的兼容（此前并不支持），这使得个人用户也能训练像 R1 那样的推理模型。 💡 下一步计划？ 我们一直在创新，且不会止步于此。今年，期待更多令人兴奋的新功能，让创建自定义模型变得更加容易和普及。

当然，multiGPU 和 Unsloth Studio 也还在路上，别担心——不过我们得先完成对所有模型的支持，很快就会上线。我们的首要目标始终是开源、为大家把 Unsloth 做得更好，这一点永远不会改变。希望今年大家继续关注我们，还有更多精彩内容！💕 谢谢大家！衷心感谢每一位让 Unsloth 走到今天的朋友——无论是使用、分享、贡献还是与我们互动！🙏 欢迎加入我们的 Reddit 页面和 Discord 服务器获取帮助、了解最新动态，或者只是来表达支持！也可以在 Twitter 上关注我们并订阅 newsletter。 感谢阅读！ Daniel & Michael Han 🦥
2025年2月10日 训练你自己的推理 LLM 免费开始使用 加入我们的 Discord