unsloth

下载

☰

下载

博客

Unsloth 加入 PyTorch 生态

2026年5月11日 • Daniel & Michael

我们很高兴地宣布，Unsloth 正式加入 PyTorch 生态版图（PyTorch Ecosystem Landscape）！Unsloth 的使命是让 AI 对每个人都更加触手可及。也许你是通过我们上传的模型、GGUF、底层内核、教学指南、模型 Bug 修复、训练与强化学习（RL）库，或是全新的 Web 界面 Unsloth Studio 认识我们的。无论从哪里了解到 Unsloth，我们的使命始终如一：让开源模型更准确、更快、更简单、更容易上手，以此推动 AI 的普及化。

2026 年第一季度，PyTorch 官方将 Unsloth 纳入了 PyTorch 生态版图，肯定了我们在 PyTorch 上的工作与集成、对开源 AI 的贡献，以及社区的大力支持。我们非常期待与 PyTorch 展开更深入的合作，为大家带来更多开源成果！Unsloth 仍将是一个独立的开源项目，不隶属于 PyTorch 基金会。

🦥 Unsloth 是什么？

简单介绍一下 Unsloth 是什么、我们在做什么：我们的主仓库专注于本地训练和运行 LLM，底层使用了 PyTorch、torchvision、torchao 等多个 PyTorch 框架，为 Unsloth 的训练和推理提供标准化、可靠的基础设施。

我们最新的产品 Unsloth Studio 是一个开源 UI（桌面版即将推出），让你在统一的界面上训练和运行 500 多个模型（Gemma 4、Qwen3.6 等），支持 Windows、Mac 和 Linux 设备。它涵盖多种工作负载，包括：从 PDF、CSV 文件构建数据集、导出模型、自修复的工具调用、网页搜索、API 端点等等。一条命令即可完成安装。

你可能最熟悉的是我们在 Hugging Face 上上传的模型——我们发布了大量量化版本，包括 GGUF、MLX、NVFP4、FP8、Bnb 4-bit 等多种格式。我们做量化的核心目标是在压缩模型的同时尽可能保留精度。所有上传的模型都可用于推理，部分还支持训练。

除了文本 LLM，我们还支持 VLM、embedding、音频、TTS、OCR 等模型。我们也做了大量底层工作，例如定制 Triton 内核——Unsloth 独有的技术能让模型训练速度提升约 2 倍、显存占用降低 70%，且精度零损失。

我们还为许多开源模型贡献了修复方案，涵盖 Gemma、Qwen、Mistral、Llama 和 gpt-oss。同时，我们也协助解决了训练中的 Bug。此前，我们发现并修复了一个影响几乎所有训练实现的梯度累加 Bug，该 Bug 导致报告的训练损失值不准确。

🔥 与 PyTorch 的合作

我们已与 PyTorch 团队合作开展了多个激动人心的项目。衷心感谢 PyTorch 团队的努力，让这些合作成为可能。

携手，我们为消费级 GPU 引入了 FP8 RL，使 FP8 RL 推理速度提升 1.4 倍，同时 FP8 RL 训练的显存占用降低 60%，并支持长 12 倍的上下文长度。

我们还展示了如何利用 ExecuTorch 和 Unsloth GGUF 在手机上运行 LLM。在另一项合作中，我们演示了如何将 LLM 量化至 4-bit，并通过感知量化训练（Quantization-Aware Training，QAT）找回高达 70% 的损失精度。借助 PyTorch，我们证明 QAT 能带来显著的效率提升，包括显存占用降低 4 倍、无推理开销，甚至在 GPQA 和 MMLU Pro 等基准测试中带来 1–3% 的原始精度提升。

此外，我们还与 PyTorch 在 OpenEnv 项目上展开合作，并参与了 AMD 和 Hugging Face 主办的黑客松，专注于构建更优质的 RL 环境。在所有这些合作中，我们的目标都是让开源 AI 对更多人更易获取。

💡 加入生态系统意味着什么？

PyTorch Ecosystem Landscape 展示了基于 PyTorch 构建的开源项目，并根据技术实力、社区影响力和与 PyTorch 使命的契合度予以认可。曾入选该景观的过往项目包括 Hugging Face Transformers、SGLang、vLLM 等。

对于 Unsloth 而言，加入 PyTorch 生态系统是一个令人振奋的步骤。这将帮助我们触达 PyTorch 社区中的更多人，并让我们获得更丰富的资源、支持及合作机会。Unsloth 仍将是独立的开源项目，独立于 PyTorch Foundation 运作。

其他方面一切照旧。我们会继续开发开源项目、发布新特性、优化模型、修复缺陷，并推出桌面应用和更广泛的硬件支持——同时密切关注你们的反馈。当然，你们的贡献依然是我们工作的重要组成部分。💕

社区

感谢大家的支持，Unsloth 现已成为 Hugging Face 上第 10 个最受关注的组织，仅次于 OpenAI。我们的模型下载量已突破 2.5 亿，GitHub 贡献者超过 200 位。没有你们的支持，这一切都不可能实现。

我们想感谢每一位使用或支持 Unsloth 的人，无论是通过 Unsloth Studio、我们的训练包、量化模型、模型上传、缺陷修复、反馈，还是其他形式的贡献。

我们很高兴能继续为开源做出贡献，迫不及待地在近期内分享更多令人兴奋的新闻和产品发布。感谢 PyTorch、Hugging Face 和 llama.cpp 让 Unsloth 成为可能。🙏

记得加入我们的 Reddit 页面和 Discord 服务器，获取帮助或表达支持！你也可以在 Twitter (X) 和我们的 Substack 通讯上关注我们。

阅读愉快！

Daniel & Michael Han 🦥

2026年5月11日 通过 UI 运行和训练模型 免费开始

加入我们的 Discord