第16章 Unsloth 获 YCombinator 支持：月下载破 200 万，Unsloth Studio 即将上线

unsloth 下载 ☰ 下载 博客 Unsloth 路线图更新 2024年9月5日 • Daniel & Michael 撰写 2024年9月5日 • Daniel & Michael 撰写 Unsloth 今年将有大量新功能上线，包括大家期待已久的模型微调界面 Unsloth Studio，以及一个可以训练、部署和运行模型的新平台。欢迎加入 Unsloth Studio 和我们平台的候补名单。 非常感谢大家在 Hugging Face 上下载我们的模型——我们刚刚迎来了每月 200 万下载量的里程碑！同时我们也很高兴地宣布，Unsloth 获得了 YCombinator 的支持。我们将继续专注于开源使命，把微调做到极致！ 以下是我们上次更新以来的进展： 现在可以直接用 pip install unsloth 了！ 多 GPU 支持已进入 beta 阶段，约 20 位社区成员正在测试！ 现在支持用包含多列数据的 CSV / Excel 文件进行微调 已支持微软新发布的 Phi 3.5 mini，并完成了 Llamafied 转换 修复了 DPO，所有聊天模板均可正常使用，并修复了 Llama 和 Phi 模型的聊天模板 全新的 Llama 3.1 对话式 notebook 新增了仅对补全/输出部分进行训练（提高准确率）、ShareGPT 格式标准化等功能！ 🦥 我们的使命 + Studio 更新 在 Unsloth，我们的使命是帮助用户以正确的方式构建高质量的模型。随着微调在金融、医疗等行业迅速普及，我们相信未来企业和个人都会拥有许多基于自己数据训练的定制化 LLM。 隐私和安全是所有人的首要关切，开源的重要性也因此前所未有地凸显。我们致力于通过与 Hugging Face、Google 等优秀团队的合作推动开源发展，确保开源模型的正确实现。我们此前已修复了 Google 的 Gemma 和 Meta 的 Llama 等模型中的关键 bug，未来也将继续为开源模型的开发做出贡献。 Unsloth Studio 是我们的首个即将发布的作品，它将整合许多大家期待已久的功能，并能在 Google Colab 上免费运行——你也可以在本地安装它，实现 100% 离线使用。得益于社区的反馈，我们深知开发者需要与现有工作流无缝集成，因此我们正在简化流程，让用户轻松导入他们喜爱的开源包，如 Jan、Ollama 或 VLLM，甚至只需导出模型用于推理即可。 随着 stable diffusion、多模态模型及语音模型在各行业的需求日益增长，我们也致力于变革这些模型的训练与部署方式——正如我们此前已经重塑了语言模型训练的格局一样。 关注我们的邮件列表或社交媒体账号，加入我们的使命，获取最新动态。P.S. 我们正在招聘，如果你渴望参与 Unsloth，请通过 [email protected] 联系我们，我们期待听到你的声音！💎 平台简介 我们利用数学算法和底层 GPU 编程（Triton、CUDA），旨在通过软件而非硬件创新来革新 LLM 生态。凭借 Unsloth Gradient Checkpointing 算法等创新技术，我们将训练内存占用降低了 50% 以上，不断突破 AI 的边界。我们正在平台上新方法和算法方面投入研究，在受控环境下，模型准确率可提升 10% 至 40%。 我们的平台将提供独家的高效微调与快速推理服务，部署过程极为简便，并包含更多功能。通过这些创新，我们立志成为从零开始构建自定义模型的首选之地，为任何人——无论是资深专家还是初学者——提供最精准、易用的解决方案。 我们也深知用户在模型训练与部署中遇到的痛点，我们的目标让你专注于创造心中理想的模型，无需被琐碎事务缠身。从此告别数据集准备、数据及聊天模板等问题！我们同样重视深度定制的重要性，因此引入了众多组件以增强可定制性，同时不牺牲准确率或速度。 平台测试版将于年底前发布，发布后欢迎大家反馈体验。在此期间，可以先加入我们的等待名单。🌠 其他更新我们上传了大量新的 4bit bnb 模型，包括 Nous Research 的 Hermes 3、Cohere 的 Command R 等请更新你的 Unsloth Colab 和 Kaggle 笔记本，它们已全部适配 Torch 2.4谷歌新的 Gemma 2 (2B) 模型现已支持（感谢 Gemma 团队提供的提前访问权限）。Flash Attention 现在也支持所有 Gemma 2 模型，从而提升速度并降低微调时的内存占用我们录制了 3 小时期的 AI 工程师工作坊视频，深入讲解 LLM 架构的底层技术，已上传至 YouTube我们与 AI Makerspace 合作推出了持续预训练和监督微调的内容如果你对基础模型使用 Llama 3.1 聊天模板，系统会默认报错——该模板仅适用于 instruct 模型Llama 3.1 405b 已重新上传——此前 KV cache 存在重复，修复后推理内存消耗降低 50%💕 感谢！一如既往，衷心感谢不可思议的 Unsloth 社区！特别鸣谢 Jan 和 Ollama 团队。同时热烈欢迎新的支持者：Cody、Ferdinand、Edd、Jed、Haydenredhair、Aaron、Will007、giuseppe、i6173215、Arikius、Kenan、Jeffrey 和 TK 🙏

一如既往，记得加入我们的 Discord 服务器寻求帮助或表达支持！你还可以通过 Twitter、Substack 关注，或访问我们的 Reddit 页面。感谢阅读！Daniel & Michael Han 🦥
5 Sep, 2024Unsloth Studio 即将上线免费注册
加入我们的 Discord