第17章 使用 Unsloth 微调 Llama 3.2 视觉模型

unsloth

Download

☰

Download

博客：使用 Unsloth 微调并运行 Llama 3.2，2024年9月25日 • 作者 Daniel & Michael

Llama 3.2 (3B) 1xL4 24GB 2倍快 10%省显存 Llama 3.2 (3B) 1xL4 24GB -60%显存 Llama 3.2 (90B) 1xA100 80GB 1倍快 90%省显存 Llama 3.2 (90B) 1xA100 80GB -65%显存 Meta 推出的新 Llama 3.2 模型提供 1B、3B、11B 和 90B 规格，支持 128K 上下文长度。Unsloth 让 Llama 3.2 (3B) 的微调速度比 Flash Attention 2 (FA2) + Hugging Face (HF) 快 2 倍，内存占用减少 60%。Llama 3.1 (90B) 速度快 2 倍，显存占用减少 65%。

我们上传了一个 Google Colab notebook，可在免费 Tesla T4 上微调 Llama 3.2 (8B)：包括 Llama 3.2 (3B) 和 Llama 3.2 (11B) 视觉模型。我们还在 Google Colab 上推出了一个新界面，可与 Llama 3.1 Instruct 模型对话，该界面使用我们自研的 2 倍速推理引擎。

我们还上传了预量化的 4bit 模型到我们的 Hugging Face 页面，以 4 倍速度下载，包含 Llama 3.2 Instruct (1B、3B、11B、90B) 和 Base (1B、3B、11B、90B) 的 4bit bnb 格式。

👁️现在支持视觉/多模态模型

Unsloth 最备受期待的功能现已支持！你现在可以使用 Unsloth 微调 Llama 3.2 的视觉模型了，快来尝试并分享你的结果吧！

🦙 Llama 3.2 基准测试

模型 | VRAM | 🦥Unsloth 速度 | 🦥 VRAM 减少 | 🦥 更长上下文 | 🤗Hugging Face+FA2

Llama 3.2 (1B) | 24GB | 2x | 60% | 3x 长 | 1x

Llama 3.2 (3B) | 24GB | 2x | 65% | 6x 长 | 1x

Llama 3.2 (11B) | 80GB | 2x | 65% | 6x 长 | 1x

Llama 3.2 (90B) | 80GB | 2x | 65% | 6x 长 | 1x

测试使用 Alpaca 数据集，batch size 为 2，梯度累积步数为 4，rank = 32，并对所有线性层 (q, k, v, o, gate, up, down) 应用 QLoRA。

🧶 6 倍更长的上下文长度

Unsloth 显著增强了对 Llama 3.1 (70B) 的长上下文支持，可在 48GB GPU 上运行，并支持约 7K 上下文长度的微调。相比之下，HF + FA2 只能处理 2K 长度，甚至会出现内存溢出 (OOM) 错误。Meta 的更新将上下文长度增加到 128K，但需要更多显存。

80GB 显存环境下，Unsloth 仅带来 1.9% 的额外开销，却能将上下文长度提升 6 倍，支持 48K 序列长度的微调，远超常规的 7.5K 长度。实验数据表明，在长上下文微调方面，Unsloth 相比 Hugging Face + FA2 具有显著优势。 Llama 3.1 (70B) 最大上下文长度 | GPU 显存 | Unsloth | Hugging Face + FA2 80 GB | 48,053 | 7,433 48 GB | 7,698 | OOM 所有实验中，我们采用秩为 32 的 QLoRA，并将 LoRA 适配器应用于所有线性层（q, k, v, o, gate, up, down）。批大小设为 1，并通过重复数据填充至最大上下文窗口。 🦙 Llama 3.1 (8B) 微调可在 8GB 显存内运行 在 8GB GPU 卡上，使用批大小 1 和全线性层秩 32 的 LoRA 时，HF + FA2 会因需要约 9GB 内存而失败或发生 OOM。相比之下，Unsloth 轻松支持 2K 上下文长度。在 24GB 消费级显卡上，Unsloth 支持 20K 上下文长度，比 HF + FA2 长 3.5 倍。

下图展示了在 Colab L4 GPU 上测试的显存消耗与上下文长度关系： Llama 3.1 (8B) 最大上下文长度 | GPU 显存 | Unsloth | Hugging Face + FA2 8 GB | 1,983 | OOM 12 GB | 6,638 | 1,044 16 GB | 11,292 | 2,663 24 GB | 20,601 | 5,901 40 GB | 39,219 | 12,377 48 GB | 48,528 | 15,615 80 GB | 85,765 | 28,567 💕 感谢大家！ 一如既往，非常感谢所有使用并分享 Unsloth 的用户。同时特别感谢：Marshall、Jun、John、Steven 和 Aaron，欢迎新的支持者！🙏

如需帮助或表达支持，欢迎加入我们的 Discord 服务器。也可以在 Twitter 和 Substack 上关注我们。 感谢阅读！Daniel & Michael Han 🦥
2024 年 9 月 25 日 Unsloth Studio 即将推出 免费开始使用 加入我们的 Discord