Unsloth

Unsloth

开发框架/库 7w 免费
Unsloth 是一款面向大语言模型与视觉语言模型微调的开源库,通过手写 Triton 内核大幅降低显存占用并加快 LoRA/QLoRA 训练,支持 Kimi K3、Gemma 4、Qwen3.6、DeepSeek-V4、GLM 等主流开源模型,可在单张消费级 GPU 上完成训练。
访问官网

搭配玩法

3
Unsloth + Kaggle 免费 2× Tesla T4 实例+ Qwen3.8-27B

在免费 T4 实例上对 27B 模型完成全量 QLoRA 微调

优化内核降低显存需求,使免费 T4 实例也能全量 QLoRA 微调 27B 模型

✓ 使用免费实例即可微调 27B 模型
Unsloth + 128GB内存机器+ 3-bit GGUF

在128GB内存机器上本地运行GLM-5.3-Flash量化模型

通过3-bit GGUF量化降低显存占用,使模型可在消费级大内存机器运行

✓ 4-bit可保留93%精度✓ 发布首日生态即可用
Unsloth + llama.cpp llama.cpp + Qwen3.8-Flash-Next-GGUF+ MTP支持文件

为Qwen3.8-Flash-Next-GGUF提供MTP支持并优化本地推理吞吐量

✓ 优化后代码吞吐量提升至183 tok/s ✕ 合入前MTP在散文任务上比正常解码更慢

产品简介

Unsloth 是一款面向大语言模型与视觉语言模型微调的开源库,通过手写 Triton 内核大幅降低显存占用并加快 LoRA/QLoRA 训练,支持 Kimi K3、Gemma 4、Qwen3.6、DeepSeek-V4、GLM 等主流开源模型,可在单张消费级 GPU 上完成训练。

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价