搭配方案

共 5 条

llama.cpp + 消费级机器+ GGUF

把万亿参数混合专家模型拆分到几台消费级机器上本地运行

llama.cpp 让大模型本地部署更便捷，GGUF 量化版使本地推理成为可能

✓ 万亿参数模型本地可跑✓ 无需高端硬件 ✕ 需多台机器拆分运行

llama.cpp + 免费版 Colab 或 Kaggle GPU+ MacBook+ LFM2.5-350M+ TRL+ GRPO+ IFStruct

用GRPO微调350M小模型，IFStruct结构化输出得分从22.6%提升至29.7%

TRL提供GRPO训练方法对模型做结构化输出微调，llama.cpp本地提供OpenAI兼容推理服务供IFStruct评估调用

✓ 仅需约500样本和100步训练✓ 可在免费版GPU上运行 ✕ 轻量级流程效果提升有限（22.6%到29

llama.cpp +

Unsloth + Qwen3.8-Flash-Next-GGUF+ MTP支持文件

为Qwen3.8-Flash-Next-GGUF提供MTP支持并优化本地推理吞吐量

✓ 优化后代码吞吐量提升至183 tok/s ✕ 合入前MTP在散文任务上比正常解码更慢

llama.cpp + Unsloth Desktop+ Hugging Face

基于llama.cpp与Hugging Face运行和训练几乎所有最新LLM与扩散模型

llama.cpp提供推理底层支持，Hugging Face提供模型生态，Unsloth整合上层应用

✓ 支持首发最新模型

llama.cpp +

Gemma + 12GB显存显卡

分块采样+导演模型，12GB显存直出无限时长1080p长视频

H3生成长视频显存不足，分块生成降低显存需求；导演模型规划镜头保持块间连贯；串行卸载释放显存

✓ 最低12GB显存即可运行✓ 可直出无限时长1080p视频 ✕ 生成30秒1080p约需2小时✕ Gemma4导演12GB显存无法使用