Colibri
CLI/命令行 免费Colibri 是一个纯 C 语言、零依赖的本地大模型推理引擎，专为在现有消费级硬件上运行前沿 MoE（混合专家）架构模型而设计。引擎将模型中数量庞大的专家参数按路由热度分层存储于 VRAM、RAM 和 NVMe 磁盘，通过预取机制隐藏磁盘延迟，让普通机器即可跑动数千亿参数的混合专家模型，且输出与参考实现逐 token 精确对齐。
产品简介
Colibri 是一个纯 C 语言、零依赖的本地大模型推理引擎，专为在现有消费级硬件上运行前沿 MoE（混合专家）架构模型而设计。引擎将模型中数量庞大的专家参数按路由热度分层存储于 VRAM、RAM 和 NVMe 磁盘，通过预取机制隐藏磁盘延迟，让普通机器即可跑动数千亿参数的混合专家模型，且输出与参考实现逐 token 精确对齐。