Uzu
开发框架/库 免费Uzu 是 Mirai Labs 推出的高性能端侧 AI 推理引擎,使用 Rust 编写,专为 Apple Silicon 设计。引擎将模型架构、推理运行时与量化策略进行协同设计,针对端侧内存受限环境优化,支持 LLM 推理和 TTS 语音合成,让开发者能在本地设备上运行高质量 AI 模型,减少对云端的依赖。
产品简介
Uzu 是 Mirai Labs 推出的高性能端侧 AI 推理引擎,使用 Rust 编写,专为 Apple Silicon 设计。引擎将模型架构、推理运行时与量化策略进行协同设计,针对端侧内存受限环境优化,支持 LLM 推理和 TTS 语音合成,让开发者能在本地设备上运行高质量 AI 模型,减少对云端的依赖。