第1章 Voicebox 简介
概述简介Voicebox 是开源、本地优先的 AI 语音工作室——ElevenLabs 和 WisprFlow 的免费替代品，完全在你的机器上运行。什么是 Voicebox？ Voicebox 是一个开源、本地优先的 AI 语音工作室。它在同一台机器上双向打通语音输入输出闭环，无需云端、无需账号：
人类说话——在机器上任何位置按住快捷键，听写内容就会以干净的文本自动填入你当前聚焦的输入框 Agent 回话——任何支持 MCP 的 agent 都可以调用 Voicebox，用你克隆的音色开口说话 音色自己会说话——每个声音档案都可以附带一个人设，在朗读前由本地 LLM 撰写新台词或改写文本
它既是 ElevenLabs（声音克隆与 TTS）的免费本地替代品，也是 WisprFlow（面向 agent 和高阶用户的语音听写）的替代品——一个应用覆盖同一闭环的两端，输入输出共享同一个模型目录和同一个本地 LLM。 应用功能一览
听写——全局快捷键、按住说话和开关模式，在 macOS 和 Windows 上自动粘贴到当前聚焦的输入框（见 Dictation） Captures 标签页——音频与转录文本的配对存档，支持重新转录、润色、语音播放、提升为采样（见 Captures） 声音克隆——5 个克隆引擎，覆盖 23 种语言，只需一段参考音频即可零样本克隆（见 Voice Cloning） 预设音色——通过 Kokoro 和 Qwen CustomVoice 提供 50 多个精选音色，不想克隆时直接用（见 Preset Voices） 声音人设——可为任意声音档案添加自由文本人设，配有撰写按钮和人设改写开关，由本地 LLM 驱动（见 Voice Personalities） 后处理效果——移调、混响、延迟、合唱、压缩、滤波器（Spotify 的 Pedalboard） 表现力语音——通过 Chatterbox Turbo 支持 [laugh]、[sigh] 等副语言标签；通过 Qwen CustomVoice 用自然语言控制语气 不限时长——长文本自动分块并交叉淡入淡出拼接 Stories 编辑器——多轨时间线，适合对话和播客 API 优先——提供 REST + WebSocket API 和 MCP server，方便 agent 集成 全平台运行——macOS（MLX/Metal）、Windows（CUDA / DirectML）、Linux（ROCm / CPU）、Intel Arc、Docker
TTS 引擎 八个引擎各有侧重，可在每次生成时切换： 引擎档案类型语言数优势Qwen3-TTS (0.6B / 1.7B)克隆10高质量多语言克隆Qwen CustomVoice (0.6B / 1.7B)预设（9 个音色）10自然语言控制语气（音调、情绪、语速）Qwen VoiceDesign (1.7B)设计10根据文字描述生成音色——无需参考音频或预设LuxTTS克隆英语轻量（约 1GB 显存），48kHz 输出，CPU 上 150 倍实时Chatterbox Multilingual克隆23语言覆盖最广Chatterbox Turbo克隆英语350M 快速模型，支持副语言情绪/音效标签TADA (1B / 3B)克隆10HumeAI 语音语言模型——可生成 700 秒以上连贯音频Kokoro预设（50 个音色）982M 参数，CPU 实时，显存占用全引擎最低 STT 与本地 LLM Voicebox 还内置完整的语音识别和本地 LLM，由听写、Captures 标签页和各档案的人设模式共用： 层级模型STTWhisper Base / Small / Medium / Large / Turbo（PyTorch 或 MLX）LLMQwen3 0.6B / 1.7B / 4B（文本润色 + 各档案的撰写/人设改写） 不提供云端回退，也不支持自带 API key。本地就是产品本身。 GPU 支持 平台后端说明macOS（Apple Silicon）MLX (Metal)经 Neural Engine 提速 4-5 倍Windows（NVIDIA）PyTorch (CUDA)应用内自动下载 CUDA 二进制Linux（NVIDIA）PyTorch (CUDA)使用带 CUDA PyTorch 的本地/远程 Python 后端Linux（AMD）PyTorch (ROCm)自动配置 HSA_OVERRIDE_GFX_VERSIONWindows（任意 GPU）DirectML通用 Windows GPU 支持Intel ArcIPEX/XPUIntel 独显加速任意CPU处处可用，只是更慢 使用场景
人类和 agent 的听写——在任何应用里用说话代替打字 Agent 语音输出——任何支持 MCP 的 agent 都能用克隆音色说话 游戏开发——为角色生成动态对话 内容创作——播客、视频配音、有声书 无障碍——任意输入框的语音转文字，以及使用自有音色的 TTS 语音助手——无需支付云费用的自定义语音界面 生产流水线——通过 REST API 自动化语音工作流
技术栈 层级技术桌面应用Tauri (Rust)前端React、TypeScript、Tailwind CSS状态管理Zustand、React Query后端FastAPI (Python)TTS 引擎Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox、Chatterbox Turbo、TADA、KokoroSTTWhisper / Whisper Turbo（PyTorch 或 MLX）本地 LLMQwen3 0.6B / 1.7B / 4B（MLX 或 PyTorch）音效Pedalboard (Spotify)推理MLX（Apple Silicon）/ PyTorch（CUDA/ROCm/XPU/CPU）数据库SQLite音频WaveSurfer.js、librosa在 GitHub 上编辑安装下载并安装 macOS、Windows 或 Linux 版 Voicebox
