进阶 docs.voicebox.sh 2026-10-11 09:58:06 · 22 阅读
第8章 声音克隆
概览
Voice Cloning（声音克隆）——用几秒钟的参考音频克隆任意声音
Voicebox 可以从一段短音频样本中复刻特定人的声音，这就是所谓的 zero-shot 声音克隆。你只需提供 10–30 秒清晰的语音，模型会提取出一个声音向量（voice embedding），之后就能用这个声音生成任意文本。
0.4 版本中有五个引擎支持克隆：
| 引擎 | 语言 | 特点 |
|---|---|---|
| Qwen3-TTS (0.6B / 1.7B) | 10 种 | 高质量多语言，通过同一个 kwarg 支持语气指令 |
| Chatterbox Multilingual | 23 种 | 语言覆盖最广——阿拉伯语、印地语、斯瓦希里语、希伯来语等 |
| Chatterbox Turbo | 英语 | 快速的 350M 模型，支持副语言情感标签（[laugh]、[sigh]） |
| LuxTTS | 英语 | 轻量（约 1 GB 显存），48 kHz 输出，CPU 上可达 150 倍实时速度 |
| TADA (1B / 3B) | 10 种 | 语音-语言模型，可生成 700 秒以上连贯的长篇内容 |
不想录音？可以直接使用 Kokoro 或 Qwen CustomVoice 提供的精选声音——参见 Preset Voices。
工作原理
- 提供目标声音 10–30 秒的清晰语音
- 所选引擎分析音色、语调和说话习惯
- 生成声音向量并保存到你的档案（profile）中
- 用这个档案即可用克隆的声音生成任意文本
如何选择克隆引擎
不同引擎适合不同场景。档案列表中会把不支持的引擎置灰，方便你切换。
| 如果你想要…… | 选择 |
|---|---|
| 几种常用语言上的最佳整体质量 | Qwen3-TTS 1.7B |
| 更快的生成速度，质量略低 | Qwen3-TTS 0.6B |
| Qwen 10 种语言之外的语言（阿拉伯语、印地语等） | Chatterbox Multilingual |
| 富有表现力的英语，支持 [laugh]、[sigh] 标签 | Chatterbox Turbo |
| 纯 CPU 或显卡配置较低的英语场景 | LuxTTS |
| 长篇生成（有声书、完整章节） | TADA 3B |
最佳实践
样本质量
| 建议 | 避免 |
|---|---|
| 使用 10–30 秒的音频 | 过短的片段（少于 5 秒） |
| 清晰、稳定的说话 | 嘈杂的背景噪声 |
| 背景噪声尽量少 | 音乐或多人重叠说话 |
| 自然的语速 | 过度处理过的音频 |
多段样本
为同一位说话者添加多段样本可以提升质量：
- 不同的说话风格（随意、正式）
- 不同的情绪（开心、严肃）
- 不同的录制环境
模型能从多样化的样本中学到更稳健的声音表示。对于特征鲜明、否则容易被模型“抹平”的声音尤其有帮助。
各引擎支持的语言
- Qwen3-TTS —— 英语、中文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语（10 种）
- Chatterbox Multilingual —— 阿拉伯语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、意大利语、日语、韩语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、土耳其语（23 种）
- Chatterbox Turbo —— 英语
- LuxTTS —— 英语
- TADA 3B —— 10 种多语言；TADA 1B —— 英语
完整的语言对照表和各引擎的细节说明，请参阅 TTS Engines 开发者指南。
局限性
声音克隆只能在获得本人同意的前提下使用。请确保你有权克隆对方的声音。详见项目的 SECURITY.md 以及你所在地区关于合成语音内容的法律法规。
- 质量取决于样本清晰度——嘈杂的样本会产生嘈杂的克隆
- 同一样本内语调保持一致时效果最佳
- 面对极重的口音或言语障碍时可能表现不佳
- 背景噪声会降低质量并可能引入杂音
下一步
Creating Voice Profiles —— 创建声音档案的分步指南
Preset Voices —— 使用内置声音，无需克隆
Generating Speech —— 用档案生成音频
Edit on GitHub
Captures —— 成对的音频与文字稿归档——每一次听写、录音和上传的音频都会出现在这里，可回放、可重新转写。
Preset Voices —— 使用内置的现成声音，无需录制音频样本。
