进阶 docs.voicebox.sh 2026-10-11 09:58:06 · 17 阅读

第13章 录音与转写

Voicebox 录音与转写 音频录音与转写全景图:在 Voicebox 中,你可以在三个地方进行录音和转写——听写(dictation)、捕获(captures)以及声纹样本(voice-profile samples)。

总览 Voicebox 在三种不同的上下文中录音和转写音频,每种都对接应用中不同的界面。本页提供一张总览地图,请跟随链接查看详情。

目标 在哪里做 相关文档 在任意应用中说一句话,让文字出现在其他应用中 全局热键 → 捕获标签页 + 自动粘贴 听写 在 Voicebox 内记录想法、会议或语音备忘录 捕获标签页 捕获 录制一段音频以克隆声音 声音标签页 → 声纹样本 创建声纹

这三条路径共用同一套 STT 后端——区别在于周围的工作流程。

听写 这是 0.5.0 版本的核心功能。在电脑上任意位置按住和弦快捷键,说话,松开。转写文本会落入你当时聚焦的任意输入框,如果开启了自动润色,还会经过本地 LLM 清理。捕获的条目会积累在捕获标签页中,以便稍后回放或重新转写。

完整流程参见「听写」一章。

捕获标签页 当你不需要把文本粘贴到其他应用,而只想要某段音频的干净转写文本时,捕获标签页就是你的家。你可以在应用内录音,拖入文件(.wav、.mp3、.m4a、.webm、.opus、.flac),或翻查已落在此处的听写记录。每个捕获都保留原始音频,可以用不同模型重新转写,也能通过你拥有的任何声纹进行回放。

详情参见「捕获」一章。

声纹样本 这是声音标签页中一个独立的流程。当你从音频片段创建声纹时,样本才是克隆引擎实际学习的对象——样本上的 reference_text 必须与音频逐字匹配,这就是为什么样本和捕获是两种不同的数据模型。

你可以从捕获标签页的「发送到」菜单中将捕获提升为样本(「用作声纹样本…」),这会打开一个 reference_text 确认对话框,让你在保存前纠正最后约 10% 的转写准确度。

详情参见「创建声纹」一章。

转写模型 三条路径共用同一套 Whisper 模型。在「设置 → 捕获 → 转写」中选择一个默认模型,如有需要可在单次捕获中覆盖。

模型 大小 适用场景 Whisper Base 约 300 MB 速度快。默认选项。适合清晰的语音。 Whisper Small 约 500 MB 质量更好,速度依然快。 Whisper Medium 约 1.5 GB 高质量。 Whisper Large 约 3 GB 最高质量,CPU 上速度慢。 Whisper Turbo 约 1.5 GB 达到 Large 级别的质量,速度比 Large 快约 5 倍。

在 Apple Silicon 上,模型通过 MLX-Whisper 运行(比 PyTorch 快约 8 倍)。其他平台则通过 PyTorch transformers 运行。后端会自动选择合适的引擎——你无需配置。

对于嘈杂的音频片段,优先选择 Turbo 或 Large。Base 在处理困难输入时可能出现幻觉——最著名的是「感谢观看」循环。Voicebox 会在 LLM 润色前确定性地剥离这些循环,因此即使原始转写包含幻觉,捕获也可以被干净地重新润色。

语言 对于短片段(约 5 秒以内),Whisper 的自动语言检测可能不可靠,此时你可以传入语言提示。在「设置 → 捕获 → 转写 → 语言」中设置默认的语言锁定,或在单次捕获中覆盖。

转写 API 关于 STT 后端、模型加载、预处理以及 /transcribe 端点的开发者级别细节,请参见「转写开发者指南」。捕获流水线还通过 /captures 暴露了一个更高层的端点,将 STT + 归档 + 可选润色封装在一次调用中——详见「捕获」一章。

后续步骤 听写:在电脑上任意位置按住和弦快捷键,说话,松开。 捕获:配套的音频 + 转写文本归档。 创建声纹:为声音克隆录制或上传样本。 在 GitHub 上编辑 故事编辑器:基于时间轴的多声口叙事创作。 生成历史:追踪和管理所有生成的音频。

评论 (0)