进阶 deepgram.com 2026-11-12 17:02:07 · 22 阅读

第8章 实时音频流转录详解:原理、用例与关键指标

第8章:实时(直播)音频流转录详解

AI 工程与研究|Deepgram 实时音频流转录全解析 By Deepgram,2022年8月22日

好奇如何从直播音频或视频流中获取实时转录文本?本文为您揭晓答案。

实时流式转录是指将正在生成的音频即时转换为文字。实时流式传输的主要应用场景之一是实时字幕(Live Captioning)。演讲者在说话的同时,文本会即时生成并显示在屏幕上。此外,实时流式处理还可以转录或为活动期间播放的预录制媒体添加字幕。

实时流式转录是如何工作的?

实时流式转录与预录制音频转录类似。音频会经过相同的语音模型进行转录,但音频输入和输出的配置有所不同。输入通过 WebSocket 等实时流式协议发送,输出也可以通过 WebSocket 接收文本。在转录后处理阶段,通常会向输出流添加语音理解功能。转录后处理可包括说话人分离(Diarization)、脏话过滤、内容遮蔽(Redaction)等,具体功能取决于语音识别和理解服务商。以下是使用 Deepgram 进行实时转录的代码示例:

您可以在我们的流式入门指南中获取完整说明和代码。

为什么要使用直播音频流转录?

实时流式转录用于即时获取音频流的转录结果,并将其提供给人类阅读者或机器处理。对于人类阅读者,这被称为实时字幕。文本会在演讲者说完一个词后的几秒内出现。字幕具有许多优势,其中一个极具说服力的例子是帮助听障人士跟上演讲者的内容。

对于机器而言,实时流式转录可用于转录用户在交互式语音应答(IVR)、语音机器人或虚拟助手中的语音回复,从而延续人机对话。它还可以在对话进行过程中搜索关键信息,为客服坐席提供屏幕提示或建议,帮助解决客户问题或推荐升级销售(Upsell)。

实时流式转录有哪些用例?

如上所述,直播音频流拥有面向人类和机器的多种用例,包括:

坐席辅助——让 AI 阅读转录数据,可实时为通话中的坐席提供支持建议和升级销售推荐。 IVR/语音机器人/虚拟助手——快速转录用户回复,使 AI 能够迅速判断意图并准确响应。 实时字幕——为听障人士或偏好阅读的人群提供直播活动、讲座、音乐会或网络研讨会的字幕,适用于线下或线上参与者。 会议总结与分析——实时转录和分析会议内容,加快会后行动响应,例如识别行动项、共享会议摘要,并发现销售培训机会。 个人字幕——提供字幕,使听障患者能理解周围发生的情况。 实时分析——流式传输音频进行转录和分析,以便立即解决问题,例如监控坐席是否遗漏合规声明。 销售赋能——将转录结果流式传输给 AI,评估销售人员的推销表现,并在通话或会议结束后立即推荐更好的收尾策略。 电子游戏——流式传输玩家之间的对话,便于沟通并监控不当言论。

实时流式传输的指标有哪些?

与预录制音频转录类似,准确率是主要指标。词错误率(Word Error Rate, WER) 可能是评估和比较语音转文本(STT)方案准确率最常用的定量指标。其定义为:

$WER = \frac{S + D + I}{N}$

其中: S 为替换词数(Substitutions) D 为删除词数(Deletions) I 为插入词数(Insertions) N 为基准转录文本(Ground truth transcript,即人工转录段落)中的总词数

WER 越低,转录的词准确率越高。准确率计算公式为 $1 - WER$。我们认为,如果 WER 低于 20%,转录文本通常更具人类可读性,因为人们可以识别错误并补全缺失的词。超过 20% 则难以阅读和理解。对于机器应用,我们的目标是使 WER 低于 10%,这是我们听到语音机器人客户认为必要的标准。

衡量准确率的另一个指标是词召回率/词识别率(Word Recall Rate/Word Recognition Rate, WRR)。WRR 衡量基准文本中被正确预测或匹配(即真阳性)的单词百分比。它不包括插入词(即基准文本中没有但转录结果中有的词)。

$WRR = \frac{\text{匹配的单词数}}{\text{总单词数}}$

WRR 越高,转录的词准确率越好。然而,WRR 也并非完美指标,因为它未考虑错误的单词插入。我们认为,如果 WRR 超过 80%,转录结果也通常具备人类可读性。

实时流式传输的第三个重要指标是自动语音识别(ASR)延迟,即从说话者说完某个词到该词出现在屏幕上的速度。遗憾的是,延迟包含多个组件,其中有些可能无法控制。云端实时流式传输的简单延迟公式为:

$\text{延迟(毫秒)} = \text{ASR 延迟} + \text{互联网延迟}$

ASR 延迟是指转录音频所需的时间。 互联网延迟是指音频数据传输到 ASR 服务器以及文本数据返回所需的时间。

例如,如果你在构建语音机器人,希望最小化用户从说完话到 AI 语音机器人响应之间的等待时间。在这个等待过程中,涉及许多处理环节。若想要实现类人的语音机器人体验,所有处理必须在毫秒级完成,因此该流程的 ASR 延迟必须保持在毫秒级。通过本地部署(On-premises)ASR 解决方案,可以最小化互联网延迟。

Deepgram 与其他厂商的实时流式转录对比

现在您已经了解了如何评估实时流式转录。以下是 Deepgram 相对于其他 ASR 提供商的主要优势:

最高准确率——我们的各种语音模型在多个用例中表现出极高的准确率。查看和聆听我们与 Google 和 Amazon 的准确率对比结果。 最低 ASR 延迟——我们的延迟低于 300 毫秒,速度快于所有竞争对手。例如,Amazon 的延迟为 2-3 秒。 支持所有语言和用例模型——我们的实时流式传输支持所有的语言和用例模型。一些 ASR 提供商限制了语言或用例模型的选择。 部署方式选择——我们提供云端或本地部署选项,以减少互联网延迟。无论哪种方式,准确率、功能和工具均保持一致,只需通过 Docker 容器即可实现。

通过我们的实时流式指南、SDK 或 API 参考文档开始使用,或者立即在我们的控制台上体验实时功能——注册即可获得 150 美元额度,免费试用 Deepgram。

相关文章查看全部

Francisco Sousa Machado GTM 负责人 - 西班牙 Nova-3 助您为 Ley 10/2025 做好准备,升级您的西班牙语联络中心 公告

Abe Pursell 高级副总裁,全球业务拓展与合作伙伴关系 Deepgram 市场:语音 AI 的开放生态系统 公告

Ed Anuff 首席产品官 保持对话线索的语音智能体 公告

Deepgram Deepgram 收购 Pipecat 的开发商 Daily,旨在提供首个完整的、生产就绪的、开放的对语音 AI 堆栈 公告

评论 (0)