进阶 deepgram.com 2026-11-12 17:02:07 · 24 阅读

第17章 语音 Agent 中的附和(Backchannel)与打断

第17章:语音 Agent 中的附和与打断

AI Engineering & Research 附和 vs 打断:语音 Agent 如何处理听者信号 作者 Jose Nicholas Francisco,2026 年 8 月 31 日 Jose Nicholas Francisco 产品营销经理 分享到 X、LinkedIn,或以 Markdown 查看,在 ChatGPT、Claude、Perplexity 中打开

本文介绍如何利用 VAD、转写信号和考虑延迟的架构设计,区分语音 Agent 中的附和与真正的打断。

一个基于能量阈值的检测器,对照 30 小时人工标注的真实对话进行评估,在附和声和非语音噪声上有 45% 的误触发率。而在附和最密集的日常闲聊中,这个比例升至 52%。

这些触发没有一次是对方真想抢话,但每一次都会让语音 Agent 在句中被打断。话轮检测要区分的是听者的"你继续说"和来电者要开口说话,而能量阈值做不到这一点。

其实你的转写结果已经包含了大部分所需信息。本指南会告诉你:该关注哪些词、识别到一个之后要等多久、策略判断出错时该记录什么。

核心要点

四件事决定你的 Agent 是坚持说完还是停下来:

1. 附和(backchannel)是让说话者继续说的信号,不代表听者想接管话轮。 2. 基于能量的 barge-in 无法区分两者,因为在 Agent 说话期间,两者都以语音能量的形式到达。 3. 特定的附和词(uh-huh、mhmm)只要开启填充词功能就会出现在转写结果里,处理它们只是一个查表问题。 4. 否定形式(uh-uh、nuh-uh、mm-mm)是例外。它们是两音节的纠正信号,Agent 应该让出话轮。

什么是附和

附和是听者发出的简短信号,意思是"继续说",而不是想抢话。它相当于大声点头,是对方说话时"……"的音频版。典型例子包括 mm-hmm、uh-huh、right、yeah 和 okay。

语言学背景

Victor Yngve 在 1970 年提出了"back channel"一词,指主说话者保持话轮期间、承载听者简短信息的次级通道。会话分析学者后来把其中的肯定类信号细化为"continuers"。

你实际会听到的词

Mm-hmm、uh-huh 和 mhmm 是纯粹的听者信号。Right、yeah 和 okay 有同样的功能,但它们同时也是表达同意的词,有时甚至能作为完整回答。 Depending on prosody and context,yeah 和 okay 可以表达同意、不同意或惊讶——正是这种歧义让它们比 mm-hmm 更难处理。

为什么 VAD 会把附和当成打断

VAD 会在附和时停下来,因为 continuer 和抢话请求在它看来完全一样。两者都是在播放过程中到达的有声能量,而能量是它唯一能测量的特征。

通道实际承载的信息

帧级的语音活动检测只做一个二元判断:是语音还是非语音。它只报告来电者说话了,从不说明为什么。"uh-huh" 和 "wait, that's the wrong address" 都以有声能量的形式越过阈值。

两类错误,相反的修复方向

在 continuer 上停下来,Agent 就对一个还想继续听的人中断了;而如果忽略一次纠正,Agent 就压过了一个正在说"不"的来电者。调低 barge-in 灵敏度能修复第一种错误,却加剧第二种;调高则相反。基础频率会让损害倾斜:在 30 小时的录音对话中,听者附和的次数几乎是打断说话者的七倍。因此能量检测器产生的误停远多于真正的拦截。

为什么实际体验比数据更糟

这个比率低估了损害,因为来电者会把每一次误停都经历为一次完整的恢复流程:Agent 停顿、道歉、重新开始、丢失上下文——既浪费时间,又让它听起来神经兮兮。

Deepgram 已经能识别的词

开启填充词功能后,根据 Deepgram 的填充词文档,Speech-to-Text API 会以固定的拼写返回七种发声。其中五种是听者信号;uh 和 um 是犹豫填充词。这样处理附和就从建模问题变成了字符串查表。

已确认的词表

Deepgram 的填充词文档列出了 uh、um、mhmm、mm-mm、uh-uh、uh-huh 和 nuh-uh。参数 filler_words 默认为 false,关闭时剥离行为只覆盖 uh 和 um。在基于精确匹配做分支之前,先抽样几百通你自己的通话,确认实际返回的形式。Deepgram 只为 Nova 系列的 general 模型记录了这一功能,所以请确认你实际运行的模型是否支持。

肯定与否定不是同一种信号

两组词需要完全相反的动作。Mhmm 和 uh-huh 让你继续说,uh-uh、nuh-uh 和 mm-mm 让你停下。近期关于会话反馈的研究把 "Disagree" 和 "No" 作为独立于 "Continue" 的类别,所以否定词不是肯定词的温和版本。不同来源的拼写不一致,也没有任何单一参考资料把三种否定形式一起收录。

把 uh-uh、nuh-uh 和 mm-mm 归为一个否定类别是工程上的便利做法。

否定形式是两个音节、中间有明显停顿,而肯定词则轻柔连贯。否定词的出现频率也远低于 mhmm 和 uh-huh,所以这个分支很少触发。当来电者对金额复核回答 "nuh-uh" 时,那是明确的反对——如果 Agent 继续说下去,就是更严重的错误。

话轮检测模型为何处理方式不同

话轮检测模型同时读取词汇和声学特征,因此 "uh-huh" 和 "wait, that's the wrong address" 会落在决策的两侧。而帧级 VAD 只有能量这一个依据。Flux STT 就是这样工作的:它把话轮检测融合进生成转写的同一个模型。其技术文档描述为:将声学和语义上下文带入联合话轮决策,而不是输出一个语音/静音的二元标志。

查表法的局限

"Right" 和 "okay" 会作为普通词汇转写出来,没有任何标记把它们和句子开头区分开,所以词表查询无法分类它们。而且这份词表只有英语,词库无法跨语言迁移——基于两种语言训练的附和模型,在没见过的第三种语言上表现很差,因为日语、英语和中文各有自己的形式。

韵律如何区分抢话请求和 continuer

听者通过音高走向来分辨,既看这个词本身的音高,也看说话者在这之前的最后一个语调单元。"okay" 上扬的语调听起来像要抢话,下降的语调听起来像附和。

听者如何分辨差异

听者依据的是一个词怎么说,而不只是说的是哪个词。"Yeah..."、"yeah?" 和 "yeah!" 是同一个词承载的三种不同含义。

音高数值只是很弱的替代品。对照听者对英语反馈片段的判断,平均音高、音高范围和音高斜率这类测量的一致率只有 36% 到 49%;而对相同片段更完整的声学表征则达到 60% 到 77%。

音高轮廓不在 API 返回结果里

你无法从 API 读取音高。Deepgram 的流式语音转写文档没有列出任何 F0 或音高轮廓字段,所以依赖音高轮廓的设计根本没有数据可用。请改用转写层面的替代信号。

你实际能读到的替代信号

首先用词本身。词级时间戳能显示它在话轮中的位置,以及之后语音是否继续。至于话轮检测本身,直接用 Flux STT,而不是试图从 API 返回结果里重构韵律。

为你的 Agent 设计决策序列

四个检查按顺序决定坚持还是让出,顺序本身就是关键。弄错了,你要么打断来电者,要么无视纠正——这两类错误的方向正好相反。

第一步:播放中出现短促发声

把处理器绑定到话轮级事件,而不是原始 VAD 帧。绑定到 Deepgram 的 Flux 状态参考文档中列出的 speech-start 事件(该文档描述了 Flux STT 经历的各个状态)。在播放中触发于短促发声,忽略孤立的能量尖峰。

第二步:是否在词表内

将转写文本与七词表比对。先确认你在 Agent 链路中运行的模型会返回这些词。第一步的话轮事件和这里的填充词可能来自不同模型。匹配的词分类为肯定(mhmm、uh-huh)或否定(mm-mm、uh-uh、nuh-uh)。未匹配的文本——包括普通词汇和完整句子——交给标准的 barge-in 处理。

第三步:语音是否继续

在词之后短暂等待,看来电者是否继续说。"Uh-huh, but actually the address is wrong" 是以 continuer 开头的抢话请求;而单独的 "uh-huh" 后接沉默则不是。词结束时间戳加上一个短等待窗口就能实现这个区分——这是拿不到音高轮廓时的实用替代方案。

第四步:坚持还是让出

按以下顺序应用策略:

1. 独立的肯定词:坚持。继续说,这是来电者的要求。 2. 任何否定词:立即让出。无论是否独立,都视为纠正。 3. 肯定词后继续说话:让出。来电者要开口了。 4. 无匹配:让出。这是普通 barge-in。

把这套顺序当作应用层的设计选择,而不是经过验证的排序。坚持还是让出的决策属于你的应用层。

跟踪误打断率

Agent 错误自我中断的频率没有公开的行业基线,所以需要自行定义比率并从自己的日志计算。工作定义是:Agent 因一个并非抢话的声音而停止说话的案例占比。

定义分子和分母

生产流量没有测试用例,所以要调整这个比率。分母:统计 Agent 因来电者音频而中断自己语音的所有事件。分子:统计其中来电者在停止后的固定时间窗口内没有产生完整话轮的子集。保持沉默的来电者是在附和,而不是要抢话。两秒是一个合理的起点,文献中并没有固定值。把这个窗口写下来,确保两位工程师读同样的日志能算出同样的数字。

要记录哪些字段才能计算

每个事件记录四个字段:来电者音频到达时 Agent 是否在说话、转写内容是什么、策略决定了什么、来电者接下来做了什么。最后一个字段提供分子。如果之后出现了完整话轮就记录下来;没有则记录沉默或重复的词。

结合反面指标来看

在单阈值调优下,误打断和漏掉纠正朝相反方向移动。让出前多等一会儿能减少误停,但会延迟每一次真正的 barge-in;收紧端点检测阈值则相反。所以要同时跟踪漏掉纠正的计数,由 Agent 未响应的否定词触发。漏掉一侧的对比基线就用你自己上一次的部署数据。

落地附和处理策略

你已经有了一个策略,所以先测量你的技术栈自带的那个。无论它现在的 barge-in 行为如何,都是隐式的、未被测量的——改变之前必须先记录决策。

先埋点,再调优

开启 filler_words,加上那四个日志字段,运行一周正常流量。在改动任何阈值或坚持规则之前,先从这个基线计算误打断率和漏纠正计数。

按流程阶段调整策略

按每一步出错的代价来划分策略。信息披露和付款确认环节应该让出,因为漏掉一个 "nuh-uh" 会导致错误扣款,而不必要的停顿只是尴尬一秒。Flux STT 支持在流中调整阈值,所以你可以在收集账号时放宽话轮检测,之后再收紧。开放式支持流程则可以在肯定词时坚持说完,因为来电者主要在长篇解释问题时附和。

开始实践

回放一天你自己的生产音频,开启填充词功能,统计当前策略会因为多少个 "uh-huh" 而停下来。注册 Deepgram 免费账户,把 $200 免费额度用在这个实验上。

FAQ

附和和打断有什么区别?

附和不会夺走话轮,打断会。所以当说话者保持话轮时标记为附和,当听者开始完整话轮时标记为打断。由于两者在音频上可能几乎一样,要标注意图,而不是仅凭发声时长。

Deepgram 默认会转写 uh-huh 和 mhmm 吗?

不会。filler_words 默认为 false,必须开启才能拿到这些词。迁移审计应把配置覆盖与来电者行为分开。用关闭状态录制的既有转写无法提供可用基线。请确认产生转写的模型链路中 filler_words 已开启,然后只对比新流量。

语音活动检测能调到忽略附和吗?

不能。时长和灵敏度旋钮只是在两类错误之间做交换,要可靠地忽略附和,需要一个能读懂上下文的模型。

来电者说话时,语音 Agent 应该自己也发出附和吗?

证据倾向于应该。2024 年一项 EMNLP Findings 研究发现,Agent 会附和时用户参与度显著更高。但有上限——超过适中频率后,更多反馈反而让 Agent 显得不够专注。

附和词在不同语言中不一样吗?

是的,形式本身和使用频率都不同。不要翻译英语词表。把每种语言交给一位流利的 QA 负责人,在发布前让他们验证形式、频率和使用位置。

评论 (0)