Google Dupux 进化史:从电话 AI 到 Gemini 中的通话助手
订餐厅、约理发这类事情往往很费时间。电话里的实时对话节奏快、没什么固定套路,对方几乎什么话都可能说,甚至话说到一半就改口——而且人们常常靠细微的语气变化来判断该谁开口了。停顿超过半秒,听上去就像电话断了;接话太快,又会互相抢话。要让 AI 在电话里得体地完成这些任务,我们必须让高质量语音理解、上下文推理和语音合成在同一套低延迟系统里协同工作。
近十年前,我们推出了 Google Duplex 来应对这一挑战。随着基础模型技术的进步,Duplex 的架构不断演进,如今已在 Google Search、Maps 等众多核心产品中支撑自主任务执行。本周,我们将 Duplex 引入了 Tasks in Gemini App——一个能帮你处理现实事务的 AI 助手,比如替你打电话给商家、代你完成各种请求。本文将回顾这十年的架构演进历程:从早期的封闭领域模型,到完全基于 Gemini 构建的统一技术栈。
从封闭领域的电话调用到 Tasks in Gemini
这个最初只针对特定任务的狭义系统,后来在与 Google 各团队的合作中,逐步扩展为一套共享的对话基础设施。
新冠疫情期间,商家的营业时间和服务变动频繁,Duplex 加大了自动核实商家信息的力度,确保信息准确。它至今仍是重要的数据来源:正如我们在 2023 年分享的,来自 Duplex 电话通话的商家信息,在 Search 和 Maps 中的展示次数已超过一万亿次。
与此同时,我们还与 Android 和硬件团队合作,将这些对话模型直接部署到设备端。从 2019 年开始,我们连续五代 Pixel 手机推出了新的 Pixel Call Assist 功能。这些模型持续支撑着 Call Screen 和 Hold for Me 等功能,帮助用户过滤未知来电,并在等待队列结束后、用户重新接听之前与人工客服保持通话。2025 到 2026 年,基础模型又在 Google Search 和 Ask Maps 中解锁了更广泛的代理式打电话能力,可以代为查询报价、商品库存,以及从宠物美容到汽车维修等各类服务的营业情况。三代对话架构的演进
过去十年间,支撑这些通话的技术栈经历了三个截然不同的阶段,从定制的神经网络管线逐步演进到基于 Gemini 的统一架构。
1. LLM 出现前的封闭领域模型
我们启动 Google Duplex 项目时,现代语言模型尚未诞生,甚至 Transformer 还没被发明出来。在那个早期阶段,为了让商家和用户都有良好的体验,我们把 Duplex 限定在很窄的领域内,并基于匿名化的任务专属电话对话数据训练定制的循环神经网络模型。由于缺乏预训练带来的世界知识,我们需要教会模型高效处理每一种具体任务。实际操作上,这意味着每种任务类型都要准备大量训练数据——比如处理餐厅订座的固定流程,与查询节假日营业时间就完全不同——以确保系统能够可靠地应对各领域特有的逻辑。
2. 早期生成式模型与混合技术栈
随着开放域基础模型的出现,Google Duplex 开始在生产环境中使用它们。例如,2022 年 Duplex 在实际通话中使用了 LaMDA。这些预训练模型简化了语义理解和常识推理,使系统能够应对意外的对话转折和跑题情况,同时像标准的餐厅预订任务一样保持对上下文的把握。
不过,这些早期的生成式模型可预测性较差,有时也比今天的模型慢,因此我们构建了混合架构:用生成式模型实现灵活的表达方式,同时配合确定性的状态跟踪和严格的策略约束,确保用户和商家都能获得良好的体验。
3. 无边界任务与 Gemini 集成
随着基础模型的进步,我们彻底摆脱了固定垂直领域的限制,改为用自由文本的任务描述来驱动系统。这样一来,模型只需通过提示词就能定义任务,系统能够泛化到新的任务类型和细节要求(比如要求靠窗座位,或者给婴儿车留出空间),也能支持新的商家类别,无需从零构建单独的对话模型。
我们的外呼技术栈使用 Gemini 来统一多模态理解、任务规划和对话生成,使系统能够处理多重约束的请求——比如结合日历冲突安排汽车保养——并在前台推荐其他时间时灵活调整。
实时电话通信的技术难题
即使拥有前沿模型,实时电话通信仍然存在一些难题,仅靠在网页等标准数据集上预训练是无法解决的:
- 通话前和对话上下文的语用建模,以及对真实世界意图的理解:网络上的数据并不足以覆盖与忙碌商家通话时的各种情况。近十年目标导向型外呼的经验积累,帮助我们的技术栈理解语用规范,甚至从通话开始之前就已生效。实际应用中,这意味着基于历史通话上下文将自由文本任务与商家匹配(例如,知道某家商家周末不接受大型团体预订),从而预测任务能否成功。通话过程中,这有助于模型判断在特定时刻询问什么才合理、如何理解礼貌而委婉的拒绝,以及如何让通话简短高效。
- 嘈杂环境下的亚秒级响应:电话走的是压缩的电话线路,背景还可能很吵——厨房里叮叮当当、咖啡机轰鸣、街头噪音、旁边人聊天。我们的技术栈针对低延迟流式推理做了优化,让回复的节奏听起来自然。定制化的声学模型和对话节奏模型会辅助核心 AI 系统,处理背景噪音、把握停顿、在合适时机收声等。
为通话两端都做好设计
Duplex 对接电话的商家和对发起通话的用户,都要同样好用。这一原则决定了下面几个设计选择:
- 明确表明身份。每通电话开始时都会清楚说明这是 AI 代理——具体来说,是 Google 打来的自动呼叫系统。
- 商家拥有控制权。商家可以在 Google Business Profile 设置中选择退出自动来电,或者在通话中直接说“请不要再打给我”。
- 无需部署、零改造。Duplex 直接使用商家现有的接听电话,不用安装软件,不用维护预订系统,也不用培训员工。无论谁接电话,都可以像对待普通顾客一样处理,哪怕正值高峰、柜台前排着队也没问题。
- 一次通话,多次复用。一通电话里收集到的信息可以回答之后的很多问题,商家不会被反复问同样的事情。比如,Google Maps 可以展示 Duplex 收集到的商家信息:欢乐时光特惠、露台座位、宠物友好、停车建议,甚至每周的问答之夜。