← 文章 / AI技术
Hacker News 2026/8/28 · 2026-08-28 20:01:54 · 62 阅读

Google 推出 Gemini 3.5 Transcribe:更精准的智能语音转文本模型

今天,我们推出 Gemini 3.5 Transcribe——目前精准度最高的语音转文本模型,专为智能语音交互而设计。传统语音识别模型往往难以应对背景噪声、复杂术语和口语中的不流畅表达,而 Gemini 3.5 Transcribe 能将原始音频直接转换为准确、流畅且格式规范的文本。

在 Gemini 应用和 Android 等产品中,消费者已经通过这一转录模型体验到全新的语音功能,例如 Android 手机上的 Rambler,以及 macOS 版 Gemini 应用中的相关功能。现在,开发者也可以借助 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform,构建类似的能力。

我们打造 3.5 Transcribe 时,充分考虑了开发者的工作流。无论是构建语音代理、实时字幕工具,还是通话后分析流程,它都能无缝接入。该模型提供两套独立的 API:

  • 实时流式转录:通过使用 gemini-3.5-transcribe-live 的 Live API,为交互式语音应用提供延迟低于一秒的连续双向流式处理。
  • 预录音频处理:通过使用 gemini-3.5-transcribe 的 Interactions API,转录录音、会议内容、通话记录等音频,并提供说话人识别和词级时间戳。

更精准、更智能的语音转录

Gemini 3.5 Transcribe 能捕捉自然的说话方式,从而更好地理解用户意图、识别自定义词汇,让你可以直接用语音执行任务。

  • 智能转录:能够自然处理自我纠正(例如“我们周二见——不,周三见”),去除“嗯”“呃”等填充词,并自动设置文本格式。
  • 函数调用:模型可以通过函数调用,将复杂任务(例如图像生成和文件分析)交给其他 Gemini 模型处理。目前已在 Gemini macOS 应用中提供。
  • 更精准的转录:根据 Artificial Analysis 的测评,流式场景的平均词错误率(WER)为 4.0%,非流式场景为 2.6%。即使在嘈杂的真实环境中,也能保持出色表现,准确识别邮政编码、订单号等字母数字混合信息。
  • 自定义词汇:支持自定义词汇,能够识别专业术语和特殊拼写,并自动将其融入转录结果。
  • 全球语言支持:可自动识别并转录超过 85 种语言,顺畅应对不同地区口音和多样化方言。
  • 多人说话人识别:对于预录音频,可准确区分最多三位说话人,并提供时间戳(支持三位以上说话人仍处于实验阶段)。

Gemini 3.5 Transcribe 可应对实时语言切换,并实现流畅的流式转录

观看 Gemini 3.5 Transcribe 如何借助智能转录功能,自动清理语音中的不流畅表达。

3.5 Transcribe 支持区分多位说话人,并提供逐词时间戳。

Gemini 3.5 Transcribe 的表现相比上一代转录模型 Chirp 3 实现了大幅提升:不仅新增多项能力、降低了词错误率,延迟也显著降低。根据 Artificial Analysis 的测评,以最终转录结果生成时间为例,速度提升了 70%。在涵盖多种主流语言和地区的 FLEURS 基准测试中,该模型展现出精准的多语言能力,全面超越 Chirp 3;流式场景的 WER 达到 5.50%,非流式场景则为 5.04%。

Graph of streaming speech recognition accuracy Graph of streaming speech recognition accuracy

体验智能转录与高级听写功能

除了 Google AI Studio 中的 Gemini API 和 Gemini Enterprise Agent Platform,3.5 Transcribe 还进一步突破了传统语音转文本的范畴,让你在 Google 生态中工作时更加自然、直观。它将上下文感知能力融入 Gboard、Antigravity、Gemini 应用和 Chrome 等日常使用场景,能够轻松理解语气细节、表达意图,并处理文本中的即时修改。

  • 在 Android 版 Gboard 中,借助全新的 Rambler 功能,3.5 Transcribe 可以把口述内容转换为格式规范的文本,并自动去除口头语。你还可以直接通过语音修改内容、纠正拼写错误和调整写作风格。
  • 在 Google Antigravity 中,经你授权后,3.5 Transcribe 会结合屏幕上下文和聊天记录,精准转录文件名、代理思考过程和当前打开的文档内容。
  • 在 Google AI Studio 中,你可以在 Build 模式下使用 3.5 Transcribe,通过语音即时进行 vibe coding,快速构建应用。
  • 在 macOS 版 Gemini 应用中,3.5 Transcribe 不仅能将自然随意的口述内容转换为整洁、格式规范的文本,还支持语音指令,并能结合屏幕上下文完成复杂工作流。模型还会在后台调用其他 Gemini 模型处理繁重任务,让你只需动动嘴,就能总结本地文件、在不同应用之间改写文本,或直接在光标所在位置生成图片。
  • Chrome 版功能即将推出。届时,你可以在任意网页输入框中通过语音输入,更轻松地口述回复、起草帖子,或用语音以更自然便捷的方式向 Chrome 中的 Gemini 提问。

借助 Gemini 3.5 Transcribe,你只需使用语音,就能在 macOS 版 Gemini 应用中分析文件、生成图片和进行搜索。

了解 Gemini 3.5 Transcribe 如何在 Android 上通过 Rambler 自动去除口头语,让语音内容更加简洁流畅。

Gemini 3.5 Transcribe 会利用 Google Antigravity 中的屏幕上下文,确保转录结果精准无误。

阅读早期用户评价

借助 Gemini Live API,Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 和 Vision Agents 等开发者平台,让开发者能够轻松构建和部署高性能语音交互界面。这些平台在后台处理复杂的实时媒体流基础设施,让开发者可以专注于打造用户体验。

vivo、Intellitek Health 和 Lingopal 等公司也分享了对 3.5 Transcribe 的积极评价,称赞其出色的延迟表现、准确性以及广泛的语言支持。

vivo testimonial IntelliTek testimonial Lingopal testimonial Stream testimonial Agora testimonial fishjam testimonial

立即开始使用 3.5 Transcribe

原始来源: Hacker News

评论 (0)