进阶 ai.google.dev 2026-10-15 02:43:21 · 21 阅读

第10章 Gemini Live API:实时语音与视觉交互入门

Gemini 4 Argon 现已上线。快来体验吧。

Live API 概述

Live API 支持与 Gemini 进行低延迟、实时的语音和视觉交互。它处理音频、图像和文本的连续流,即时生成类人的口语响应,为用户打造自然的对话体验。

在 Google AI Studio 中体验 Live API (mic)

从 GitHub 克隆示例应用 (code)

使用编码代理技能 (terminal)

应用场景

Live API 可用于构建面向多个行业的实时语音代理,包括:

电子商务与零售:提供个性化推荐以及支持代理,协助解决客户问题。 游戏:互动非玩家角色 (NPC)、游戏内助手,以及游戏内容的实时翻译。 下一代界面:机器人、智能眼镜和车辆中支持语音和视频的交互体验。 医疗健康:用于患者支持与教育的健康伴侣。 金融服务:用于财富管理和建议的 AI 顾问。 教育:提供个性化教学与反馈的 AI 导师和学习伴侣。 翻译与本地化:口语文本的实时、低延迟翻译,实现流畅的多语言沟通。 实时转录与字幕:实时语音转文本流,适用于直播字幕、会议转录、语音听写和客服通话记录。

核心功能

Live API 提供了一组全面的特性,用于构建健壮的语音代理:

多语言支持:可基于 70 种受支持的语言进行对话。 插话 (Barge-in):用户可随时打断模型,实现响应式交互。 工具调用:集成函数调用和 Google 搜索等工具,支持动态交互。 音频转录:提供用户输入和模型输出的文本记录。 主动式音频:允许控制模型的响应时机与上下文。 情感对话:根据用户的表达方式调整响应风格和语气。 实时转录:支持自动语言检测和自定义词汇的实时、连续语音转文本流。 实时翻译:支持 70 多种语言的实时语音对语音翻译。

技术规格

下表列出了 Live API 的技术规格:

类别 | 详情 输入模态 | 音频(原始 16-bit PCM,16kHz,小端序)、图像(JPEG,<= 1 FPS)、文本 输出模态 | 音频(原始 16-bit PCM,24kHz,小端序) 协议 | 有状态 WebSocket 连接 (WSS)

选择实现方式

集成 Live API 时,需选择以下实现方式之一:

服务端到服务端:后端通过 WebSockets 连接 Live API。通常,客户端将流数据(音频、视频、文本)发送至您的服务器,再由服务器转发至 Live API。 客户端到服务端:前端代码直接通过 WebSockets 连接 Live API 以流式传输数据,绕过您的后端。

快速开始

选择适合开发环境的指南:

服务端到服务端

GenAI SDK 教程

使用 GenAI SDK 连接 Gemini Live API,构建基于 Python 后端的实时多模态应用。

客户端到服务端

WebSocket 教程

使用 WebSockets 连接 Gemini Live API,构建基于 JavaScript 前端和临时令牌的实时多模态应用。

代理开发工具包

ADK 教程

创建代理并使用代理开发工具包 (ADK) 的流式功能,实现语音和视频通信。

合作伙伴集成

为简化实时音视频应用的开发,可借助支持 Gemini Live API 的第三方集成,通过 WebRTC 或 WebSockets 进行通信。

LiveKit

使用 Gemini Live API 集成 LiveKit 代理。

Pipecat by Daily

使用 Gemini Live 和 Pipecat 创建实时 AI 聊天机器人。

Fishjam by Software Mansion

使用 Fishjam 创建直播音视频流应用。

Vision Agents by Stream

使用 Vision Agents 构建实时语音和视频 AI 应用。

Voximplant

使用 Voximplant 将入站和出站电话连接至 Live API。

Agora

使用 Agora 构建实时对话式 AI 应用。

Firebase AI SDK

使用 Firebase AI Logic 开始使用 Gemini Live API。

评论 (0)