vercel 7小时前 · 2026-09-17 14:47:38 · 1 阅读
Gemini 3.8 Live 模型现已在 AI Gateway 上推出
Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 来自 Google,现已在 AI Gateway 上提供。
两款模型均支持实时语音交互,适用于语音助手、对话体验以及通过音频响应的应用场景。
google/gemini-3.8-live支持实时音频、视觉定位(visual grounding)、在 97 种语言间自动切换,并能在对话进行中执行后台工具调用。google/gemini-3.8-live-extended-thinking增加了多步推理功能,该推理与语音并行执行,使其能够确认请求并叙述进度,而不打断对话流程。
通过 AI SDK 的 realtime API 使用任一模型。请安装 Gateway provider 和 WebSocket 客户端:
pnpm add @ai-sdk/gateway@latest ws生成短期有效 token,打开 WebSocket,并使用模型适配器序列化与解析实时事件:
1import { gateway } from '@ai-sdk/gateway';2import WebSocket from 'ws';3
4const modelId = 'google/gemini-3.8-live';5const { token, url } = await gateway.experimental_realtime.getToken({6 model: modelId,7});8
9const model = gateway.experimental_realtime(modelId);10const config = model.getWebSocketConfig({ token, url });11const ws = new WebSocket(config.url, config.protocols);12
13const send = async (14 event: Parameters<typeof model.serializeClientEvent>[0],15) => ws.send(JSON.stringify(await model.serializeClientEvent(event)));16
17ws.on('open', async () => {18 await send({19 type: 'session-update',20 config: {21 outputModalities: ['audio'],22 outputAudioTranscription: {},23 // 仅 Extended Thinking 可用。thinkingLevel 和 thinkingBudget 只能设置其中一个:24 // providerOptions: {25 // google: { thinkingConfig: { thinkingLevel: 'LOW' } },26 // },27 },28 });29 await send({30 type: 'conversation-item-create',31 item: {32 type: 'text-message',33 role: 'user',34 text: 'Say hello in one sentence.',35 },36 });37});38
39ws.on('message', (data) => {40 const parsed = model.parseServerEvent(JSON.parse(data.toString()));41
42 for (const event of Array.isArray(parsed) ? parsed : [parsed]) {43 if (event.type === 'audio-transcript-delta') {44 process.stdout.write(event.delta);45 }46 if (event.type === 'response-done') {47 console.log();48 ws.close();49 }50 if (event.type === 'error') {51 console.error(event.message);52 ws.close();53 }54 }55});56
57ws.on('close', (code, reason) => {58 if (code !== 1000) {59 console.error(`WebSocket closed (${code}): ${reason.toString()}`);60 }61});关于 realtime 事件和 WebSocket 连接的更多细节,请参阅 realtime 快速上手指南。
欢迎在模型 Playground 中体验 Gemini 3.8 Live 或 Gemini 3.8 Live Extended Thinking。
AI Gateway 提供统一的 API,支持调用模型、跟踪用量和成本,还能配置重试、故障转移和性能优化,可用性甚至高于模型提供商本身。
原始来源: vercel