← 文章 / 未分类
vercel 7小时前 · 2026-09-17 14:47:38 · 1 阅读

Gemini 3.8 Live 模型现已在 AI Gateway 上推出

Gemini 3.8 LiveGemini 3.8 Live Extended Thinking 来自 Google,现已在 AI Gateway 上提供。

两款模型均支持实时语音交互,适用于语音助手、对话体验以及通过音频响应的应用场景。

  • google/gemini-3.8-live 支持实时音频、视觉定位(visual grounding)、在 97 种语言间自动切换,并能在对话进行中执行后台工具调用。

  • google/gemini-3.8-live-extended-thinking 增加了多步推理功能,该推理与语音并行执行,使其能够确认请求并叙述进度,而不打断对话流程。

通过 AI SDK 的 realtime API 使用任一模型。请安装 Gateway provider 和 WebSocket 客户端:

pnpm add @ai-sdk/gateway@latest ws

生成短期有效 token,打开 WebSocket,并使用模型适配器序列化与解析实时事件:

1import { gateway } from '@ai-sdk/gateway';2import WebSocket from 'ws';3
4const modelId = 'google/gemini-3.8-live';5const { token, url } = await gateway.experimental_realtime.getToken({6  model: modelId,7});8
9const model = gateway.experimental_realtime(modelId);10const config = model.getWebSocketConfig({ token, url });11const ws = new WebSocket(config.url, config.protocols);12
13const send = async (14  event: Parameters<typeof model.serializeClientEvent>[0],15) => ws.send(JSON.stringify(await model.serializeClientEvent(event)));16
17ws.on('open', async () => {18  await send({19    type: 'session-update',20    config: {21      outputModalities: ['audio'],22      outputAudioTranscription: {},23      // 仅 Extended Thinking 可用。thinkingLevel 和 thinkingBudget 只能设置其中一个:24      // providerOptions: {25      //   google: { thinkingConfig: { thinkingLevel: 'LOW' } },26      // },27    },28  });29  await send({30    type: 'conversation-item-create',31    item: {32      type: 'text-message',33      role: 'user',34      text: 'Say hello in one sentence.',35    },36  });37});38
39ws.on('message', (data) => {40  const parsed = model.parseServerEvent(JSON.parse(data.toString()));41
42  for (const event of Array.isArray(parsed) ? parsed : [parsed]) {43    if (event.type === 'audio-transcript-delta') {44      process.stdout.write(event.delta);45    }46    if (event.type === 'response-done') {47      console.log();48      ws.close();49    }50    if (event.type === 'error') {51      console.error(event.message);52      ws.close();53    }54  }55});56
57ws.on('close', (code, reason) => {58  if (code !== 1000) {59    console.error(`WebSocket closed (${code}): ${reason.toString()}`);60  }61});

关于 realtime 事件和 WebSocket 连接的更多细节,请参阅 realtime 快速上手指南

欢迎在模型 Playground 中体验 Gemini 3.8 LiveGemini 3.8 Live Extended Thinking

AI Gateway 提供统一的 API,支持调用模型、跟踪用量和成本,还能配置重试、故障转移和性能优化,可用性甚至高于模型提供商本身。

原始来源: vercel

评论 (0)