← 文章 / AI技术
vercel 25天前 · 2026-10-28 04:03:15 · 17 阅读

ElevenLabs 接入 AI 网关

Vercel 与 ElevenLabs 达成合作,将 ElevenLabs 的 14 款模型接入 AI Gateway。为庆祝上线,自发布起至 11 月 9 日止的前 14 天内,AI Gateway 上的所有 ElevenLabs 模型均享五折优惠。

AI Gateway 支持六种 ElevenLabs 音频模型类型:

  • 语音转文本:转录录音,或为语音实时生成字幕。

  • 流式文本转语音:在语言模型仍在生成回复时即开始播放音频,用户无需等待完整答复。

  • 实时语音 Agent:允许用户在单次实时会话中与你的应用语音交互,并收听口头回应。适用于客服专线、辅导老师及应用内助手。

  • 音乐:用自然语言描述一段乐曲,即可按指定长度生成成品歌曲或纯音乐。

  • 音效:通过简短描述生成游戏与界面音效,或可无缝循环的环境音。

  • 多角色对话:单次调用即可为整段对话配音,为每位说话者分配不同声音。

所有这些音频模型均可通过单一的网关 API Key 访问。你的应用或 Agent 可以转录用户语音,借助数百种模型进行推理,再用 ElevenLabs 的声音进行回应。你还可以利用生成的音乐和音效创作配乐。

所有请求都会汇入 AI Gateway 统一的用量、成本和追踪视图,与其他 AI Gateway 流量保持一致。

Copy link to headingModel types

AI Gateway 提供对 14 款 ElevenLabs 模型的访问权限,覆盖语音转文本、实时语音及音乐等领域。

模型类型

模型 ID

语音转文本

elevenlabs/scribe-v2, elevenlabs/scribe-v2-realtime

流式文本转语音

elevenlabs/eleven-flash-v2.5, elevenlabs/eleven-flash-v2, elevenlabs/eleven-multilingual-v2, elevenlabs/eleven-v3-conversational

实时语音 Agent

elevenlabs/eleven-realtime-v1-max, elevenlabs/eleven-realtime-v1-mini

音乐

elevenlabs/music-v2.5, elevenlabs/music-v2

音效

elevenlabs/sound-effects-v2

多角色对话

elevenlabs/eleven-v4、elevenlabs/eleven-v4-turbo、elevenlabs/eleven-v3

Copy link to heading语音识别与合成

Scribe v2 Realtime 可以在用户说话的同时把语音转成文字,再由你选择的语言模型生成回答。Eleven Flash v2.5 是 ElevenLabs 的低延迟语音模型,能在文本流式输出的过程中同步朗读,因此用户在模型还没写完回答时就能听到开头。

由于每个环节都是独立的模型,你可以随意替换转写、语言或语音模型,而无需改动流水线的其他部分。

下面的示例中,用户询问自己能否赶上中转航班。文本模型综合航班状态和登机口距离生成回答,再由语音模型朗读出来。

import {  experimental_streamSpeech as streamSpeech,  experimental_streamTranscribe as streamTranscribe,  streamText,} from 'ai';
const heard = streamTranscribe({  model: 'elevenlabs/scribe-v2-realtime',  audio: microphoneStream,  inputAudioFormat: { type: 'audio/pcm', rate: 16000 },});
const { textStream } = streamText({  model: 'anthropic/claude-haiku-5.5',  prompt: await heard.text,});
const { audioStream } = streamSpeech({  model: 'elevenlabs/eleven-flash-v2.5',  text: textStream,  voice: 'hpp4J3VqNfWAUOO0d1Us',});

这段代码先转写 16 kHz 的麦克风音频流,把转写结果发给语言模型,再将模型输出的文本直接送入语音合成。

Copy link to heading实时语音智能体

Eleven Realtime v1 Max 和 Eleven Realtime v1 Mini 用单个模型完成整段语音对话,适合需要自然来回交流的场景,比如客服电话或应用内助手。两个模型都在单个 WebSocket 会话中接收用户音频并返回语音回复,无需单独搭建转写或语音合成环节。

Eleven Realtime 能够听懂“我能不能改一下订单地址?”这样的指令,并在同一个 WebSocket 连接中回复“没问题,您的订单号是多少?”。

import { gateway } from 'ai';
const { token, url } = await gateway.experimental_realtime.getToken({  model: 'elevenlabs/eleven-realtime-v1-max',});

WebSocket 连接由浏览器直接建立,服务端只负责为所选模型生成一个短期凭证,这样就把 API key 留在了后台,不会暴露给客户端。

在浏览器中,引入 @ai-sdk/react 的 useRealtime Hook,它会自动处理 WebSocket 连接、麦克风采集和音频播放。在 Hook 的 sessionConfig 里填入 ElevenLabs 的声音 ID,并将 turnDetection 设为 { type: 'semantic-vad' }。这类模型支持语义语音活动检测(VAD),可判断用户是否说完话,但不支持 server-vad。完整的浏览器端配置可参考 实时语音指南。

Copy link to heading音乐与音效

Music v2.5 和 Music v2 能根据文字描述原创音乐。你可以指定流派、氛围或乐器,模型会返回一条时长如你所求的完整曲目,有歌声或纯器乐皆可。如需更精细控制,还能逐段规划歌曲结构,并为每段单独设定风格和时长。

Sound Effects v2 的逻辑类似,但面向更短促的声音,比如脚步声、摔门声,或是能在游戏关卡下循环播放的雨声。

这三类模型都调用 generateSpeech 函数,区别在于 text 参数描述的不是要朗读的文字,而是想要生成的声音。下面以一段 30 秒的曲为例:

import { generateSpeech } from 'ai';
const { audio } = await generateSpeech({  model: 'elevenlabs/music-v2.5',  text: 'A mellow lo-fi beat with soft piano',  providerOptions: { elevenlabs: { musicLengthMs: 30000 } },});

Copy link to heading多角色对话

Eleven v4、Eleven v4 Turbo 和 Eleven v3 支持在单次请求中执行多角色的脚本。为每行台词指定声源,每次切换声源即开始新的轮次。双人播客或群戏场景将返回一段连续录音,无需手动拼接多个片段。

import { experimental_streamSpeech as streamSpeech } from 'ai';
const host = 'hpp4J3VqNfWAUOO0d1Us';const guest = 'CwhRBWXzGAHq8TQ4Fs17';
const { audioStream } = streamSpeech({  model: 'elevenlabs/eleven-v4',  text: [    { type: 'text', text: 'Did the deploy go out?', voice: host },    { type: 'text', text: 'It shipped an hour ago.', voice: guest },  ],  providerOptions: { elevenlabs: { dialogue: { voices: [host, guest] } } },});

每个声源对应一个 ElevenLabs 的 voice ID。片段也可以由语言模型实时生成脚本并流式传输。

跳转到标题关于 AI Gateway

AI Gateway 提供统一 API,用于调用模型、追踪用量与成本,并配置重试、故障转移及性能优化,以确保高于服务商的可用性。它内置 自定义报告、零数据保留(ZDR)支持、API 密钥预算、路由规则等功能。

AI Gateway 直接沿用服务商定价,无加价,且不收取推理平台费,包括 自带密钥(BYOK)请求。

AI Gateway 音频文档提供了涵盖 ElevenLabs 各模型的示例。浏览 AI Gateway 上的 所有音频模型,在 11 月 9 日前体验 ElevenLabs 可享五折优惠。

原始来源: vercel

评论 (0)