ElevenLabs 接入 AI 网关
Vercel 与 ElevenLabs 达成合作,将 ElevenLabs 的 14 款模型接入 AI Gateway。为庆祝上线,自发布起至 11 月 9 日止的前 14 天内,AI Gateway 上的所有 ElevenLabs 模型均享五折优惠。
AI Gateway 支持六种 ElevenLabs 音频模型类型:
语音转文本:转录录音,或为语音实时生成字幕。
流式文本转语音:在语言模型仍在生成回复时即开始播放音频,用户无需等待完整答复。
实时语音 Agent:允许用户在单次实时会话中与你的应用语音交互,并收听口头回应。适用于客服专线、辅导老师及应用内助手。
音乐:用自然语言描述一段乐曲,即可按指定长度生成成品歌曲或纯音乐。
音效:通过简短描述生成游戏与界面音效,或可无缝循环的环境音。
多角色对话:单次调用即可为整段对话配音,为每位说话者分配不同声音。
所有这些音频模型均可通过单一的网关 API Key 访问。你的应用或 Agent 可以转录用户语音,借助数百种模型进行推理,再用 ElevenLabs 的声音进行回应。你还可以利用生成的音乐和音效创作配乐。
所有请求都会汇入 AI Gateway 统一的用量、成本和追踪视图,与其他 AI Gateway 流量保持一致。
Copy link to headingModel types
AI Gateway 提供对 14 款 ElevenLabs 模型的访问权限,覆盖语音转文本、实时语音及音乐等领域。
模型类型 | 模型 ID |
|---|---|
语音转文本 |
|
流式文本转语音 |
|
实时语音 Agent |
|
音乐 |
|
音效 |
|
多角色对话 |
|
Copy link to heading语音识别与合成
Scribe v2 Realtime 可以在用户说话的同时把语音转成文字,再由你选择的语言模型生成回答。Eleven Flash v2.5 是 ElevenLabs 的低延迟语音模型,能在文本流式输出的过程中同步朗读,因此用户在模型还没写完回答时就能听到开头。
由于每个环节都是独立的模型,你可以随意替换转写、语言或语音模型,而无需改动流水线的其他部分。
下面的示例中,用户询问自己能否赶上中转航班。文本模型综合航班状态和登机口距离生成回答,再由语音模型朗读出来。
import { experimental_streamSpeech as streamSpeech, experimental_streamTranscribe as streamTranscribe, streamText,} from 'ai';
const heard = streamTranscribe({ model: 'elevenlabs/scribe-v2-realtime', audio: microphoneStream, inputAudioFormat: { type: 'audio/pcm', rate: 16000 },});
const { textStream } = streamText({ model: 'anthropic/claude-haiku-5.5', prompt: await heard.text,});
const { audioStream } = streamSpeech({ model: 'elevenlabs/eleven-flash-v2.5', text: textStream, voice: 'hpp4J3VqNfWAUOO0d1Us',});这段代码先转写 16 kHz 的麦克风音频流,把转写结果发给语言模型,再将模型输出的文本直接送入语音合成。
Copy link to heading实时语音智能体
Eleven Realtime v1 Max 和 Eleven Realtime v1 Mini 用单个模型完成整段语音对话,适合需要自然来回交流的场景,比如客服电话或应用内助手。两个模型都在单个 WebSocket 会话中接收用户音频并返回语音回复,无需单独搭建转写或语音合成环节。
Eleven Realtime 能够听懂“我能不能改一下订单地址?”这样的指令,并在同一个 WebSocket 连接中回复“没问题,您的订单号是多少?”。
import { gateway } from 'ai';
const { token, url } = await gateway.experimental_realtime.getToken({ model: 'elevenlabs/eleven-realtime-v1-max',});WebSocket 连接由浏览器直接建立,服务端只负责为所选模型生成一个短期凭证,这样就把 API key 留在了后台,不会暴露给客户端。
在浏览器中,引入 @ai-sdk/react 的 useRealtime Hook,它会自动处理 WebSocket 连接、麦克风采集和音频播放。在 Hook 的 sessionConfig 里填入 ElevenLabs 的声音 ID,并将 turnDetection 设为 { type: 'semantic-vad' }。这类模型支持语义语音活动检测(VAD),可判断用户是否说完话,但不支持 server-vad。完整的浏览器端配置可参考 实时语音指南。
Copy link to heading音乐与音效
Music v2.5 和 Music v2 能根据文字描述原创音乐。你可以指定流派、氛围或乐器,模型会返回一条时长如你所求的完整曲目,有歌声或纯器乐皆可。如需更精细控制,还能逐段规划歌曲结构,并为每段单独设定风格和时长。
Sound Effects v2 的逻辑类似,但面向更短促的声音,比如脚步声、摔门声,或是能在游戏关卡下循环播放的雨声。
这三类模型都调用 generateSpeech 函数,区别在于 text 参数描述的不是要朗读的文字,而是想要生成的声音。下面以一段 30 秒的曲为例:
import { generateSpeech } from 'ai';
const { audio } = await generateSpeech({ model: 'elevenlabs/music-v2.5', text: 'A mellow lo-fi beat with soft piano', providerOptions: { elevenlabs: { musicLengthMs: 30000 } },});Copy link to heading多角色对话
Eleven v4、Eleven v4 Turbo 和 Eleven v3 支持在单次请求中执行多角色的脚本。为每行台词指定声源,每次切换声源即开始新的轮次。双人播客或群戏场景将返回一段连续录音,无需手动拼接多个片段。
import { experimental_streamSpeech as streamSpeech } from 'ai';
const host = 'hpp4J3VqNfWAUOO0d1Us';const guest = 'CwhRBWXzGAHq8TQ4Fs17';
const { audioStream } = streamSpeech({ model: 'elevenlabs/eleven-v4', text: [ { type: 'text', text: 'Did the deploy go out?', voice: host }, { type: 'text', text: 'It shipped an hour ago.', voice: guest }, ], providerOptions: { elevenlabs: { dialogue: { voices: [host, guest] } } },});
每个声源对应一个 ElevenLabs 的 voice ID。片段也可以由语言模型实时生成脚本并流式传输。
跳转到标题关于 AI Gateway
AI Gateway 提供统一 API,用于调用模型、追踪用量与成本,并配置重试、故障转移及性能优化,以确保高于服务商的可用性。它内置 自定义报告、零数据保留(ZDR)支持、API 密钥预算、路由规则等功能。
AI Gateway 直接沿用服务商定价,无加价,且不收取推理平台费,包括 自带密钥(BYOK)请求。
AI Gateway 音频文档提供了涵盖 ElevenLabs 各模型的示例。浏览 AI Gateway 上的 所有音频模型,在 11 月 9 日前体验 ElevenLabs 可享五折优惠。