← 文章 / AI技术
Ollama 博客 3小时前 · 2026-10-25 12:41:05 · 6 阅读

Ollama 新增语音模型支持,Gradium 的 Phonon 实现高效文本转语音

2026 年 10 月 24 日

Ollama 现已支持将文本转换为语音。首个语音模型是 Phonon,这是一系列由 Gradium 开发的小型且具备前沿水平的文本转语音模型。语音模型已在 macOS 上可用,Windows 和 Linux 的支持即将推出。

ollama run phonon "Hello from Ollama."
声音 语言
来自搭载 M5 Max 的 MacBook Pro 上 Ollama 0.40.11 的未编辑输出。

在 Apple Silicon 上的性能

在 Apple Silicon 上,Ollama 借助 Apple 的机器学习框架 MLX 加速,实现了前沿级的吞吐量。在搭载 M5 Max 的 MacBook Pro 上,Ollama 比第二快的引擎(即 Gradium 自身的运行时环境)快 35%。

吞吐量 相比实时的倍率 在搭载 M5 Max 的 MacBook Pro 上测量,生成 45 秒语音,取 10 次运行的中位数。Gradium 自身的运行时环境 ptts 在 CPU 上使用 8-bit 权重,在神经网络引擎上使用 fp16,在 GPU 上使用 f32;而 Ollama 以 bf16 格式运行该模型。

Ollama 的实现同样精准,其词错率与 Hugging Face Transformers 中的参考实现相匹配:

准确率 词错率 越低越好。使用 Whisper large-v3 对 Seed-TTS 英文测试集中的 200 句话进行转录。

声音

使用 --voice 或在 API 中通过 voice 参数选择声音:

ollama run phonon --voice Hadley "Hello from Ollama."

这些声音源自 Gradium 的 声音目录。运行 ollama show phonon 可列出所有声音。

语言

模型 语言
phonon 英语
phonon:40m-fr 法语
phonon:40m-de 德语
phonon:40m-es 西班牙语
phonon:40m-pt 葡萄牙语
phonon:40m-multilingual 以上五种语言

phonon 基于 Apache 2.0 许可发布。40M 模型基于 CC BY-NC 4.0 许可发布,限制其仅限非商业用途。

朗读回复

将聊天模型的回复管道传输到 Phonon。文本会在到达时立即朗读,因此回复会在第一句话完成后开始播放:

ollama run gemma4 --hidethinking "Tell me a fun fact about owls in two sentences." | ollama run phonon

运行 ollama run phonon 但不输入文本,即可在提示符下逐行输入,或者将输出重定向以保存 WAV 文件:

ollama run phonon "Save this to a file." > speech.wav

API

Phonon 兼容 OpenAI 的 /v1/audio/speech 端点,因此使用 OpenAI SDK 的现有代码只需更改新的 base URL 即可。

cURL Python JavaScript
curl http://localhost:11434/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{
    "model": "phonon",
    "voice": "Zoey",
    "input": "Hello from Ollama."
  }' --output speech.wav
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

with client.audio.speech.with_streaming_response.create(
    model="phonon",
    voice="Zoey",
    input="Hello from Ollama.",
    response_format="wav",
) as response:
    response.stream_to_file("speech.wav")
import fs from "node:fs"
import OpenAI from "openai"

const openai = new OpenAI({ baseURL: "http://localhost:11434/v1", apiKey: "ollama" })

const response = await openai.audio.speech.create({
  model: "phonon",
  voice: "Zoey",
  input: "Hello from Ollama.",
  response_format: "wav",
})
fs.writeFileSync("speech.wav", Buffer.from(await response.arrayBuffer()))

响应在音频生成期间流式传输,因此可以立即播放:

curl -sN http://localhost:11434/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "phonon", "input": "Playback starts right away."}' \
  | ffplay -nodisp -autoexit -loglevel error -

音频为 24 kHz 单声道,默认返回为 WAV 格式,若指定 "response_format": "pcm" 则返回原始的 16 位采样数据。

快速开始

语音模型在 Apple Silicon Mac 上运行。下载 Ollama 0.40.11 或更高版本,然后拉取 Phonon:

ollama pull phonon

更多信息请参阅:

原始来源: Ollama 博客

评论 (0)