进阶 ai.google.dev 2026-10-15 02:43:21 · 30 阅读
第9章 使用 Gemini API 进行音频转录
Gemini 4 Argon 现已上线,快来体验吧。
Home
Gemini API
Docs
Audio transcription
Gemini API 使用 Gemini 3.5 Transcribe 模型(gemini-3.5-transcribe)将音频文件中的语音转换为文本。基于 Gemini 的音频理解能力,它提供高精度的转录服务,支持自动语言识别、说话人区分、单词级时间戳以及自定义词汇提示。此外,它还具备智能转录模式,可去除不流利语词并优化格式排版。
要转录音频文件,请上传音频并将其传递给 gemini-3.5-transcribe:
Python
```python
from google import genai
client = genai.Client()
audio_file = client.files.upload(file="path/to/sample.mp3")
interaction = client.interactions.create(
model="gemini-3.5-transcribe",
input=[
{
"type": "audio",
"uri": audio_file.uri,
"mime_type": audio_file.mime_type,
}
],
)
print(interaction.output_text)
```
JavaScript
```javascript
import { GoogleGenAI } from "@google/genai";
const client = new GoogleGenAI({});
const audioFile = await client.files.upload({
file: "path/to/sample.mp3",
config: { mime_type: "audio/mp3" },
});
const interaction = await client.interactions.create({
model: "gemini-3.5-transcribe",
input: [
{
type: "audio",
uri: audioFile.uri,
mime_type: audioFile.mimeType,
},
],
});
console.log(interaction.output_text);
```
Go
```go
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-3.5-transcribe"),
Input: interactions.NewInteractionsInput([]interactions.Content{
interactions.NewContent(interactions.AudioContent{
URI: genai.Ptr(audioFile.URI),
MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(),
}),
}),
}),
})
if err != nil {
log.Fatal(err)
}
fmt.Println(res.Interaction.GetOutputText())
}
```
REST
首先通过 Files API 上传文件,然后使用其 URI:
```bash
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-3.5-transcribe",
"input": [
{
"type": "audio",
"uri": "YOUR_FILE_URI",
"mime_type": "audio/mp3"
}
]
}'
```
概述
Gemini 3.5 Transcribe 专为语音转文本任务进行了优化,能够处理多种口音、背景噪音以及多语言对话。
主要功能包括:
- 自动语音识别(ASR):自动检测 85 种以上的地区语言。无需手动配置即可处理句内和句间语言切换。
- 自定义词汇:通过传入最多 1,000 个短语,引导识别偏向领域特定术语、缩略语和专有名词。
- 说话人区分:区分多个说话人,并为不同的语音片段分配标识标签。
- 单词级时间戳:生成每个识别出的单词的精确开始和结束时间偏移量。
- 智能转录:清理不流利语、填充词和重复内容,并应用结构化格式。
- 格式化和标准化:应用大写、标点符号和逆向文本标准化,例如将 "twenty six million dollars" 转换为 "$26M"。
如需进行通用音频推理或基于音频内容的问答,请使用 Audio understanding。如需文本转语音(TTS)合成,请使用 Text-to-speech。
语言检测与提示
默认情况下,模型会自动检测口语语言。当说话者进行语言切换时,它会动态地在不同语言之间切换。
若要使用自动检测,请省略 language_codes 或提供空列表:
Python
```python
interaction = client.interactions.create(
model="gemini-3.5-transcribe",
input=[
{
"type": "audio",
"uri": audio_file.uri,
"mime_type": audio_file.mime_type,
}
],
generation_config={
"transcription_config": {
"language_codes": [],
}
},
)
```
JavaScript
```javascript
const interaction = await client.interactions.create({
model: "gemini-3.5-transcribe",
input: [
{
type: "audio",
uri: audioFile.uri,
mime_type: audioFile.mimeType,
},
],
generation_config: {
transcription_config: {
language_codes: [],
},
},
});
```
Go
```go
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-3.5-transcribe"),
Input: interactions.NewInteractionsInput([]interactions.Content{
interactions.NewContent(interactions.AudioContent{
URI: genai.Ptr(audioFile.URI),
MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(),
}),
}),
GenerationConfig: &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
LanguageCodes: []string{},
},
},
}),
})
if err != nil {
log.Fatal(err)
}
fmt.Println(res.Interaction.GetOutputText())
}
```
REST
```bash
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-3.5-transcribe",
"input": [
{
"type": "audio",
"uri": "YOUR_FILE_URI",
"mime_type": "audio/mp3"
}
],
"generation_config": {
"transcription_config": {
"language_codes": []
}
}
}'
```
如果已知目标语言,请在 language_codes 中指定 BCP-47 语言代码以提高转录准确率(参见 Supported languages):
Python
```python
generation_config = {
"transcription_config": {
"language_codes": ["es-ES"],
}
}
```
JavaScript
```javascript
const generationConfig = {
transcription_config: {
language_codes: ["es-ES"],
},
};
```
Go
```go
package main
import (
"google.golang.org/genai/interactions/models/interactions"
)
func main() {
generationConfig := &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
LanguageCodes: []string{"es-ES"},
},
}
_ = generationConfig
}
```
REST
```json
{
"generation_config": {
"transcription_config": {
"language_codes": ["es-ES"]
}
}
}
```
自定义词汇
您可以引导语音模型关注生僻词、技术术语、品牌名称或专有名词。在 custom_vocabulary 数组中提供最多 1,000 个术语(通常最多 100 个术语效果最佳):
Python
```python
interaction = client.interactions.create(
model="gemini-3.5-transcribe",
input=[
{
"type": "audio",
"uri": audio_file.uri,
"mime_type": audio_file.mime_type,
}
],
generation_config={
"transcription_config": {
"custom_vocabulary": ["Gemini", "Kubernetes", "BigQuery"],
}
},
)
```
JavaScript
```javascript
const interaction = await client.interactions.create({
model: "gemini-3.5-transcribe",
input: [
{
type: "audio",
uri: audioFile.uri,
mime_type: audioFile.mimeType,
},
],
generation_config: {
transcription_config: {
custom_vocabulary: ["Gemini", "Kubernetes", "BigQuery"],
},
},
});
```
Go
```go
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-3.5-transcribe"),
Input: interactions.NewInteractionsInput([]interactions.Content{
interactions.NewContent(interactions.AudioContent{
URI: genai.Ptr(audioFile.URI),
MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(),
}),
}),
GenerationConfig: &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
CustomVocabulary: []string{"Gemini", "Kubernetes", "BigQuery"},
},
},
}),
})
if err != nil {
log.Fatal(err)
}
fmt.Println(res.Interaction.GetOutputText())
}
```
REST
```bash
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-3.5-transcribe",
"input": [
{
"type": "audio",
"uri": "YOUR_FILE_URI",
"mime_type": "audio/mp3"
}
],
"generation_config": {
"transcription_config": {
"custom_vocabulary": ["Gemini", "Kubernetes", "BigQuery"]
}
}
}'
```
说话人区分
说话人区分功能识别录音中的不同声音,并为每个片段添加说话人标识符,如 spk_1 或 spk_2。支持最多 8 位说话人(3 位或更多说话人的归属功能目前处于实验阶段)。
通过在 mode 中配置 diarization_mode 来启用说话人区分:
Python
```python
interaction = client.interactions.create(
model="gemini-3.5-transcribe",
input=[
{
"type": "audio",
"uri": audio_file.uri,
"mime_type": audio_file.mime_type,
}
],
generation_config={
"transcription_config": {
"mode": {
"type": "verbatim",
"diarization_mode": "speaker",
},
}
},
)
```
JavaScript
```javascript
const interaction = await client.interactions.create({
model: "gemini-3.5-transcribe",
input: [
{
type: "audio",
uri: audioFile.uri,
mime_type: audioFile.mimeType,
},
],
generation_config: {
transcription_config: {
mode: {
type: "verbatim",
diarization_mode: "speaker",
},
},
},
});
```
Go
```go
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-3.5-transcribe"),
Input: interactions.NewInteractionsInput([]interactions.Content{
interactions.NewContent(interactions.AudioContent{
URI: genai.Ptr(audioFile.URI),
MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(),
}),
}),
GenerationConfig: &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
Mode: genai.Ptr(interactions.NewTranscriptionConfigMode(interactions.NewTranscriptionMode(interactions.VerbatimTranscriptionMode{
DiarizationMode: genai.Ptr("speaker"),
}))),
},
},
}),
})
if err != nil {
log.Fatal(err)
}
fmt.Println(res.Interaction.GetOutputText())
}
```
REST
```bash
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-3.5-transcribe",
"input": [
{
"type": "audio",
"uri": "YOUR_FILE_URI",
"mime_type": "audio/mp3"
}
],
"generation_config": {
"transcription_config": {
"mode": {
"type": "verbatim",
"diarization_mode": "speaker"
}
}
}
}'
```
单词级时间戳
单词级时间戳提供音频流中每个识别单词的精确开始和结束偏移量。
通过在 mode 中配置 timestamp_granularities 来启用时间戳:
Python
```python
interaction = client.interactions.create(
model="gemini-3.5-transcribe",
input=[
{
"type": "audio",
"uri": audio_file.uri,
"mime_type": audio_file.mime_type,
}
],
generation_config={
"transcription_config": {
"mode": {
"type": "verbatim",
"timestamp_granularities": ["word"],
},
}
},
)
```
JavaScript
```javascript
const interaction = await client.interactions.create({
model: "gemini-3.5-transcribe",
input: [
{
type: "audio",
uri: audioFile.uri,
mime_type: audioFile.mimeType,
},
],
generation_config: {
transcription_config: {
mode: {
type: "verbatim",
timestamp_granularities: ["word"],
},
},
},
});
```
Go
```go
package main
import (
"context"
"fmt"
"log"
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
"google.golang.org/genai/interactions/models/operations"
)
func main() {
ctx := context.Background()
client, err := genai.NewClient(ctx, nil)
if err != nil {
log.Fatal(err)
}
audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil)
if err != nil {
log.Fatal(err)
}
res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{
Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{
Model: interactions.Model("gemini-3.5-transcribe"),
Input: interactions.NewInteractionsInput([]interactions.Content{
interactions.NewContent(interactions.AudioContent{
URI: genai.Ptr(audioFile.URI),
MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(),
}),
}),
GenerationConfig: &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
Mode: genai.Ptr(interactions.NewTranscriptionConfigMode(interactions.NewTranscriptionMode(interactions.VerbatimTranscriptionMode{
TimestampGranularities: []string{"word"},
}))),
},
},
}),
})
if err != nil {
log.Fatal(err)
}
fmt.Println(res.Interaction.GetOutputText())
}
```
REST
```bash
curl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-3.5-transcribe",
"input": [
{
"type": "audio",
"uri": "YOUR_FILE_URI",
"mime_type": "audio/mp3"
}
],
"generation_config": {
"transcription_config": {
"mode": {
"type": "verbatim",
"timestamp_granularities": ["word"]
}
}
}
}'
```
您可以在 mode 中组合使用 diarization_mode 和 timestamp_granularities,以同时获取说话人标签和单词时间戳:
Python
```python
generation_config = {
"transcription_config": {
"mode": {
"type": "verbatim",
"diarization_mode": "speaker",
"timestamp_granularities": ["word"],
},
}
}
```
JavaScript
```javascript
const generationConfig = {
transcription_config: {
mode: {
type: "verbatim",
diarization_mode: "speaker",
timestamp_granularities: ["word"],
},
},
};
```
Go
```go
package main
import (
"google.golang.org/genai"
"google.golang.org/genai/interactions/models/interactions"
)
func main() {
generationConfig := &interactions.GenerationConfig{
TranscriptionConfig: &interactions.TranscriptionConfig{
Mode: genai.Ptr(interactions.NewTranscriptionConfigMode(interactions.NewTranscriptionMode(interactions.VerbatimTranscriptionMode{
DiarizationMode: genai.Ptr("speaker"),
TimestampGranularities: []string{"word"},
}))),
},
}
_ = generationConfig
}
```
REST
```json
{
"generation_config": {
"transcription_config": {
"mode": {
"type": "verbatim",
"diarization_mode": "speaker",
"timestamp_granularities": ["word"]
}
}
}
}
```
转录模式
Gemini 3.5 Transcribe 通过 mode 参数支持两种转录模式:
- verbatim(默认):返回逐字精确的转录文本,保留原始的填充词(如“um”、“uh”、“like”、“you know”)、重复、停顿和口误。时间戳和说话人区分在此模式下配置({"type": "verbatim", ...})。
- smart(Smart transcription):通过应用智能后处理来优化转录文本的可读性:
- 去除不流利语:移除口语中的填充词、口吃和口误。
- 内联自我纠正:直接解决口语中的更正(例如,“Let's meet on Tuesday, actually no, Wednesday at two” 变为 “Let's meet on Wednesday at 2:00 PM”)。
- 自动结构化格式:自动将口语思想结构化为段落、编号列表、项目符号、格式化日期、货币和数字。
- 语法清理:应用自然的标点符号、句子大小写和流畅度。
口语音频
verbatim 输出
smart (Smart transcription) 输出
"Um, so for the meeting, I think we should, uh, invite Alice and, wait no, Bob and Carol."
"Um so for the meeting I think we should uh invite Alice and wait no Bob and Carol."
"For the meeting, I think we should invite Bob and Carol."
"First item review budget second item finalize timeline third item send recap"
"first item review budget second item finalize timeline third item send recap"
"1. Review budget
2. 确定时间轴
3. 发送转录请求 Pythoninteraction = client.interactions.create( model="gemini-3.5-transcribe", input=[ { "type": "audio", "uri": audio_file.uri, "mime_type": audio_file.mime_type, } ], generation_config={ "transcription_config": { "mode": "smart", } }, ) print(interaction.output_text) JavaScriptconst interaction = await client.interactions.create({ model: "gemini-3.5-transcribe", input: [ { type: "audio", uri: audioFile.uri, mime_type: audioFile.mimeType, }, ], generation_config: { transcription_config: { mode: "smart", }, }, }); console.log(interaction.output_text); Gopackage main import ( "context" "fmt" "log" "google.golang.org/genai" "google.golang.org/genai/interactions/models/interactions" "google.golang.org/genai/interactions/models/operations" ) func main() { ctx := context.Background() client, err := genai.NewClient(ctx, nil) if err != nil { log.Fatal(err) } audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil) if err != nil { log.Fatal(err) } res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{ Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{ Model: interactions.Model("gemini-3.5-transcribe"), Input: interactions.NewInteractionsInput([]interactions.Content{ interactions.NewContent(interactions.AudioContent{ URI: genai.Ptr(audioFile.URI), MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(), }), }), GenerationConfig: &interactions.GenerationConfig{ TranscriptionConfig: &interactions.TranscriptionConfig{ Mode: genai.Ptr(interactions.NewTranscriptionConfigMode(interactions.TranscriptionConfigModeEnumSmart)), }, }, }), }) if err != nil { log.Fatal(err) } fmt.Println(res.Interaction.GetOutputText()) } RESTcurl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \ -H "x-goog-api-key: $GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "gemini-3.5-transcribe", "input": [ { "type": "audio", "uri": "YOUR_FILE_URI", "mime_type": "audio/mp3" } ], "generation_config": { "transcription_config": { "mode": "smart" } } }' 解析转录结果 完整的转录文本通过 interaction.output_text 返回。 启用 timestamp_granularities 或 diarization_mode 后,API 还会在 interaction 内容中附带详细的词级标注。 以下代码演示如何提取并遍历词时间戳和说话人轮次: Pythondef extract_word_annotations(interaction): words = [] for step in getattr(interaction, "steps", []) or []: for content in getattr(step, "content", []) or []: for annotation in getattr(content, "annotations", []) or []: if getattr(annotation, "type", None) == "word_info": words.append(annotation) return words words = extract_word_annotations(interaction) for w in words: speaker = f"[{w.speaker}] " if getattr(w, "speaker", None) else "" start = getattr(w, "start_offset", "") end = getattr(w, "end_offset", "") timing = f"({start} -> {end}) " if start and end else "" print(f"{speaker}{timing}{w.text}") JavaScriptfunction extractWordAnnotations(interaction) { const words = []; for (const step of interaction.steps ?? []) { for (const content of step.content ?? []) { for (const annotation of content.annotations ?? []) { if (annotation.type === "word_info") { words.push(annotation); } } } } return words; } const words = extractWordAnnotations(interaction); for (const w of words) { const speaker = w.speaker ? `[${w.speaker}] ` : ""; const timing = (w.start_offset && w.end_offset) ? `(${w.start_offset} -> ${w.end_offset}) ` : ""; console.log(`${speaker}${timing}${w.text}`); } Gopackage main import ( "fmt" "google.golang.org/genai/interactions/models/interactions" ) func extractWordAnnotations(interaction *interactions.Interaction) []*interactions.WordInfo { var words []*interactions.WordInfo if interaction == nil { return words } for _, step := range interaction.Steps { if step.ModelOutputStep != nil { for _, content := range step.ModelOutputStep.Content { if content.TextContent != nil { for _, annotation := range content.TextContent.Annotations { if annotation.WordInfo != nil { words = append(words, annotation.WordInfo) } } } } } } return words } func main() { var interaction *interactions.Interaction words := extractWordAnnotations(interaction) for _, w := range words { speaker := "" if w.Speaker != nil && *w.Speaker != "" { speaker = fmt.Sprintf("[%s] ", *w.Speaker) } timing := "" if w.StartOffset != nil && w.EndOffset != nil { timing = fmt.Sprintf("(%s -> %s) ", *w.StartOffset, *w.EndOffset) } fmt.Printf("%s%s%s\n", speaker, timing, w.GetText()) } } REST{ "id": "interactions/abc123xyz", "status": "completed", "steps": [ { "id": "step_001", "type": "model_output", "content": [ { "type": "text", "text": "Hello world", "annotations": [ { "type": "word_info", "text": "Hello", "speaker": "spk_1", "start_offset": "0.100s", "end_offset": "0.450s" }, { "type": "word_info", "text": "world", "speaker": "spk_1", "start_offset": "0.500s", "end_offset": "0.850s" } ] } ] } ] } 支持的语言 Gemini 3.5 Transcribe 支持以下语言及对应的 BCP-47 语言代码: 语言 BCP-47 代码 语言 BCP-47 代码 南非荷兰语 af-ZA 日语 ja-JP 阿姆哈拉语 am-ET 爪哇语 jv-ID 阿拉伯语(埃及) ar-EG 佛得角克里奥尔语 kea-CV 亚美尼亚语 hy-AM 卡纳达语 kn-IN 阿萨姆语 as-IN 哈萨克语 kk-KZ 阿塞拜疆语 az-AZ 韩语 ko-KR 白俄罗斯语 be-BY 柯尔克孜语 ky-KG 孟加拉语(孟加拉国) bn-BD 拉脱维亚语 lv-LV 孟加拉语(印度) bn-IN 林加拉语 ln-CD 波斯尼亚语 bs-BA 立陶宛语 lt-LT 保加利亚语 bg-BG 马其顿语 mk-MK 保加利亚语(阿罗马尼亚语) rup-BG 马来语 ms-MY 缅甸语 my-MM 马拉雅拉姆语 ml-IN 粤语(繁体) yue-Hant-HK 马耳他语 mt-MT 加泰罗尼亚语 ca-ES 普通话(简体) cmn-Hans-CN 宿务语 ceb 马拉地语 mr-IN 高棉语 km-KH 蒙古语 mn-MN 克罗地亚语 hr-HR 尼泊尔语 ne-NP 捷克语 cs-CZ 挪威语 nb-NO 丹麦语 da-DK 奥里亚语 or-IN 荷兰语 nl-NL 波兰语 pl-PL 英语(英国) en-GB 葡萄牙语(巴西) pt-BR 英语(印度) en-IN 葡萄牙语(葡萄牙) pt-PT 英语(美国) en-US 旁遮普语 pa-IN 爱沙尼亚语 et-EE 旁遮普语(古木基文) pa-Guru-IN 波斯语 fa-IR 罗马尼亚语 ro-RO 菲律宾语 fil-PH 俄语 ru-RU 芬兰语 fi-FI 塞尔维亚语 sr-RS 法语 fr-FR 信德语(阿拉伯文) sd-Arab-IN 加利西亚语 gl-ES 斯洛伐克语 sk-SK 格鲁吉亚语 ka-GE 斯洛文尼亚语 sl-SI 德语 de-DE 西班牙语(拉丁美洲) es-419 希腊语 el-GR 西班牙语(美国) es-US 古吉拉特语 gu-IN 斯瓦希里语(肯尼亚) sw-KE 豪萨语 ha-NG 瑞典语 sv-SE 希伯来语 he-IL 塔吉克语 tg-TJ 印地语 hi-IN 泰卢固语 te-IN 匈牙利语 hu-HU 泰语 th-TH 冰岛语 is-IS 土耳其语 tr-TR 印度英语 en-IN 乌克兰语 uk-UA 印尼语 id-ID 乌兹别克语 uz-UZ 意大利语 it-IT 越南语 vi-VN 支持的音频格式 Gemini 3.5 Transcribe 支持以下音频格式的 MIME 类型: WAV - audio/wav MP3 - audio/mp3 AIFF - audio/aiff AAC - audio/aac OGG - audio/ogg FLAC - audio/flac MPEG - audio/mpeg M4A - audio/m4a L16 - audio/l16 Opus - audio/opus ALAW - audio/alaw MULAW - audio/mulaw WebM - audio/webm 完整的 MIME 类型列表和参数 schema 请参考 Interactions API 参考文档。 参数参考 通过设置 generation_config 中 transcription_config 对象内的字段来配置转录行为: 字段 类型 说明 language_codes 字符串数组 BCP-47 语言代码(如 ["en-US"])。省略或传空数组([])时,模型会自动检测语言并处理语码转换。 custom_vocabulary 字符串数组 最多 1,000 个自定义术语、缩写或专有名词,用于提升语音识别准确率。与说话人分离和词级时间戳不兼容。 mode 对象或字符串 转录模式配置。接受 "smart" 或逐字模式对象({"type": "verbatim", ...})。默认为逐字转录。 mode.type 字符串 (仅逐字模式)模式标识符,固定为 "verbatim"。 mode.timestamp_granularities 字符串数组 (仅逐字模式)返回的时间戳粒度。传 ["word"] 可启用词的开始和结束偏移量。与 custom_vocabulary 不兼容。 mode.diarization_mode 字符串 (仅逐字模式)说话人分离模式。传 "speaker" 可识别并标注不同说话人。与 custom_vocabulary 不兼容。 最佳实践 保证音频质量:确保录音中人声清晰分离,避免严重削波。 已知语言时提供语言提示:如果事先知道音频语言,指定 language_codes 可获得最高准确率。 精准使用自定义词汇:custom_vocabulary 中只放入特定领域的术语、品牌名或专有名词,不要放日常常用词。 大文件使用 Files API:时长超过几秒的文件,请先用 client.files.upload 上传,再把返回的文件 URI 传给模型。 限制 音频时长:标准一元请求最多支持 1 小时的音频。启用说话人分离或词级时间戳等功能后,音频处理时长限制为 30 分钟。 词级时间戳:启用词级时间戳可能会降低整体转录准确率。 说话人分离:最多支持 8 个说话人,3 人及以上的说话人标注功能仍处于实验阶段。 自定义词汇:custom_vocabulary 最多可提供 1,000 个词条,但通常不超过 100 个词条效果最佳。custom_vocabulary 不能与说话人分离或词级时间戳同时使用,API 会拒绝同时指定这些功能的请求。 模式兼容性:智能转录("smart")不能与 timestamp_granularities 或 diarization_mode 组合使用。 后续步骤 通过实时转录指南,使用 Live API 流式处理实时音频。 了解 Audio understanding,对音频内容进行分析、总结或提问。 学习如何使用 Text-to-speech 从文本合成音频。 查看定价页面,了解模型价格和 token 限制。 查看 Files API 指南,详细了解如何上传和管理媒体文件。
2. 确定时间轴
3. 发送转录请求 Pythoninteraction = client.interactions.create( model="gemini-3.5-transcribe", input=[ { "type": "audio", "uri": audio_file.uri, "mime_type": audio_file.mime_type, } ], generation_config={ "transcription_config": { "mode": "smart", } }, ) print(interaction.output_text) JavaScriptconst interaction = await client.interactions.create({ model: "gemini-3.5-transcribe", input: [ { type: "audio", uri: audioFile.uri, mime_type: audioFile.mimeType, }, ], generation_config: { transcription_config: { mode: "smart", }, }, }); console.log(interaction.output_text); Gopackage main import ( "context" "fmt" "log" "google.golang.org/genai" "google.golang.org/genai/interactions/models/interactions" "google.golang.org/genai/interactions/models/operations" ) func main() { ctx := context.Background() client, err := genai.NewClient(ctx, nil) if err != nil { log.Fatal(err) } audioFile, err := client.Files.UploadFromPath(ctx, "path/to/sample.mp3", nil) if err != nil { log.Fatal(err) } res, err := client.Interactions.Create(ctx, operations.CreateInteractionRequest{ Body: operations.NewCreateInteractionRequestBody(interactions.CreateModelInteraction{ Model: interactions.Model("gemini-3.5-transcribe"), Input: interactions.NewInteractionsInput([]interactions.Content{ interactions.NewContent(interactions.AudioContent{ URI: genai.Ptr(audioFile.URI), MimeType: interactions.AudioContentMimeType(audioFile.MIMEType).ToPointer(), }), }), GenerationConfig: &interactions.GenerationConfig{ TranscriptionConfig: &interactions.TranscriptionConfig{ Mode: genai.Ptr(interactions.NewTranscriptionConfigMode(interactions.TranscriptionConfigModeEnumSmart)), }, }, }), }) if err != nil { log.Fatal(err) } fmt.Println(res.Interaction.GetOutputText()) } RESTcurl -X POST "https://generativelanguage.googleapis.com/v1beta/interactions" \ -H "x-goog-api-key: $GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "gemini-3.5-transcribe", "input": [ { "type": "audio", "uri": "YOUR_FILE_URI", "mime_type": "audio/mp3" } ], "generation_config": { "transcription_config": { "mode": "smart" } } }' 解析转录结果 完整的转录文本通过 interaction.output_text 返回。 启用 timestamp_granularities 或 diarization_mode 后,API 还会在 interaction 内容中附带详细的词级标注。 以下代码演示如何提取并遍历词时间戳和说话人轮次: Pythondef extract_word_annotations(interaction): words = [] for step in getattr(interaction, "steps", []) or []: for content in getattr(step, "content", []) or []: for annotation in getattr(content, "annotations", []) or []: if getattr(annotation, "type", None) == "word_info": words.append(annotation) return words words = extract_word_annotations(interaction) for w in words: speaker = f"[{w.speaker}] " if getattr(w, "speaker", None) else "" start = getattr(w, "start_offset", "") end = getattr(w, "end_offset", "") timing = f"({start} -> {end}) " if start and end else "" print(f"{speaker}{timing}{w.text}") JavaScriptfunction extractWordAnnotations(interaction) { const words = []; for (const step of interaction.steps ?? []) { for (const content of step.content ?? []) { for (const annotation of content.annotations ?? []) { if (annotation.type === "word_info") { words.push(annotation); } } } } return words; } const words = extractWordAnnotations(interaction); for (const w of words) { const speaker = w.speaker ? `[${w.speaker}] ` : ""; const timing = (w.start_offset && w.end_offset) ? `(${w.start_offset} -> ${w.end_offset}) ` : ""; console.log(`${speaker}${timing}${w.text}`); } Gopackage main import ( "fmt" "google.golang.org/genai/interactions/models/interactions" ) func extractWordAnnotations(interaction *interactions.Interaction) []*interactions.WordInfo { var words []*interactions.WordInfo if interaction == nil { return words } for _, step := range interaction.Steps { if step.ModelOutputStep != nil { for _, content := range step.ModelOutputStep.Content { if content.TextContent != nil { for _, annotation := range content.TextContent.Annotations { if annotation.WordInfo != nil { words = append(words, annotation.WordInfo) } } } } } } return words } func main() { var interaction *interactions.Interaction words := extractWordAnnotations(interaction) for _, w := range words { speaker := "" if w.Speaker != nil && *w.Speaker != "" { speaker = fmt.Sprintf("[%s] ", *w.Speaker) } timing := "" if w.StartOffset != nil && w.EndOffset != nil { timing = fmt.Sprintf("(%s -> %s) ", *w.StartOffset, *w.EndOffset) } fmt.Printf("%s%s%s\n", speaker, timing, w.GetText()) } } REST{ "id": "interactions/abc123xyz", "status": "completed", "steps": [ { "id": "step_001", "type": "model_output", "content": [ { "type": "text", "text": "Hello world", "annotations": [ { "type": "word_info", "text": "Hello", "speaker": "spk_1", "start_offset": "0.100s", "end_offset": "0.450s" }, { "type": "word_info", "text": "world", "speaker": "spk_1", "start_offset": "0.500s", "end_offset": "0.850s" } ] } ] } ] } 支持的语言 Gemini 3.5 Transcribe 支持以下语言及对应的 BCP-47 语言代码: 语言 BCP-47 代码 语言 BCP-47 代码 南非荷兰语 af-ZA 日语 ja-JP 阿姆哈拉语 am-ET 爪哇语 jv-ID 阿拉伯语(埃及) ar-EG 佛得角克里奥尔语 kea-CV 亚美尼亚语 hy-AM 卡纳达语 kn-IN 阿萨姆语 as-IN 哈萨克语 kk-KZ 阿塞拜疆语 az-AZ 韩语 ko-KR 白俄罗斯语 be-BY 柯尔克孜语 ky-KG 孟加拉语(孟加拉国) bn-BD 拉脱维亚语 lv-LV 孟加拉语(印度) bn-IN 林加拉语 ln-CD 波斯尼亚语 bs-BA 立陶宛语 lt-LT 保加利亚语 bg-BG 马其顿语 mk-MK 保加利亚语(阿罗马尼亚语) rup-BG 马来语 ms-MY 缅甸语 my-MM 马拉雅拉姆语 ml-IN 粤语(繁体) yue-Hant-HK 马耳他语 mt-MT 加泰罗尼亚语 ca-ES 普通话(简体) cmn-Hans-CN 宿务语 ceb 马拉地语 mr-IN 高棉语 km-KH 蒙古语 mn-MN 克罗地亚语 hr-HR 尼泊尔语 ne-NP 捷克语 cs-CZ 挪威语 nb-NO 丹麦语 da-DK 奥里亚语 or-IN 荷兰语 nl-NL 波兰语 pl-PL 英语(英国) en-GB 葡萄牙语(巴西) pt-BR 英语(印度) en-IN 葡萄牙语(葡萄牙) pt-PT 英语(美国) en-US 旁遮普语 pa-IN 爱沙尼亚语 et-EE 旁遮普语(古木基文) pa-Guru-IN 波斯语 fa-IR 罗马尼亚语 ro-RO 菲律宾语 fil-PH 俄语 ru-RU 芬兰语 fi-FI 塞尔维亚语 sr-RS 法语 fr-FR 信德语(阿拉伯文) sd-Arab-IN 加利西亚语 gl-ES 斯洛伐克语 sk-SK 格鲁吉亚语 ka-GE 斯洛文尼亚语 sl-SI 德语 de-DE 西班牙语(拉丁美洲) es-419 希腊语 el-GR 西班牙语(美国) es-US 古吉拉特语 gu-IN 斯瓦希里语(肯尼亚) sw-KE 豪萨语 ha-NG 瑞典语 sv-SE 希伯来语 he-IL 塔吉克语 tg-TJ 印地语 hi-IN 泰卢固语 te-IN 匈牙利语 hu-HU 泰语 th-TH 冰岛语 is-IS 土耳其语 tr-TR 印度英语 en-IN 乌克兰语 uk-UA 印尼语 id-ID 乌兹别克语 uz-UZ 意大利语 it-IT 越南语 vi-VN 支持的音频格式 Gemini 3.5 Transcribe 支持以下音频格式的 MIME 类型: WAV - audio/wav MP3 - audio/mp3 AIFF - audio/aiff AAC - audio/aac OGG - audio/ogg FLAC - audio/flac MPEG - audio/mpeg M4A - audio/m4a L16 - audio/l16 Opus - audio/opus ALAW - audio/alaw MULAW - audio/mulaw WebM - audio/webm 完整的 MIME 类型列表和参数 schema 请参考 Interactions API 参考文档。 参数参考 通过设置 generation_config 中 transcription_config 对象内的字段来配置转录行为: 字段 类型 说明 language_codes 字符串数组 BCP-47 语言代码(如 ["en-US"])。省略或传空数组([])时,模型会自动检测语言并处理语码转换。 custom_vocabulary 字符串数组 最多 1,000 个自定义术语、缩写或专有名词,用于提升语音识别准确率。与说话人分离和词级时间戳不兼容。 mode 对象或字符串 转录模式配置。接受 "smart" 或逐字模式对象({"type": "verbatim", ...})。默认为逐字转录。 mode.type 字符串 (仅逐字模式)模式标识符,固定为 "verbatim"。 mode.timestamp_granularities 字符串数组 (仅逐字模式)返回的时间戳粒度。传 ["word"] 可启用词的开始和结束偏移量。与 custom_vocabulary 不兼容。 mode.diarization_mode 字符串 (仅逐字模式)说话人分离模式。传 "speaker" 可识别并标注不同说话人。与 custom_vocabulary 不兼容。 最佳实践 保证音频质量:确保录音中人声清晰分离,避免严重削波。 已知语言时提供语言提示:如果事先知道音频语言,指定 language_codes 可获得最高准确率。 精准使用自定义词汇:custom_vocabulary 中只放入特定领域的术语、品牌名或专有名词,不要放日常常用词。 大文件使用 Files API:时长超过几秒的文件,请先用 client.files.upload 上传,再把返回的文件 URI 传给模型。 限制 音频时长:标准一元请求最多支持 1 小时的音频。启用说话人分离或词级时间戳等功能后,音频处理时长限制为 30 分钟。 词级时间戳:启用词级时间戳可能会降低整体转录准确率。 说话人分离:最多支持 8 个说话人,3 人及以上的说话人标注功能仍处于实验阶段。 自定义词汇:custom_vocabulary 最多可提供 1,000 个词条,但通常不超过 100 个词条效果最佳。custom_vocabulary 不能与说话人分离或词级时间戳同时使用,API 会拒绝同时指定这些功能的请求。 模式兼容性:智能转录("smart")不能与 timestamp_granularities 或 diarization_mode 组合使用。 后续步骤 通过实时转录指南,使用 Live API 流式处理实时音频。 了解 Audio understanding,对音频内容进行分析、总结或提问。 学习如何使用 Text-to-speech 从文本合成音频。 查看定价页面,了解模型价格和 token 限制。 查看 Files API 指南,详细了解如何上传和管理媒体文件。