进阶 deepgram.com 2026-11-12 17:02:07 · 20 阅读

第20章 三大开源 ASR 模型对比实测:Whisper、wav2vec 2.0 与 Kaldi

AI Engineering & Research
Benchmarking top open source speech recognition models: Whisper, Facebook wav2vec2, and Kaldi
By Deepgram, December 19, 2022

Share on X
Share on LinkedIn
View as markdown
Open in ChatGPT
Open in Claude
Open in Perplexity

探索排名前三的开源语音模型,包括 Kaldi、wav2letter++ 和 OpenAI 的 Whisper(基于 70 万小时语音数据训练)。深入了解它们在易用性、准确性和速度方面的表现。点击寻找适合你需求的 ASR 模型!

十年前,Johns Hopkins 大学的 Dan Povey 及其研究团队开发了 Kaldi,一个开源的语音识别工具包。Kaldi 迅速成为无数开发者和研究人员的首选 ASR 工具。自 Kaldi 问世以来,GitHub 上涌现了大量开源 ASR 模型和工具包。你可能听说过的一些开源项目包括 wav2letter++、openseq2seq、vosk、SpeechBrain、Nvidia Nemo 和 Fairseq。

延续这一趋势,2022 年 9 月,OpenAI 推出了 Whisper,这是一个基于近 70 万小时多语种语音数据训练的开源 ASR 模型。据 OpenAI 称,Whisper 在英语语音识别任务上的“鲁棒性和准确率已接近人类水平”。它还支持近 100 种语言的转录,并能将多种语言翻译成英语。我最近有机会测试了它,必须承认,我印象非常深刻!

对于希望在其应用中集成语音功能的开发者来说,开源语音模型是一个重要的赋能者。然而,现有的此类模型数量众多,选择合适的模型往往并不容易。如果你是开发者,并希望在这海洋般的开源模型中找到方向,你需要回答几个关键问题。首先,现有模型在易用性上如何?你是需要阅读 10 篇论文和 17 篇博客,甚至去攻读“Turbo Encabulators”博士才能让模型跑起来?还是在浏览完 GitHub README 后的五分钟内就能上手?其次,不同模型在准确率和速度方面的表现如何?模型是否能足够准确地识别单词,并且速度足够快以满足你的使用场景?

在此,我们通过对比代表 ASR 技术三个“代际”的流行开源模型来展示如何回答这些问题:
Kaldi
wav2vec 2.0
Whisper

首先,我们描述了模型差异的关键维度——我们称之为“模型 DNA”——并讨论不同的模型 DNA 如何体现在候选模型在易用性、准确率和速度上的差异。然后进入有趣的部分:我们将这些模型进行实战测试!首先,通过对五个不同使用场景的真实音频进行转录来基准测试它们的准确率,包括:对话式 AI、电话会议、现场会议、视频和财报电话会议。最后,我们在 GPU 硬件上基准测试了模型的推理速度。

模型 DNA 的构成:什么区分了不同的 ASR 模型?

训练好的 ASR 模型在多个维度上存在差异。下面我们将介绍其中几个重要方面:

模型架构

模型架构指的是相对宽泛的特征集合。通常,模型架构是通过模型中神经网络层的类型、其排列顺序以及层间连接来讨论的。早期的语音模型实际上是一个由多个不同模型(声学模型、发音模型、语言模型等)组成的“流水线”,每个模型都有自己独特的架构。现代方法用单个“端到端”(e2e)深度学习网络取代了所有这些组件。在 e2e ASR 模型中,多种不同的层类型已被证明效果良好,包括卷积层、循环层和 Transformer 块。在 ASR 文献中,你可以找到使用这些层类型几乎任意组合的模型示例。然而,在现有的开源模型世界中,选项往往比较有限。

E2E 模型在架构上也可能是“多组件”的。沿多组件维度的变化通常也涉及模型训练和解码方式的不同。编码器(Encoders)是单组件模型,它们将音频特征序列映射到最可能的单词序列。编码器是最早引入的一类 e2e 模型,至今仍在广泛使用。它们通常也是最简单且潜在速度最快的 e2e 模型。它们通常使用一种称为连接时序分类(CTC)的算法进行训练和解码。对我们来说,只需要知道 CTC 编码器学习的是语言的弱内部表示。因此,它们需要一些额外的“重型机械”(例如 CTC 前缀束搜索和语言模型重评分)才能达到高准确率,这反过来又使它们变慢。

编码器/解码器(Encoder/decoders)是双组件模型。编码器产生音频特征的“编码”表示,然后自回归解码器逐个预测音频中存在的单词,以前面预测的输出为条件,并使用编码器的输出作为上下文。编码器/解码器可以使用不同的损失函数组合进行训练,但最简单的方法是对解码器输出应用交叉熵损失(使用教师强制法)。由于拥有更多交互部分,编码器/解码器比独立编码器架构更复杂。但它们学习了更强的语言表示,因此比 CTC 编码器产生更准确的预测。还有三组件模型,称为“Transducer”,它们使用编码器、自回归解码器和第三个“联合”网络,该网络基于前两者的输出进行预测。

模型大小(或容量)

模型容量通常指模型的累计大小,由层数及其各自的大小决定。许多开源模型源自关于模型容量对准确率影响的文献研究,旨在测量所谓的“缩放定律”(scaling laws)。这些研究通常涉及训练一系列容量递增的模型,通过同时增加所有尺寸参数来递增容量,方式比较随意。对于固定架构,大容量模型通常比小容量模型运行得更慢,原因如下:
它们需要更多的计算,且其中很大一部分是顺序执行(即层数更多)
在 GPU 上推理时,由于内存限制,通常必须使用更小的批次大小,因此无法使用基于批次的并行性。

在许多情况下,只有非常大的模型被开源,这限制了大多数最终用户的可用性。然而,大容量模型通常也更准确,尽管这种效果的幅度取决于训练数据的规模。

训练数据

开源模型在使用的训练数据上差异巨大。这一点很重要,因为 ASR 模型的最终准确率很大程度上取决于其训练语料库的广度和深度。这种依赖性对于理解模型的潜在准确率特征以及它如何泛化到不同类型的语音数据尤为关键。

大多数开源模型是在 LibriSpeech 等“学术”数据集上训练的,这些数据由干净的朗读语音组成。很少有模型是在带有背景噪音的真实对话音频上训练的,更少数的模型是在跨越不同领域和使用场景(例如带有背景语音的双人电话、20 人会议、播客、财报电话会议、快餐点餐交易等)的对话音频上训练的。

音频预处理

音频预处理是 ASR 推理机制中至关重要但常被忽视的组成部分。它包括几个步骤:将音频转码为所需格式(例如 16 位 PCM)、以指定速率重采样、将其分割为指定大小的片段、在片段上提取声学特征(例如对数梅尔频谱),然后将片段组合成批次以供推理。

尽管至关重要,音频预处理通常未在开源模型文档中得到良好描述,可能需要深入底层源代码才能理解特定模型的音频预处理要求。开源模型及其相关工具包提供不同级别的音频预处理支持。在许多情况下,你可能不得不自己构建流水线。

模型介绍

接下来,让我们介绍候选模型并讨论其基本 DNA。

Kaldi: Gigaspeech XL

Kaldi 是一个传统的“流水线” ASR 模型,由几个按顺序运行的不同子模型组成。从哲学上讲,它反映了对语音建模的学术方法:将问题分解为更小、更易管理的部分,然后由专门的人类专家社区分别解决每个部分。在语音深度学习和 Baidu 推出 DeepSpeech 的初期,Kaldi 最终被 e2e 方法所取代。

尽管 Kaldi 作为一个框架已经存在了十多年,但可用的开源模型相对较少。在对比中,我们使用 Kaldi 的 Gigaspeech XL 模型,这是一个基于最近的 Gigaspeech 数据集训练的传统流水线模型。Gigaspeech 包含 1 万小时标记好的、涵盖几个领域的英语对话语音。根据已发布的准确率数据,Gigaspeech XL 似乎是有史以来最准确的流水线模型,在 Gigaspeech 的域内评估中取得了与 e2e 方法具有竞争力的结果。然而,在撰写本文时,Gigaspeech XL 流水线仅声学模型的权重可用。为了使用 Gigaspeech 模型,我从 Kaldi 的 LibriSpeech 流水线借用了其他所需组件(一个 ivector 嵌入器和一个 RNN 语言模型)。

这个项目是我第一次使用 Kaldi 框架。从易用性角度来看,我发现它非常繁琐且难以操作。它更像是一个学术研究代码库,让我想起读研时参与的那些混乱的大规模软件项目。它由 C++ 代码后端组成,用户通过 bash 脚本与其交互。有无数来自所谓 Kaldi “recipes”集合的“示例”脚本。结合网上的一些教程,新手用户可以自我定位并最终拼凑出自己的自定义 bash 脚本,以对自己数据进行推理。

不幸的是,正如我所学到的,Kaldi 不原生处理长格式音频,因此你必须自行执行一些音频预处理。以下是与 Kaldi 配合使用必须执行的预处理步骤:
将音频转码为 16kHz PCM
将其预分割为可管理的尺寸(我使用了非重叠的 30 秒片段)
将片段作为平面文件连同一些额外元数据存储在磁盘上
使用 Kaldi 的命令行界面为音频片段生成和存储声学特征

完成这些工作后,你就可以运行 Kaldi 推理了。你可能已经猜到,推理也是一个复杂的多阶段过程,中间输出会作为平面文件存储在磁盘上。如果你是新手用户,你不可避免地会犯错并在让它工作时遇到问题。巧合的是,Kaldi 在 GitHub 上的 README 的第一段明确承认了这一点,作为一种警示。

要计算整个文件的准确率结果,你还必须编写一些自定义的后处理逻辑,在推理后连接片段级别的结果。虽然我最初打算基准测试 Kaldi 的推理速度,但这样做最终毫无意义,因为它的运行时间比其他模型长几个数量级,而且花了大量时间去搞懂如何使用 Kaldi。

wav2vec 2.0 facebook/wav2vec2-large-robust-ft-libri-960h

wav2vec 2.0 是 Facebook 发布的一个编码器模型,使用自监督目标在来自 LibriVox 项目的 6 万小时朗读音频上训练。它具有几个使其区别于其他开源模型的独特方面,特别是:
架构独特,使用由 1D CNN 堆栈组成的“特征化前端”,直接对 16kHz 音频波形进行操作,通过步长(strides)在时间上将其降采样 320 倍。架构的其余部分是一堆标准的 Transformer 编码器层。
wav2vec 2.0 编码器将输入音频映射到由从代码书中选择条目生成的量化潜在向量序列,其中选择算子在训练期间学习。这与普通编码器模型不同,后者直接映射到连续潜在空间。
wav2vec 2.0 基础模型完全在未标记数据上使用对比学习任务训练,其中编码器输出的一部分被掩码,然后训练网络在一组“虚假”输出(称为“干扰项”)中识别掩码值。
wav2vec 2.0“基础模型”由自监督训练产生,本身无法执行 ASR 推理。要扩展它执行 ASR,需要为模型添加一个“头部”,将编码器输出投影到字符、词素或单词的词表上。然后,修改后的模型必须在标记语音数据上以监督方式训练,通常使用 CTC 损失。

尽管 wav2vec 2.0 声名显赫,但可用的开源 ASR 版本相对较少。对于我们的对比,我们选择了 wav2vec2-large-robust-ft-libri-960h,该模型最初是这篇论文的结果,现在由 HuggingFace transformers 库托管并提供用于 ASR 推理。以下总结了关于该模型 DNA 及其推理方式的一些重要细节:
这是一个 CTC 编码器模型,通过对 wav2vec 2.0 基础模型在 LibriSpeech(960 小时人工标记的朗读音频书语音)上使用 CTC 损失进行微调而获得。该模型在其训练历史中仅接触过音频书语音,这是一个相对狭窄的干净朗读语音领域。这影响了模型在处理嘈杂、对话音频时的准确率。
它拥有一个“大容量”Transformer 编码器堆栈,包含 24 个块,隐藏层大小 1024,16 个注意力头,前馈维度 4096。这使得它在 GPU 上内存密集。
它使用字符词表,因此在没有语言模型后处理的情况下可能会犯拼写错误。
由于该模型仅在预分割数据(即短的“片段”音频)上训练和测试过,没有既定的推理程序将其应用于我们将用于测试的长格式音频。因此,我们必须做出一些决定,特别是关于音频预处理和批处理。在我们的测试中,我们将音频转码为 16kHz 的 s16 PCM,将其分割为非重叠的 30 秒片段,然后使用 HuggingFace 工具对片段批次进行推理。我们选择 30 秒片段,因为这是原始 wav2vec 2.0 训练中使用的片段大小。
HuggingFace 没有开箱即用的支持对 wav2vec 2.0 ASR 模型的输出进行二次后处理(即 CTC 束搜索或语言模型重评分)以改进解码。因此,我们使用 HuggingFace 文档中展示的一种简单贪婪方法进行解码。这意味着模型将以最大速度运行推理,但准确率会受损。
由于模型处理原始音频波形,输入序列长度极长(16kHz 的 30 秒音频片段有 480,000 个时间步)。加上模型的大容量,这使得在 GPU 上运行时容易耗尽内存。为缓解 GPU 内存问题,我们以半精度模式运行推理,批大小设为 1。对片段的推理结果使用模型的 tokenizer 单独解码,然后连接这些片段文本以获得整个文件的预测。

Whisper medium.en

Whisper 是一个编码器/解码器 ASR 模型系列,以监督方式在一个大规模爬取的多语种语音语料库上训练。其模型 DNA 有几个独特方面,讨论如下:
其架构“看似简单”,由一堆 2D CNN 后跟一个对称的 Transformer 编码器/解码器堆栈组成。
该模型摄入从转码为 16kHz 的音频中提取的 80 维对数梅尔滤波器组特征。这些是相对“标准”的特征。
Whisper 模型有几种尺寸,代表不同范围的模型容量。在不同容量之间,速度和准确率存在显著差异,最大模型通常产生最准确的预测,但运行速度比小模型慢约 30 倍。
Whisper 源代码负责音频预处理,并可以原生处理直接作为输入提供的长格式音频。这使得它比 Kaldi 在易用性上无限更高,也比 HuggingFace 实现的 wav2vec 2.0 略胜一筹。
Whisper 以监督方式在一个非常大的语料库上训练,包含 68 万小时爬取的多语种语音数据。OpenAI 将训练称为“弱监督”,因为标记未经人工验证,因此可能包含噪声。训练数据的来源和领域特征未知。尽管如此,很明显,就规模和多样性而言,Whisper 的训练语料库远远超过了我们的 Kaldi 和 wav2vec 模型。
尽管解码器只有一个输出头,Whisper 执行多个任务(语言检测、语音活动检测、ASR 和翻译)。这与仅执行单一任务(ASR)的 Kaldi 和 wav2vec 2.0 形成对比。Whisper 开发者通过让模型在多个监督任务上训练,并使用作为解码器词汇表中一等公民条目添加的特定任务专用标记,以及将这些标记包含在解码器输入文本中来实现这一点。
在 ASR 和翻译模式下,Whisper 自然会在其输出中添加标点符号和大写字母。这对最终用户很重要,因为它提高了转录文本的可读性并增强了使用 NLP 工具的下游处理。Kaldi 和 wav2vec 模型产生的输出均无标点符号且全为大写。因此,你可能会产生一种鲜明的印象,仿佛这些模型在对你大吼大叫。
Whisper 作为其输出的一部分预测“片段级”时间戳。Whisper 开发者通过以不同任务相同的方式处理时间戳标记来解决了这个问题,即将时间戳标记作为模型词汇表中的一等公民条目,并直接插入训练文本的特定位置。如下一点所述,时间戳标记在 Whisper 推理中起关键作用。Kaldi 和 wav2vec 模型不为单词或片段产生时间戳。
Whisper 采用了一种独特的生成式推理程序。默认行为是对 30 秒的音频窗口进行顺序推理。音频窗口由编码器嵌入,然后由解码器自回归地映射到预测的文本序列,其中编码器输出用作上下文向量。Whisper 仅保留预测文本直到并包括最后一个预测的时间戳标记,丢弃其余的预测。然后音频窗口前进到最后时间戳相关的位置,重复该过程,并将前一个片段的预测文本作为额外上下文前置到解码器输入中。
由于它是生成式编码器/解码器模型,Whisper 容易遇到某些特定的失败模式,例如病态地重复同一个单词或 n-gram。这在推理过程中通过检测失败时使用基于温度的采样对同一音频片段重新推理(re-inferencing)来缓解。

对于我们的测试,它在英语语音数据上执行,我们使用 Whisper 的 medium.en 模型。我们选择这个尺寸,因为就“表达能力”而言,它与 wav2vec2-large-robust-ft-libri-960h 等效,意味着它使用相同的编码器层数、隐藏层大小、注意力头数量和前馈维度。作为一个编码器/解码器模型,Whisper medium.en 在参数量方面比 wav2vec 模型大约 2 倍。

评估准确率

数据集

为了对比模型,我从 Deepgram 的内部验证集中随机选择了五个领域区域的 50 个文件:

Domain Description Avg File Duration [min]
Conversational AI Spontaneous speech from human/chat bot interactions, including various fast food ordering use cases. Challenging audio with noise and background speech. Many short files. 0.65
Phonecalls Spontaneous conversational speech from phonecalls. Mostly two-speaker. Includes call center use cases. Generally low-quality, 8 kHz audio with background speech. 2.2
Meetings Spontaneous conversational speech from multi-person meetings including both in-person meetings and video conferences. Files tend to be long with large speaker counts. 36.1
Videos Videos from YouTube and other sources covering diverse content. Mostly spontaneous speech. Generally high-quality, high sample rate audio. 2.9
Earnings Calls Public earnings calls with generally high-quality audio. Mostly practiced, read speech. Lots of finance jargon and spoken numerals. Files tend to be long 39.5

然后,每个文件的高质量人工转录文本用作基准标签来衡量转录错误。

准确率指标

在 ASR 中,量化 ASR 模型准确率的最广泛使用的指标是词错误率(WER)。词错误率基于“Levenshtein 距离”(或“编辑距离”),它衡量两个字符串之间的差异——在这种情况下,是 ASR 模型产生的预测转录文本和人工标记的转录文本之间的差异。WER 定义为错误数除以基准真值中的单词总数。

错误有三种形式:替换、插入和删除。要了解什么算作错误,让我们看看每一种:
替换发生在单词被另一个单词取代时(例如,“food”被替换为“good”)
插入发生在一个未被说出的单词被添加时(例如“He is eating chipotle”变成“He is always eating chipotle”)
删除发生在一个单词从转录文本中完全省略时(例如,“come here now”变成“come now”)

给定模型预测和基准真值转录文本,我们在两者之间执行编辑距离对齐,以确定替换、插入和删除错误的位置。然后,我们简单地将它们相加并除以基准真值中的单词总数,即
WER = (替换 + 插入 + 删除) / 说出的单词数。

WER 可以在单个文件级别或整个数据集级别计算,从而提供关于模型表现的不同视角。在我们的测试中,我们在每个领域内计算了三个涉及 WER 的汇总指标:
总体 WER: 对于此指标,我们将领域内所有文件的错误相加,然后除以基准真值单词总数。这提供了模型在每个领域内表现的“宏观”视图,但可能会因长文件上的强劲表现而失真。
每文件平均 WER: 对于此指标,我们计算领域内每个文件的 WER,然后计算文件级别值的平均值。根据领域不同,可能存在一部分文件,其中模型的表现相对于其他文件非常糟糕。通常,这些“问题”文件持续时间较短。在这种情况下,每文件平均 WER 将显著大于总体 WER。
每其中位 WER: 对于此指标,我们计算领域内每个文件的 WER,然后取文件级别值的中位数。该指标最好地反映了模型的“典型”表现,因此可能与最终用户体验相关性最高。

文本标准化

在计算 WER 之前,通常会对模型预测和/或基准真值应用一些转换,以最小化模型训练语料库和测试数据之间格式差异的不利影响。这个过程被称为“文本标准化”。

Whisper 拥有自己的文本标准化器,应用小写化和标点符号移除等标准转换,此外还对像口头数字、地址、货币等文本范围应用更自由的一对多映射。当将 Whisper 标准化器应用于模型预测和基准真值时,如 Whisper 论文所示,与其他开源模型相比,Whisper 在 WER 方面往往享有显著优势。

对于我们的测试,我们使用 Whisper 标准化器和一种仅应用小写化和标点符号移除的“简单”标准化方案计算了结果。

准确率结果

总体 WER
Whisper 标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 64.2 36.3 19.9
Phone call 69.9 31.0 16.6
Meeting 44.0 27.4 13.9
Earnings Call 65.8 28.1 9.7
Video 47.6 23.3 8.9

简单标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 63.4 34.5 26.5
Phone call 70.0 30.9 20.8
Meeting 45.8 28.7 16.1
Earnings Call 69.1 35.3 11.2
Video 47.5 23.5 11.2

每文件平均 WER
Whisper 标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 68.1 57.1 51.3
Phone call 87.9 49.4 46.8
Meeting 81.4 64.8 63.7
Earnings Call 66.8 28.2 9.8
Video 42.1 22.8 9.8

简单标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 62.4 56.8 60.7
Phone call 73.9 43.9 54.3
Meeting 64.3 46.2 43.4
Earnings Call 70.1 35.7 11.2
Video 42.1 23.2 12.4

每文件中位 WER
Whisper 标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 65.9 33.3 5.7
Phone call 78.1 40.9 20.1
Meeting 54.3 38.7 18.6
Earnings Call 68.8 26.4 8.9
Video 35.4 17.2 5.2

简单标准化

Dataset Kaldi wav2vec 2.0 Whisper
Conversational AI 63.8 33.3 14.6
Phone call 74.4 38.2 29.6
Meeting 55.8 40.6 20.8
Earnings Call 72.1 34.0 10.6
Video 35.6 17.2 8.6

准确率结果讨论

Kaldi Gigaspeech XL
根据所有指标,Kaldi 模型在无论领域还是文本标准化方案的情况下,都产生了病态糟糕的 WER。在这种具有挑战性的真实世界长格式音频场景中,我们发现传统流水线模型根本无法竞争,即使是在 1 万多小时的音频上训练的。在领域方面,Kaldi 在视频数据上产生了最佳准确率,以每文件中位 WER 衡量。这可能是因为视频文件与其 Gigaspeech 训练数据最相似。

wav2vec 2.0 facebook/wav2vec2-large-robust-ft-libri-960h
在三个模型中,wav2vec 牢牢位居第二,产生了比 Kaldi 好得多的 WER,但在所有领域和指标上均显著差于 Whisper。如果我们定义“可用”准确率为低于 20% 的 WER,那么根据每文件中位 WER,wav2vec 仅在视频数据上产生可用准确率。在其他领域的表现要糟糕得多。文本标准化的效果在不同领域和指标之间参差不齐,没有系统趋势。比较总体 WER 和每文件平均 WER,我们看到在五个领域中的三个(对话式 AI、电话会议和现场会议)存在巨大差异,这表明对于这些数据集,模型在一部分短文件上产生了病态糟糕的预测。

Whisper medium.en
在三个模型中,Whisper 的预测最有趣,但跨指标一致性最差。根据数据的某些视角,Whisper 模型非常准确。例如,Whisper 标准化的每文件中位 WER 在跨领域显示可用准确率,在对话式 AI、财报电话会议和视频数据上具有高度准确的预测。然而,应用简单标准化时,每文件中位 WER 的情况要严峻得多。总体 WER 讲述了完全不同的故事,在对话式 AI 数据上准确率最差,其次是电话会议和现场会议。

与 wav2vec 一样,Whisper 在对话式 AI、电话会议和现场会议数据上也表现出每文件平均 WER 的显著下降,表明在部分小文件上存在病态行为。至于标准化方案,我们发现 Whisper 标准化在几乎所有领域和指标上产生了更低的 WER。此结果在定性上类似于原始 Whisper 论文的结果。

为了了解文件级别结果的分布,我们在下方提供了箱形图(box and whisker plot),展示每个模型和领域的文件词错误率。这些结果使用 Whisper 标准化器获得。所有三个模型,包括 Whisper,都有一部分文件产生病态预测和非常高的 WER。模型准确率的波动范围如此之大,以至于我们发现有必要在 x 轴上使用对数刻度。

评估速度

选择开源模型时的另一个重要考量是速度。ASR 推理有两个主要时间组件:音频预处理和模型推理。模型推理时间取决于模型的架构、推理算法

评论 (0)