第23章 操作音频数据的最佳 Python 工具
教程:操作音频数据的最佳 Python 工具 作者:Deepgram,2022 年 6 月 13 日
本文全面介绍如何用 Python 处理音频文件。
Python 提供了很多操作音频数据的包,但它们并不都能顺利工作。作为 Python 开发者,我们都熟悉那些常见难题——配置环境、版本兼容、寻找合适的包。本文就来讲讲处理音频数据时如何解决这些问题。文中讨论的所有示例代码都可以在这个 GitHub 仓库中找到。
注意:本文基于 Python 3.9 编写,因为很多音频包还没有升级到支持 3.10 或 3.11。本文内容包括:
- 音频数据简介 - 音频数据的使用方式 - 用 Python 录制音频 - 用 Python 播放音频 - 用 Python 剪辑音频 - 用 Python 修改音频采样率 - 用 Python 调整音频音量 - 用 Python 合并两个音频文件 - 用 Python 叠加两个音频文件 - 用 Python 转换音频文件格式 - 通过 Web API 转录音频 - 操作音频数据的最佳 Python 工具总结
音频数据简介
什么是音频数据?简单说,音频数据就是以声音形式存在的任何数据格式。从底层来看,表示声音的方式其实不多。音频文件类型之所以五花八门,是因为压缩和封装数据的方案多种多样。在深入之前,先了解两个基本概念——采样率和音频数据格式的类型。
什么是采样率?
采样率(有时也称为帧率)是指每秒测量信号振幅的次数,单位是帧每秒或赫兹(Hz)。理想采样率可以用奈奎斯特采样定理来确定。常见的采样率有 16 kHz(VoiP 常用)、44.1 kHz(CD 常用)和 96 kHz(DVD 和蓝光常用)。
音频数据的类型
表示声音的知名方式只有一种——波形。但计算机可以用很多方式来存储这些数据。最常见的音频文件类型是 .wav 和 .mp3。两者的主要区别是 .wav 不压缩,而 .mp3 是压缩格式。因此 .wav 适合追求最高音质的场景,.mp3 则适合需要快速流式传输的场景。
其他文件类型还包括音频交换文件格式(AIFF)、原始脉冲编码调制(PCM)数据和高级音频编码(AAC)。AIFF 是 Apple 为 Mac OS 开发的格式,就像 WAVE 最初由 Microsoft 开发一样。PCM 是原始音频数据格式。AAC 本来是作为 MP3 的继任者设计的,但作为回放格式并未流行起来,不过它作为流式音频格式却大获成功,被 YouTube、iPhone 和 Nintendo 采用。
音频数据的使用方式
音频数据正变得越来越无处不在:电话通话、远程视频会议录像、音乐和视频等等都在产生音频数据。这些海量的音频数据能怎么用呢?我们可以为音乐叠加声音片段,调整不同声音流的音量让 VoiP 通话中每个人都能听清,或者转录通话内容供日后阅读。当然,这些只是音频数据用途的一部分,还有很多有价值的应用方式有待发掘。
用 Python 录制音频
在 Python 中处理音频最基本的两件事就是播放和录制。接下来两节会介绍如何用两个流行的 Python 声音库来播放和录制音频。先看如何用 sounddevice 和 pyaudio 录制音频。
写代码之前,需要先安装依赖库。PyAudio 是 PortAudio 的封装,在 Windows 和 Mac 上安装方式不同。在 Mac OS 上,安装好 X-Code 工具后可以用 brew 安装 portaudio。Windows 用户请参考 StackOverflow 上的这个答案。
如何在 Mac 上安装 PyAudio:
bash xcode-select --install brew remove portaudio brew install portaudio pip install pyaudio
如果安装有问题,可以用下面的命令指定 portaudio 的构建路径:
bash pip install --global-option='build_ext' --global-option="-I$(brew --prefix)/include" --global-option="-L$(brew --prefix)/lib" pyaudio
安装 python-sounddevice 只需在命令行运行 pip install sounddevice scipy。我们还需要 scipy 来下载流式数据,后面也会用到。
用 PyAudio 录音
这个例子用 PyAudio 和 Python 自带的 wave 库录制声音并保存为文件。我们先导入两个库并声明常量。需要预先声明的常量包括:chunk 大小(每次保存的帧数)、格式(16 bit)、声道数(1)、采样率(44100)、录音时长(3 秒)以及保存的文件名。
接下来创建 PyAudio 对象,并用它和刚才的常量创建一个流。然后初始化一个空列表来存放帧。接着在 3 秒时限内不断用流读取数据,每次读取 1024 bit 的 chunk。
3 秒后需要关闭并终止流。最后用 wave 库把流式音频数据按之前声明的常量保存成 .wav 文件。
python import pyaudio import wave
chunk = 1024 sample_format = pyaudio.paInt16 channels = 1 fs = 44100 # frames per channel seconds = 3 filename = "output_pyaudio.wav"
p=pyaudio.PyAudio()
print("Recording ...")
stream = p.open(format = sample_format, channels = channels, rate = fs, frames_per_buffer = chunk, input = True)
frames = [] for i in range(0, int(fs/chunk * seconds)): data = stream.read(chunk) frames.append(data)
stream.stop_stream() stream.close() p.terminate()
print("... Ending Recording") with wave.open(filename, 'wb') as wf: wf.setnchannels(channels) wf.setsampwidth(p.get_sample_size(sample_format)) wf.setframerate(fs) wf.writeframes(b''.join(frames)) wf.close()
用 Python-sounddevice 录音
Python-Sounddevice(导入或通过 pip 安装时简称 sounddevice)是一个简单的录音和播放库。可以看到,用它录音的代码比 pyaudio 少得多。
先导入所需的库:sounddevice 和 scipy.io.wavfile 中的 write 函数。然后声明采样率和录音时长两个常量。之后就可以录音了,让 sounddevice 等待录制完成,再用 scipy 写入录制的音频。
python import sounddevice as sd from scipy.io.wavfile import write
fs = 44100 seconds = 3
recording = sd.rec(int(seconds*fs), samplerate=fs, channels=1) sd.wait() write('output_sounddevice.wav', fs, recording)
用 Python 播放音频
播放音频和录制音频是姊妹功能,只能录不能放几乎没什么用。这一节还是用前面的 pyaudio 和 sounddevice 库,但用 sounddevice 播放音频还需要另一个库 soundfile,在终端运行 pip install soundfile 安装即可。
用 PyAudio 播放音频
我们再次使用内置的 wave 库和 pyaudio 来播放声音。用之前录制的文件和相同的 chunk 大小。先打开文件并创建 pyaudio 对象。
然后用 pyaudio 对象打开一个流,参数从 wave 文件中提取。接着创建一个数据对象,按指定的 chunk 大小读取 wave 文件的帧。播放声音时,循环读取数据并写入流,直到数据为空。最后关闭流并终止 pyaudio 对象。
python import pyaudio import wave
# declare constants and initialize portaudio/pyaudio object filename = 'output_pyaudio.wav' chunk = 1024 wf = wave.open(filename, 'rb') pa = pyaudio.PyAudio()
# create stream using info from the file stream = pa.open(format = pa.get_format_from_width(wf.getsampwidth()), channels = wf.getnchannels(), rate = wf.getframerate(), output = True)
# read in the frames as data data = wf.readframes(chunk)
# while the data isn't empty while data != b'': stream.write(data) data = wf.readframes(chunk)
# cleanup stream.close() pa.terminate()
用 Python-sounddevice 播放音频
同样可以看到,sounddevice 播放音频的代码比 pyaudio 简洁得多。但要记住,录音和播放的简洁是有代价的——需要额外安装和使用两个库。
这个例子中,我们导入 sounddevice 和 soundfile 库。然后把文件名传给 soundfile 读取数据和采样率。最后用 sounddevice 播放声音,并让进程等待播放结束。
python import sounddevice import soundfile
filename = "output_sounddevice.wav" data, fs = soundfile.read(filename, dtype='float32') sounddevice.play(data, fs) status = sounddevice.wait()
用 Python 剪辑音频
讲完最基础的播放和录制,接下来看看如何修改音频数据。第一项是剪辑(裁剪)音频。这个例子需要再安装两个库:pydub 和 ffmpeg-python,照常用 pip 安装:pip install pydub ffmpeg-python。
用 pydub 剪辑音频
从这里到文章后面你会看到,pydub 库堪称音频处理的瑞士军刀。用 pydub 裁剪音频只需要 AudioSegment 对象。首先定义要剪出的起始和结束毫秒数,然后用 AudioSegment 加载音频文件。
裁剪时,我们创建一个只包含起始到结束毫秒之间数据的新对象。最后用提取出的 AudioSegment 对象的 export 函数把文件保存为 .wav 格式。
python from pydub import AudioSegment
# start at 0 milliseconds # end at 1500 milliseconds start = 0 end = 1500
sound = AudioSegment.from_wav("output_pyaudio.wav") extract = sound[start:end]
extract.export("trimmed_output_pydub.wav", format="wav")
用 FFMPEG 裁剪音频
FFMPEG 是知名的音频处理库,通常在命令行使用。虽然可以用 Python 原生的 sys 和 subprocess 库来调用 FFMPEG,但我觉得用 SDK 更简单省心。
虽然我们是用 pip install ffmpeg-python 安装的 SDK,导入时只用写 ffmpeg。第一步先获取 input 对象,然后用 ffmpeg.input 对象调用 atrim 函数把录音裁剪到 1 秒,再用裁剪后的数据创建 output。最后调用 ffmpeg 真正执行 output 并保存文件。
python import ffmpeg
audio_input = ffmpeg.input("output_sounddevice.wav") audio_cut = audio_input.audio.filter('atrim', duration=1) audio_output = ffmpeg.output(audio_cut, 'trimmed_output_ffmpeg.wav', format='wav') ffmpeg.run(audio_output)
用 Python 修改音频采样率
接下来难度有所提升。采样率对音频的听感影响巨大。改变表示声音的每秒帧数时,可能出现各种奇怪的情况,操作不当会影响声音的速度、音调和质量。下面的例子使用 pydub 和 scipy,这两个库前面都已经装好了。
Pydub
如前所述,pydub 提供了丰富的音频处理工具,安全地修改采样率就是其中之一。AudioSegment 对象有一个非常好用的 set_frame_rate 命令,可以在不改变音调、速度、不引入任何失真的情况下设置帧率。保存时还是用 export 函数。
python from pydub import AudioSegment
sound = AudioSegment.from_wav('output_pyaudio.wav') sound_w_new_fs = sound.set_frame_rate(16000) sound_w_new_fs.export("new_fs_output_pydub.wav", format="wav")
Scipy
如果你有相应的数学功底,也可以用 scipy 自己动手改采样率。这么做最常见的理由是研究、音乐或特效等高级用例的需求。
先用 wavfile 读入采样率和音频数据,再根据读入的采样率和目标采样率计算新的样本数。重采样通过 scipy.signal 的 resample 函数完成。这个函数基于傅里叶变换,可能引入失真,属于比较高级的技巧,最好只在必要时使用。
python from scipy.io import wavfile import scipy.signal
new_fs = 88200 # open data sample_rate, data = wavfile.read('output_pyaudio.wav')
# resample data new_num_samples = round(len(data)*float(new_fs)/sample_rate) data = scipy.signal.resample(data, new_num_samples) wavfile.write(filename="new_fs_output_scipy.wav", rate=88200, data=data)
用 Python 调整音频音量
接下来四项操作都会用 pydub,一方面因为它最好用,另一方面它是唯一更新到能兼容最新 Python 版本的库。
用 pydub 的 AudioSegment 对象调音量极其简单:导入所需的库和函数、打开 .wav 文件之后,唯一要做的就是对这个对象做加减法。
play 函数会先后播放两个声音,这样我们能听出哪个更响、哪个更轻。和前面一样,用 export 函数保存文件。
python from pydub import AudioSegment from pydub.playback import play
sound = AudioSegment.from_wav("new_fs_output_pydub.wav")
# 3 dB up louder = sound + 3 # 3 dB down quieter = sound - 3
play(louder) play(quieter)
louder.export("louder_output.wav", format="wav") quieter.export("quieter_output.wav", format="wav")
用 Python 合并两个音频文件
pydub 也可以用来在 Python 中合并两个音频文件。用 AudioSegment 打开两个 .wav 文件后,拼接只需把它们相加。可以播放一下确认效果,再导出成文件。
python from pydub import AudioSegment from pydub.playback import play
sound1 = AudioSegment.from_wav("louder_output.wav") sound2 = AudioSegment.from_wav("quieter_output.wav")
combined = sound1 + sound2
play(combined) combined.export("louder_and_quieter.wav", format="wav")
用 Python 叠加两个音频文件
你可能以为叠加音频比合并更难,但 pydub 的 AudioSegment 对象让这件事变得非常简单。只需调用 overlay 函数,传入要叠加的声音和叠加位置(毫秒)即可。
python from pydub import AudioSegment from pydub.playback import play
sound1 = AudioSegment.from_wav("louder_output.wav") sound2 = AudioSegment.from_wav("quieter_output.wav")
overlay = sound1.overlay(sound2, position=1000)
play(overlay) overlay.export("overlaid_1sec_offset.wav", format="wav")
用 Python 转换音频文件格式
前面讲了很多从播放录制到声音叠加的音频处理方法。如果只是需要把音频文件转成别的格式呢?pydub 同样能做到。
前面各节一直在用的 AudioSegment 对象的 export 函数本身就支持定义输出格式,只需把目标格式传给 export 即可。下面的例子打开一个 .wav 文件并保存为 .mp3。
python from pydub import AudioSegment
wav_audio = AudioSegment.from_wav("louder_output.wav") mp3_audio = wav_audio.export("louder.mp3", format="mp3")
通过 Web API 转录音频
最后是这篇 Python 音频入门的最后一部分。转录音频文件有很多用处:可视化数据、在音频文件库中搜索关键词,或者为自然语言理解(NLU)模型提供输入。
要通过 Web API 转录音频,需要先注册一个免费的 Deepgram API key,并在终端运行 pip install deepgram-sdk。
我们用 asyncio 异步发起 API 请求。写函数之前,先确保手头有 API key 和文件名。函数会初始化 Deepgram SDK、打开本地文件并发送到转录端点,然后等待响应,把结果以 4 空格缩进的格式转成 JSON。我们把 JSON 结果打印到终端并保存为 .txt 文件。最后用 asyncio 运行这个函数。
python from deepgram import Deepgram from config import dg_secret_key import asyncio, json
DEEPGRAM_API_KEY = dg_secret_key PATH_TO_FILE = 'louder_output.wav'
async def main(): # Initializes the Deepgram SDK deepgram = Deepgram(DEEPGRAM_API_KEY) # Open the audio file with open(PATH_TO_FILE, 'rb') as audio: # ...or replace mimetype as appropriate source = {'buffer': audio, 'mimetype': 'audio/wav'} response = await deepgram.transcription.prerecorded(source, {'punctuate': True}) json_obj = json.dumps(response, indent=4) print(json_obj) with open("transcribed.txt", "w") as f: f.write(json_obj)
asyncio.run(main())
操作音频数据的最佳 Python 工具总结
在数据分析和处理领域,音频数据是一块常被忽视的庞大领域。本文介绍了如何使用一些最新的 Python 库来处理音频数据。
我们学会了用 pyaudio 和 python-sounddevice 播放和录制音频,用 pydub 和 ffmpeg 剪裁数据,用 pydub 和 scipy 重采样数据;还看到 pydub 如何作为音频处理的瑞士军刀来调整音量、合并或叠加文件、转换文件格式;最后学会了如何用 Deepgram SDK 轻松转录音频数据。
延伸阅读
- 宾夕法尼亚大学音频数据课程讲义 - 音频文件格式
如果你对本文或 Deepgram 的任何方面有反馈,我们非常乐意听取,欢迎在 GitHub discussions 告诉我们。
相关文章
Francisco Sousa Machado GTM Lead - España 用 Nova-3 让您的西班牙语联络中心做好迎接 Ley 10/2025 的准备 公告
Abe Pursell SVP, Global Business Development and Partnerships Deepgram Marketplace:Voice AI 的开放生态 公告
Ed Anuff CPO 让 Voice Agent 始终把握对话脉络 公告
Deepgram Deepgram 正在收购 Pipecat 的开发者 Daily,打造首个完整、可用于生产环境的开放对话式 Voice AI 技术栈 公告