访问官网
Github
论文torchcrepe
CREPE [1] 音高跟踪器的 Pytorch 实现。原始的 Tensorflow 实现可以在这里找到。提供的模型权重是通过使用开源模型管理框架 MMdnn 转换 "tiny" 和 "full" 模型获得的。
安装
按照这里的说明进行系统相关的 PyTorch 安装。
pip install torchcrepe
使用
从音频计算音高和周期性
import torchcrepe
# 加载音频
audio, sr = torchcrepe.load.audio( ... )
# 这里我们使用 5 毫秒的跳跃长度
hop_length = int(sr / 200.)
# 为您的领域提供合理的频率范围（上限为 2006 Hz）
# 这对于语音来说是一个合理的范围
fmin = 50
fmax = 550
# 选择模型容量 - "tiny" 或 "full" 之一
model = 'tiny'
# 选择用于推理的设备
device = 'cuda:0'
# 选择一个不会在 GPU 上造成内存错误的批次大小
batch_size = 2048
# 使用第一个 GPU 计算音高
pitch = torchcrepe.predict(audio,
sr,
hop_length,
fmin,
fmax,
model,
batch_size=batch_size,
device=device)
通过向 torchcrepe.predict 传递 return_periodicity=True，也可以提取类似于 Crepe 置信度分数的周期性指标。
解码
默认情况下，torchcrepe 对网络输出的 softmax 使用维特比解码。这与原始实现不同，原始实现使用二元交叉熵概率 argmax 附近的加权平均值。argmax 操作可能导致双倍/半频率错误。通过维特比解码对大的音高跳跃进行惩罚，可以消除这些错误。decode 子模块提供了一些解码选项。
# 使用维特比解码（默认）
torchcrepe.predict(..., decoder=torchcrepe.decode.viterbi)
# 使用加权 argmax 解码（如原始实现）
torchcrepe.predict(..., decoder=torchcrepe.decode.weighted_argmax)
# 使用 argmax 解码
torchcrepe.predict(..., decoder=torchcrepe.decode.argmax)
过滤和阈值处理
当周期性较低时，音高的可靠性较低。对于某些问题，掩蔽这些不太可靠的音高值是有意义的。然而，周期性可能会有噪声，音高也会有量化伪影。torchcrepe 为此提供了 filter 和 threshold 子模块。过滤器和阈值参数应该根据您的数据进行调整。对于清晰的语音，10-20 毫秒的窗口和 0.21 的阈值效果不错。
# 假设跳跃长度为 5 毫秒，我们将使用 15 毫秒的窗口
win_length = 3
# 对噪声置信度值进行中值滤波
periodicity = torchcrepe.filter.median(periodicity, win_length)
# 移除非谐波区域
pitch = torchcrepe.threshold.At(.21)(pitch, periodicity)
# 可选地平滑音高以去除量化伪影
pitch = torchcrepe.filter.mean(pitch, win_length)
要对音高阈值处理进行更精细的控制，请参见 torchcrepe.threshold.Hysteresis。这对于消除由周期性值中的噪声引起的虚假有声区域特别有用，但参数更多，可能需要针对您的数据进行更多手动调整。
CREPE 并未在静音音频上训练。因此，它有时会为静音区域的音高区间分配高置信度。您可以使用 torchcrepe.threshold.Silence 手动将静音区域的周期性设置为零。
periodicity = torchcrepe.threshold.Silence(-60.)(periodicity,
audio,
sr,
hop_length)
计算 CREPE 模型输出激活
batch = next(torchcrepe.preprocess(audio, sr, hop_length))
probabilities = torchcrepe.infer(batch)
计算 CREPE 嵌入空间
如差分数字信号处理 [2] 中所述，这使用第五个最大池化层的输出作为预训练的音高嵌入
embeddings = torchcrepe.embed(audio, sr, hop_length)
从文件计算
torchcrepe 定义了以下函数，方便直接从磁盘上的音频文件进行预测。这些函数都有一个 device 参数，可用于设备放置（例如，device='cuda:0'）。
torchcrepe.predict_from_file(audio_file, ...)
torchcrepe.predict_from_file_to_file(
audio_file, output_pitch_file, output_periodicity_file, ...)
torchcrepe.predict_from_files_to_files(
audio_files, output_pitch_files, output_periodicity_files, ...)
torchcrepe.embed_from_file(audio_file, ...)
torchcrepe.embed_from_file_to_file(audio_file, output_file, ...)
torchcrepe.embed_from_files_to_files(audio_files, output_files, ...)
命令行界面
用法: python -m torchcrepe
[-h]
--audio_files AUDIO_FILES [AUDIO_FILES ...]
--output_files OUTPUT_FILES [OUTPUT_FILES ...]
[--hop_length HOP_LENGTH]
[--output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]]
[--embed]
[--fmin FMIN]
[--fmax FMAX]
[--model MODEL]
[--decoder DECODER]
[--gpu GPU]
[--no_pad]
可选参数:
-h, --help 显示此帮助消息并退出
--audio_files AUDIO_FILES [AUDIO_FILES ...]
要处理的音频文件
--output_files OUTPUT_FILES [OUTPUT_FILES ...]
保存音高或嵌入的文件
--hop_length HOP_LENGTH
分析窗口的跳跃长度
--output_periodicity_files OUTPUT_PERIODICITY_FILES [OUTPUT_PERIODICITY_FILES ...]
保存周期性的文件
--embed 执行嵌入而不是音高预测
--fmin FMIN 允许的最小频率
--fmax FMAX 允许的最大频率
--model MODEL 模型容量。"tiny" 或 "full" 之一
--decoder DECODER 要使用的解码器。"argmax"、"viterbi" 或 "weighted_argmax" 之一
--gpu GPU 用于推理的 GPU
--no_pad 是否对音频进行填充
测试
可以按以下方式运行模块测试。
pip install pytest
pytest
参考文献
[1] J. W. Kim, J. Salamon, P. Li, and J. P. Bello, "Crepe: A Convolutional Representation for Pitch Estimation," in 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).
[2] J. H. Engel, L. Hantrakul, C. Gu, and A. Roberts, "DDSP: Differentiable Digital Signal Processing," in 2020 International Conference on Learning Representations (ICLR).
