Resemble 增强
https://github.com/resemble-ai/resemble-enhance/assets/660224/bc3ec943-e795-4646-b119-cce327c810f1
Resemble 增强是一个旨在通过去噪和增强来提高语音整体质量的AI驱动工具。它由两个模块组成:一个去噪器,用于从嘈杂的音频中分离出语音,以及一个增强器,通过恢复音频失真和扩展音频带宽来进一步提升可感知的音频质量。这两个模型都是在高质量的44.1kHz语音数据上训练的,确保能以高质量增强您的语音。
使用方法
安装
安装稳定版本:
pip install resemble-enhance --upgrade
或尝试最新的预发布版本:
pip install resemble-enhance --upgrade --pre
增强
resemble_enhance 输入目录 输出目录
仅去噪
resemble_enhance 输入目录 输出目录 --denoise_only
网页演示
我们提供了一个使用Gradio构建的网页演示,您可以在这里尝试,或者在本地运行:
python app.py
训练您自己的模型
数据准备
您需要准备一个前景语音数据集和一个背景非语音数据集。此外,您还需要准备一个RIR数据集(示例)。
data
├── fg
│ ├── 00001.wav
│ └── ...
├── bg
│ ├── 00001.wav
│ └── ...
└── rir
├── 00001.npy
└── ...
训练
去噪器预热
虽然去噪器与增强器一起训练,但建议先进行预热训练。
python -m resemble_enhance.denoiser.train --yaml config/denoiser.yaml runs/denoiser
增强器
然后,您可以分两个阶段训练增强器。第一阶段是训练自编码器和声码器。第二阶段是训练潜在条件流匹配(CFM)模型。
第一阶段
python -m resemble_enhance.enhancer.train --yaml config/enhancer_stage1.yaml runs/enhancer_stage1
第二阶段
python -m resemble_enhance.enhancer.train --yaml config/enhancer_stage2.yaml runs/enhancer_stage2
博客
在我们的网站上了解更多信息!