访问官网
Github
Huggingface
文档
论文BigVGAN v2: 高质量音频生成的神经声码器
BigVGAN v2是一个强大的神经网络声码器，用于高质量音频生成。它是由NVIDIA研究团队开发的BigVGAN的升级版本，具有多项重要改进和新功能。
主要特点
自定义CUDA核心
BigVGAN v2引入了专门为推理速度优化的自定义CUDA核心。这个核心实现了上采样、激活和下采样的融合操作，大大提高了推理效率。在单个A100 GPU上，推理速度可以提高1.5到3倍。
改进的判别器和损失函数
新版本采用了多尺度子带CQT判别器和多尺度梅尔频谱图损失。这些改进有助于生成更高质量、更自然的音频。
更大规模的训练数据
BigVGAN v2的训练数据集包含了更加多样化的音频类型，包括多种语言的语音、环境声音和乐器声音。这使得模型能够处理更广泛的音频生成任务。
支持多种音频配置
该项目提供了多个预训练检查点，支持高达44 kHz的采样率和512倍的上采样比率。这为不同的应用场景提供了灵活性。
使用方法
使用BigVGAN v2非常简单。用户可以通过Hugging Face Hub轻松加载预训练模型，然后使用梅尔频谱图作为输入来生成合成波形。
自定义CUDA核心
为了获得更快的推理速度，用户可以选择使用自定义CUDA核心。这需要系统中安装了nvcc和ninja，并且PyTorch的CUDA版本与系统的CUDA版本匹配。
预训练模型
项目提供了多个预训练模型，适用于不同的采样率、梅尔频带数和上采样比率。这些模型在大规模数据集上训练，有些甚至经过了特定数据集的微调。
结语
BigVGAN v2代表了神经声码器领域的最新进展。它不仅能生成高质量的音频，还通过优化的CUDA核心提供了更快的推理速度。无论是语音合成、音乐生成还是其他音频应用，BigVGAN v2都是一个值得关注的强大工具。
