访问官网
Github
Huggingface
文档
论文项目概述
Stable Audio Open 1.0是一个由Stability AI开发的音频生成AI模型。它能够根据文本提示生成最长47秒的立体声音频，输出采样率为44.1kHz。这是一个集成了多种先进技术的复杂系统，包括音频自动编码器、基于T5的文本嵌入以及基于Transformer的扩散模型。
核心功能
这个模型主要具备以下能力：
- 可以根据文本描述生成高质量的音频内容
- 支持生成多种类型的声音，从环境音效到音乐片段
- 可以控制生成音频的长度和其他参数
- 支持立体声输出，音质优良
技术架构
该模型由三个主要组件构成：
- 自动编码器：负责压缩音频波形
- T5文本嵌入模型：处理文本条件输入
- 基于Transformer的扩散模型：在自动编码器的潜空间中运作
使用方法
模型支持两种使用方式：
- 通过stable-audio-tools库使用
- 通过diffusers库使用
用户可以根据需要选择合适的使用方式，两种方式都提供了详细的代码示例和使用说明。
训练数据
模型的训练数据来源广泛，包括：
- Freesound平台的472,618个音频记录
- Free Music Archive(FMA)的13,874个音频记录 所有训练数据都采用CC0、CC BY或CC Sampling+许可证。
应用场景与限制
适用场景
- 音频生成研究与实验
- 机器学习从业者的技术探索
- 艺术家的创作实践
使用限制
模型存在一些局限性：
- 无法生成真实的人声内容
- 仅支持英语文本描述
- 对不同音乐风格的处理能力不均衡
- 更适合生成音效和环境音频而非音乐
- 可能需要特定的提示词技巧来获得理想效果
许可说明
该模型采用Stability AI社区许可证。如需商业使用，需要参考stability.ai的专门许可条款。该项目鼓励研究和实验用途，但需要遵守相关使用规范和限制。
偏差说明
由于训练数据的来源限制，模型可能存在文化多样性不足的问题，对不同类型的音乐和音效的处理能力可能不均衡。生成的样本会反映训练数据中存在的偏差。
