#音乐生成

Riffusion是一个开源库，利用稳定扩散技术实现实时音乐和音频生成，并在图像和音频之间进行转换。该库提供扩散管道、命令行工具和互动应用，支持通过Flask服务器进行模型推理。支持CPU、CUDA和MPS后端，推荐使用CUDA支持的GPU以获得最佳性能。虽然项目已停止维护，但用户仍可参考相关资源和指南进行安装和使用。

Riffusion是一款基于稳定扩散技术的实时音乐生成应用程序，支持Next.js、React、Typescript、three.js、Tailwind和Vercel技术栈。用户可通过安装Node v18或更高版本运行开发服务器，并在本地浏览器中查看应用。项目需要配置推理服务器来快速生成模型输出，适用于大GPU用户。请在二次开发时引用相关工作。

Muzic项目利用深度学习和人工智能技术，致力于音乐理解与生成的研究。涵盖符号音乐理解、歌词自动转录、歌曲创作、文本到音乐生成等功能，并引入AI代理实现多轨音乐生成。最新成果包括获奖的CLaMP和MuseCoco等工具，为音乐创作提供强有力的支持。

AudioGPT 是一个多功能音频生成与理解平台，具备语音合成、语音识别、语音分离、风格迁移、声音检测、声音提取、文本到音频转换等功能，还支持音乐生成与虚拟人对话。集成了 FastSpeech、whisper、GeneFace 等多个领先的基础模型，AudioGPT 为开发者提供强大的开源工具和预训练模型，支持多种音频相关任务，不断扩展其功能和应用场景。此平台适合音频处理、自然语言处理及多模态研究的需求。

Awesome Audio Plaza汇聚全球音频领域的最新研究成果和创新项目。涵盖自然语音合成、音乐创作、自动语音识别至声音转换等多个子领域，为研究人员、学者及爱好者提供了一个内容丰富的信息平台。该平台通过整合arxiv、Hugging Face日报、Twitter、GitHub等多种资源，确保用户能够访问到前沿科研和技术动态。

Amphion是一个开源的音频、音乐和语音生成工具集，旨在支持可重复的研究并帮助研究人员和工程师入门。提供TTS、SVS、VC、SVC、TTA等生成任务，集成高级语音编码器和评估指标，如F0建模、能量建模、语音相似度测评。功能包括模型可视化、数据集建设及文本到音频/音乐的实现，推动音频生成技术应用。

MuseGAN项目致力于生成多轨乐器的复音音乐。通过使用Lakh Pianoroll Dataset进行训练，该模型可以从零开始生成音乐或为用户提供的轨道进行伴奏。最新版本使用3D卷积层处理时间结构，尽管网络规模较小，但可控性有所下降。项目支持PyTorch版本，并提供多个shell脚本用于实验管理和数据收集。生成样本存储为.npy、.png和.npz格式，可转换为MIDI文件进一步使用。

MusicLM-Pytorch通过使用Google的新型SOTA音乐生成模型来生成音乐。该项目结合了文本条件的AudioLM和MuLan文本-音频对比学习模型。通过MuLaNEmbedQuantizer获取条件嵌入，用户可以在经过训练后，实现语义、粗粒度和细粒度的三种AudioLM转换器的音乐生成。项目包含详细的安装和使用指南，适合对AI音乐生成技术感兴趣的开发者。

Audio Development Tools提供了涵盖机器学习、音频生成、信号处理、声音合成等多个领域的综合性音频开发工具集。该项目汇集了丰富的资源和工具，可用于游戏音频、数字音频工作站、空间音频、音乐信息检索、语音识别等多种音频相关项目的开发和研究。

本项目汇总了音频AI领域的精选资源,涵盖语音识别、合成、翻译等多个方向的前沿进展。定期更新最新论文和开源实现,为研究者和开发者提供全面了解音频AI发展的平台。内容包括主流大型音频模型、各应用领域技术及大规模数据集,是音频AI研究的重要参考资料。

Audio AI Timeline项目追踪2023年音频生成领域AI模型进展。涵盖MusicLM、AudioLDM 2等重要模型，展示文本到音频、音乐生成和语音合成技术发展。项目记录模型发布日期、论文、代码和训练资源，为音频AI领域研究者和开发者提供参考。

该项目是对Stability AI的stable-audio-tools的重构和增强，提供了音频和音乐生成模型的开源代码。重构后的代码提高了可读性和易用性，并新增了评估和使用自训练模型的脚本。项目详细说明了如何训练Stable Audio 2.0等模型，并提供了Stable Audio Open 1.0的使用文档和便捷脚本。此外，项目支持多GPU/节点生成，并集成了Gradio界面用于测试模型。

MotionAgent是一个基于深度学习的视频生成工具，集成了脚本创作、场景图生成、视频制作和背景音乐创作功能。该工具支持根据指定主题自动生成脚本，可生成高分辨率视频和自定义风格背景音乐。MotionAgent基于ModelScope开源模型社区开发，为视频创作提供了自动化解决方案。

Suno Music Generator是一个非官方的AI音乐生成工具，基于NextJS开发。该工具通过suno.ai的API，让用户能够利用文本提示在约一分钟内生成独特歌曲。项目整合了Lemon Squeezy支付功能和自动token更新机制，保证系统稳定性。支持Vercel一键部署，方便用户快速搭建个人AI音乐创作平台。

TopMediai集成多种AI驱动的在线工具,专注音频和内容创作。提供文本转语音、AI歌曲翻唱、AI音乐生成、语音克隆等功能。拥有3200多种逼真AI语音,支持190多种语言和口音,适用于视频配音、播客制作等场景。平台致力提供简单高效的AI工具,助创作者节省时间精力,提升内容质量。持续更新迭代,确保用户获得最新AI技术支持。

Suno-Top为用户提供下载Suno AI生成音乐的免费在线服务。支持多设备使用，无需注册即可下载MP3文件、歌词和封面。网站还提供AI音乐创作技巧，包括歌词创作和风格混合等指南，助力用户掌握Suno AI音乐创作。

aimusic.one是一个AI驱动的音乐创作平台，利用先进技术简化作曲过程。用户只需描述想法，即可生成独特音乐。平台支持无歌词曲目创作和风格定制，满足多样化需求。通过分析音乐模式和结构，系统能生成原创作品。平台提供编辑工具，助力高质量音乐制作，并支持作品分享至各大社交和音乐平台。

Suno AI Music是一款免费AI音乐生成器，支持用户通过输入歌词、风格和标题创作个性化歌曲。该AI音乐创作平台涵盖流行、摇滚、爵士和电子舞曲等多种音乐风格，用户可免费生成和下载AI创作的音乐作品。无论是音乐爱好者还是专业音乐人，Suno AI Music都能为您提供丰富的创意空间和灵感来源。

Suno AI Free提供AI音乐生成服务，支持文本转音乐功能。平台能快速生成多种风格的AI音乐，包括流行、古典、电子和爵士等。支持多语言输入，提供有限次免费音乐生成。用户可直接下载生成的音乐，轻松体验AI音乐创作。

Synthtrails作为一家新兴的音乐科技公司，专注于情感与音乐的融合。通过先进的AI技术，平台能够将用户的情绪转化为独特的音乐作品。公司由一个精干的团队自主运营，重视人性化设计、音乐基础设施和AI创新。Synthtrails的核心理念是赋予用户对个人音乐数据的完全控制权。创始人Michael Holborn凭借在moodmap.app项目上的经验，为公司的技术发展奠定了坚实基础。

Snowpixel App是一个多功能的创意生成平台，通过文本描述创建多样化的媒体内容。平台功能涵盖图片、视频、音乐和3D对象的生成。用户可选择创意、结构化、动漫或照片级真实等多种图像风格。Snowpixel支持自定义模型训练，实现个性化创作。平台还提供高质量的像素艺术生成算法。Snowpixel为创作者和爱好者提供便捷工具，助力将创意转化为多媒体作品。

MusicStar.AI是一款人工智能音乐生成器，能在短时间内创作包含节拍、歌词和人声的原创音乐。平台支持流行、嘻哈、摇滚等多种音乐风格，用户只需选择风格并输入歌曲标题即可。该工具为音乐创作者提供灵感来源，提高创作效率，旨在简化音乐创作过程，使普通用户也能创作出专业水准的音乐作品。

CassetteAI是一个创新的音乐生成平台，通过文本输入即可创作高质量、独特的音乐作品。平台支持自定义音乐风格、情感、长度和乐器，适合各级水平的创作者使用。CassetteAI保障音乐的隐私性和所有权，为用户提供无限制的创作空间，正在推动音乐产业创作方式的变革。

AUDOIR是一家位于旧金山和硅谷之间的科技公司，成立于2016年。公司专注于开发融合人工智能技术的用户友好型创新产品，主要包括语言学习应用Vocali、音乐生成器Melodea和简历优化工具Resunet。创始人Wayne Cheng是一位经验丰富的全栈AI应用开发者，拥有15年硅谷创业背景。AUDOIR致力于在网络和移动应用领域应用人工智能技术，为用户提供智能化、个性化的解决方案。

Zero2Story是一个结合PaLM API、Stable Diffusion和MusicGen技术的故事生成框架。该框架包含背景设置、角色创建和交互式故事生成三个阶段，使创作者能够构建独特的故事。系统支持自定义故事场景、氛围和角色，并通过AI生成的情节选项推进剧情。此外，框架还能生成与故事情境匹配的背景图像和音乐，丰富整体创作体验。

本项目收录了众多专注AI音频和音乐技术的创新企业，涉及音乐创作、制作、源分离、分析推荐、广播、播客、听力辅助、声音检测和语音技术等多个领域。这些初创公司运用人工智能，为音频内容创作者、音乐爱好者和专业人士开发先进工具和解决方案，推动音频技术不断进步。

项目整理了音乐生成研究的多个在线演示网站,包括文本生成音乐、音频合成、伴奏制作等领域。演示涵盖扩散模型、Transformer和GAN等前沿技术,展示了AI音乐生成的最新进展。这些演示可帮助研究人员和音乐爱好者直观了解不同模型的音乐生成能力。

Suno API是一个开源项目，实现了app.suno.ai的音乐创作API。它支持自定义模式，兼容OpenAI API格式，可一键部署到Vercel。该项目适配GPTs和Coze等平台的API Schema，能作为LLMs的工具使用。Suno API提供音乐生成、歌词生成、音乐信息获取等接口，简化了AI音乐创作过程。

SNAC(Multi-Scale Neural Audio Codec)是一种创新的音频压缩模型，采用分层令牌方法将44kHz音频压缩至2.6kbps的低比特率。该模型引入粗糙令牌的低频采样机制，优化了音频编码效果。SNAC主要针对音乐数据训练，适用于音乐和音效处理。它提供多个预训练模型，支持不同采样率和比特率，便于在Python项目中进行音频编码和解码。SNAC在保持音质的同时，实现了高效的音频压缩，为音频处理领域提供了新的解决方案。

Riffusion是一个基于稳定扩散技术的文本到音频模型，能够生成音频频谱图并转换为实时音乐。该模型通过微调Stable Diffusion v1.5实现，可根据文本提示生成和修改频谱图像。Riffusion主要应用于音乐创作、教育工具和生成模型研究。项目提供开源代码、模型文件和Web应用程序，使用户能够直接体验实时音乐生成。该开源项目包含完整的模型文件、推理代码和种子图像库，为研究人员和开发者提供了丰富的资源。