Muzic 是一个关于AI音乐的研究项目,通过深度学习和人工智能促进音乐理解和生成。Muzic 的发音为 [ˈmjuːzeik]。除了上方图片版本的标志,Muzic 还有一个视频版本的标志(你可以点击这里观看 )。Muzic 由一些研究人员在微软亚洲研究院发起,同时也有外部合作者的贡献。
我们在下图中总结了Muzic项目的范围:
Muzic目前的工作包括:
-
音乐理解
-
音乐生成
- 作词作曲
- 歌词到旋律及旋律到歌词: SongMASS
- 歌词生成: DeepRapper
- 歌词到旋律生成: TeleMelody, ReLyMe, Re-creation of Creations (ROC)
- 音乐形式/结构生成
- 音乐形式生成: MeloForm
- 长/短结构建模: Museformer
- 多轨生成
- 文本到音乐生成: MuseCoco
- 歌声合成: HiFiSinger
- 作词作曲
-
AI代理
你可以在此页面找到我们系统生成的一些音乐样本:https://ai-muzic.github.io/。
更多关于语音相关的研究,请访问:https://speechresearch.github.io/ 和 https://github.com/microsoft/NeuralSpeech。
我们正在招聘!
我们正在招聘研究全职员工和研究实习生,涉及 语音/音频/音乐/视频 和 大语言模型 领域。如果你感兴趣,请联系 Xu Tan (tanxu2012@gmail.com)。
有什么新进展?
- CLaMP 在 ISMIR 2023 上荣获最佳学生论文奖!
- 我们发布了 MusicAgent,一个用于多功能音乐处理的大语言模型AI代理。
- 我们发布了 MuseCoco,一个从文本生成符号音乐的音乐创作助手。
- 我们发布了 GETMusic,一个具有通用表示和扩散框架的多功能音乐助手,用于生成任意音乐轨道。
- 我们发布了第一个用于跨模态符号音乐信息检索的模型:CLaMP。
- 我们发布了两个关于音乐结构建模的新研究:MeloForm 和 Museformer。
- 我们在ACM Multimedia 2021上进行了AI音乐作曲的教程。
环境需求
操作系统为Linux。我们在Ubuntu 16.04.6 LTS、CUDA 10和Python 3.6.12上进行了测试。运行Muzic的依赖项列在requirements.txt
中。安装依赖项,请运行:
pip install -r requirements.txt
我们发布了多个研究工作的代码:MusicBERT, PDAugment, CLaMP, DeepRapper, SongMASS, TeleMelody, ReLyMe, Re-creation of Creations (ROC), MeloForm, Museformer, GETMusic, MuseCoco, 和 MusicAgent。你可以在相应的文件夹中找到README,以获取详细的使用说明。
参考文献
如果你在工作中发现Muzic项目有用,可以引用以下论文:
- [1] MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training, Mingliang Zeng, Xu Tan, Rui Wang, Zeqian Ju, Tao Qin, Tie-Yan Liu, ACL 2021.
- [2] PDAugment: Data Augmentation by Pitch and Duration Adjustments for Automatic Lyrics Transcription, Chen Zhang, Jiaxing Yu, Luchin Chang, Xu Tan, Jiawei Chen, Tao Qin, Kejun Zhang, ISMIR 2022.
- [3] DeepRapper: Neural Rap Generation with Rhyme and Rhythm Modeling, Lanqing Xue, Kaitao Song, Duocai Wu, Xu Tan, Nevin L. Zhang, Tao Qin, Wei-Qiang Zhang, Tie-Yan Liu, ACL 2021.
- [4] SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint, Zhonghao Sheng, Kaitao Song, Xu Tan, Yi Ren, Wei Ye, Shikun Zhang, Tao Qin, AAAI 2021.
- [5] TeleMelody: Lyric-to-Melody Generation with a Template-Based Two-Stage Method, Zeqian Ju, Peiling Lu, Xu Tan, Rui Wang, Chen Zhang, Songruoyao Wu, Kejun Zhang, Xiangyang Li, Tao Qin, Tie-Yan Liu, EMNLP 2022.
- [6] ReLyMe: Improving Lyric-to-Melody Generation by Incorporating Lyric-Melody Relationships, Chen Zhang, LuChin Chang, Songruoyao Wu, Xu Tan, Tao Qin, Tie-Yan Liu, Kejun Zhang, ACM Multimedia 2022.
- [7] Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation, Ang Lv, Xu Tan, Tao Qin, Tie-Yan Liu, Rui Yan, arXiv 2022.
- [8] MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks, Peiling Lu, Xu Tan, Botao Yu, Tao Qin, Sheng Zhao, Tie-Yan Liu, ISMIR 2022.
- [9] Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation, Botao Yu, Peiling Lu, Rui Wang, Wei Hu, Xu Tan, Wei Ye, Shikun Zhang, Tao Qin, Tie-Yan Liu, NeurIPS 2022