:trident: 语音三叉戟 - 卓越语音语言模型

在这个仓库中，我们调研了对语音/音频大型语言模型有重要贡献的三个关键领域：(1) 表征学习，(2) 神经编解码器，以及 (3) 语言模型。

1.⚡ 语音表征模型： 这些模型专注于学习结构化的语音表征，然后可以将其量化为离散的语音标记，通常称为语义标记。

2.⚡ 语音神经编解码器模型： 这些模型旨在学习语音和音频的离散标记，通常称为声学标记，同时保持重建能力和低比特率。

3.⚡ 语音大型语言模型： 这些模型在语音和声学标记之上以语言建模的方式进行训练。它们在语音理解和语音生成任务中展现出高水平的能力。

:trident: 贡献者

张凯维	吴海滨	曾伟程
卢克翰	管骏宜	李宏毅

:trident: 语音/音频语言模型

:trident: 语音/音频表示模型

:trident: 语音/音频编解码模型

:trident: ICASSP 2024教程信息

我（张凯维）将在ICASSP 2024教程中发表演讲，题目为语音和语言基础模型的参数高效和提示学习。主题将涵盖当今的语音/音频大型语言模型。

教程讲者：

• 杨博士（NVIDIA）
• 陈品宇博士（IBM研究院）
• 李宏毅教授（国立台湾大学）
• 张凯维（国立台湾大学）
• 江承翰（国立台湾大学）

首尔见！

:trident: 更新：教程已在ICASSP 2024成功举行。感谢所有与会者的参与。我的演讲幻灯片可在https://kwchang.org/talks/获取。如有任何讨论，欢迎随时与我联系。

:trident: 相关仓库

• https://github.com/liusongxiang/Large-Audio-Models
• https://github.com/kuan2jiu99/Awesome-Speech-Generation
• https://github.com/ga642381/Speech-Prompts-Adapters
• https://github.com/voidful/Codec-SUPERB
• https://github.com/huckiyang/awesome-neural-reprogramming-prompting

引用

如果您觉得这个仓库有用，请考虑引用以下论文。

@article{wu2024codec,
  标题={Codec-SUPERB：声音编解码器模型的深入分析},
  作者={吴海滨 和 钟浩林 和 林奕政 和 吴元奎 和 陈宣君 和 白宇骐 和 王秀璇 和 张凯为 和 刘亚历山大 H 和 李宏毅},
  期刊={arXiv预印本 arXiv:2402.13071},
  年份={2024}
}

@article{wu2024towards,
  标题={迈向音频语言建模-综述},
  作者={吴海滨 和 陈宣君 和 林奕政 和 张凯为 和 钟浩林 和 刘亚历山大 H 和 李宏毅},
  期刊={arXiv预印本 arXiv:2402.13236},
  年份={2024}
}