聆听、思考和理解
- 简介
- 引用
- OpenAQA (LTU) 和 OpenASQA (LTU-AS) 数据集
- 设置虚拟环境
- 推理
- 微调LTU和LTU-AS
- 复现LTU和LTU-AS训练
- 预训练模型
- 重要代码
- 所需计算资源
- 镜像链接
简介
本仓库包含LTU和LTU-AS的官方实现(基于PyTorch)、预训练检查点和数据集。 LTU和LTU-AS是首批连接音频/语音感知与理解的音频和语音大语言模型。 它们不仅在多个封闭式音频和语音任务上达到了最先进水平,还能根据给定的音频回答任何开放式问题。 请尝试交互式演示以体验它们的强大功能!
引用
LTU(第一代,仅支持音频):
LTU已被ICLR 2024接收。维也纳见!
[论文] [HuggingFace Space] [ICLR同行评审]
作者: Yuan Gong、Hongyin Luo、Alexander H. Liu、Leonid Karlinsky和James Glass(麻省理工学院和麻省理工学院-IBM沃森人工智能实验室)
@article{gong2023listen,
title={Listen, Think, and Understand},
author={Gong, Yuan and Luo, Hongyin and Liu, Alexander H and Karlinsky, Leonid and Glass, James},
journal={arXiv preprint arXiv:2305.10790},
year={2023}
}
LTU-AS(第二代,支持语音和音频):
LTU-AS已被ASRU 2023接收(前3%论文)。台北见!
[论文] [HuggingFace Space] [ASRU同行评审]
作者: Yuan Gong、Alexander H. Liu、Hongyin Luo、Leonid Karlinsky和James Glass(麻省理工学院和麻省理工学院-IBM沃森人工智能实验室)
@inproceedings{gong_ltuas,
title={Joint Audio and Speech Understanding},
author={Gong, Yuan and Liu, Alexander H and Luo, Hongyin, and Karlinsky, Leonid and Glass, James},
year={2023},
booktitle={2023 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)},
}
OpenAQA (LTU) 和 OpenASQA (LTU-AS) 数据集
我们发布了LTU(OpenAQA)和LTU-AS(OpenASQA)的训练数据。具体来说,我们发布了(问题
,答案
,音频ID
)元组。
实际的音频文件来自现有的公开数据集,需要用户自行下载。
我们提供完整数据集(包括所有AQA)以及细分(封闭式和开放式子集、每个原始数据集的子集等)。所有链接托管在Dropbox上,支持wget
。
LTU (OpenAQA)
示例集(包含原始音频文件,仅供测试用途):
OpenAQA训练(仅音频数据集,共5.6M AQA):
完整数据集(2.3GB):[下载]
细分子集:[下载]
LTU评估数据: [下载]
LTU-AS (OpenASQA)
示例集(包含原始音频文件,仅供测试用途):
LTU-AS:[元数据] [音频和Whisper特征]
OpenASQA训练(音频和语音数据集,共10.2M AQA):
完整数据集(4.6GB):[下载]
细分子集:[下载]
LTU-AS评估数据: [下载]
准备音频文件时,请确保所有音频文件使用相同的16kHz采样率。
数据集的格式是一个包含字典列表的JSON文件,格式如下:
[
{
"instruction": "这段音频中哭声的意义是什么?", % 问题
"input": "我太难过了...", % 语音内容
"audio_id": "/data/sls/audioset/dave_version/audio/LZq4Neh-oWU.flac", % 音频ID
"dataset": "as_strong_train", % 原始数据集(可选)
"task": "开放式问题", % 问题类型(可选)
"output": "哭声表明音频中正在发生一个悲伤或情绪化的场景。" % 答案
},
...
]
设置虚拟环境
对于几乎所有用途,您都需要设置一个虚拟环境。
请注意,LTU和LTU-AS需要不同的环境。它们的hf-dev
和peft-main
是不同的。请不要混用LTU和LTU-AS的虚拟环境。
将此仓库克隆或下载为ltu-main
,然后,
对于LTU:
cd /ltu-main/src/ltu
conda create --name venv_ltu python=3.10
conda activate venv_ltu
pip install -r requirements.txt
# 安装自定义的hugging face transformer,原版transformer无法使用
pip install -e hf-dev/transformers-main
# 安装自定义的hugging face peft,原版peft无法使用
pip install -e peft-main
对于LTU-AS:
cd /ltu-main/src/ltu_as
conda create --name venv_ltu_as python=3.10
conda activate venv_ltu_as
pip install -r requirements.txt
# 安装自定义的hugging face transformer,原版transformer无法使用
pip install -e hf-dev/transformers-main
# 安装自定义的hugging face peft,原版peft无法使用
pip install -e peft-main/
# 安装自定义的openai-whisper,原版whisper无法使用
pip install -e whisper/
推理
我们提供三种推理选项。
选项1. 通过HuggingFace Space进行推理(无需代码)
选项2. 使用API进行推理(无需GPU)
API支持通过简单的for循环进行批量推理。
!pip install gradio_client
对于LTU:
from gradio_client import Client
client = Client("https://yuangongfdu-ltu.hf.space/")
result = client.predict(
"path_to_your_wav/audio.wav", # 你的16K音频文件
"从音频中可以推断出什么?", # 你的问题
api_name="/predict"
)
print(result)
对于LTU-AS:
# 对于LTU-AS
from gradio_client import Client
client = Client("https://yuangongfdu-ltu-2.hf.space/")
result = client.predict(
"path_to_your_wav/audio.wav", # 你的16K音频文件
"",
"从音频中可以推断出什么?", # 你的问题
"7B (默认)", # 'LLM size'单选组件中的字符串
api_name="/predict"
)
print(result)
选项3. 本地推理
对于有兴趣进行训练/微调的用户,我们建议先从运行推理开始。这有助于调试。
bash脚本会自动下载默认的LTU/LTU-AS模型,你不需要自己下载。
inference_gradio.py
可以在CPU或GPU上运行。
对于LTU:
conda activate venv_ltu
cd ltu-main/src/ltu
chmod 777 *
./inference.sh
脚本可能会输出一些可以忽略的警告。脚本完成后,它将提供一个用于推理的gradio链接,可以在任何机器的浏览器上运行。你也可以修改脚本在本地终端上运行。
我们还提供了批量推理脚本inference_batch.py
。
对于LTU-AS:
conda activate venv_ltu_as
cd ltu-main/src/ltu_as
chmod 777 *
./inference.sh
脚本可能会输出一些可以忽略的警告。脚本完成后,它将提供一个用于推理的gradio链接,可以在任何机器的浏览器上运行。
我们还提供了批量推理脚本inference_batch.py
,注意这个脚本加载预先提取的whisper特征,而不是原始WAV文件。
如果你想使用原始音频文件,请使用inference_gradio.py
。关于如何提取whisper特征,请参见[这里]。
*LTU-AS的GPU问题:我们发现Open-AI whisper特征在不同GPU上是不同的,这会影响LTU-AS的性能,因为它以Whisper特征作为输入。在论文中,我们始终使用旧GPU(Titan-X)生成的特征。但我们确实发布了一个使用较新GPU(A5000/A6000)生成的特征的检查点,如果你在旧/新GPU上运行,请手动切换检查点(默认情况下,此代码使用新GPU特征)。训练和推理GPU的不匹配不会完全破坏模型,但会导致性能下降。
微调LTU和LTU-AS
使用玩具数据微调LTU/LTU-AS模型
由于版权原因,我们不提供OpenAQA和OpenASQA的原始音频文件。但是,为了便于复现,我们提供了一小部分样本集(玩具集)的音频文件和Whisper音频特征。 具体来说,我们提供了一个非常简单、几乎一键式的脚本来微调模型。一旦成功,你可以将玩具数据更改为你自己的数据。
对于两个脚本:
- 你不需要下载玩具数据,
prep_train.sh
会为你完成这个工作。 - 你不需要下载预训练模型,
prep_train.sh
会下载默认的预训练模型。但是,你可以在finetune_toy.sh
中更改要使用的预训练模型。
对于LTU:
conda activate venv_ltu
# 这个路径很重要,许多代码需要相对路径
cd ltu-main/src/ltu/train_script
# 允许脚本可执行
chmod 777 *
# 准备玩具数据和预训练模型
./prep_train.sh
# 在数据上运行微调
./finetune_toy.sh
# 对于内存小于48GB的(多个)GPU使用,速度较慢
#./finetune_toy_low_resource.sh
你应该得到类似这样的输出:
trainable params: 93065216 || all params: 6831480832 || trainable%: 1.3622993065290356
Map: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 6306/6306 [00:02<00:00, 2626.08 examples/s]
{'loss': 0.6383, 'learning_rate': 1e-05, 'epoch': 0.41}
{'loss': 0.6052, 'learning_rate': 2e-05, 'epoch': 0.81}
{'train_runtime': 142.0142, 'train_samples_per_second': 44.404, 'train_steps_per_second': 0.169, 'train_loss': 0.6136090755462646, 'epoch': 0.97}
对于LTU-AS:
conda activate venv_ltu_as
# 这个路径很重要,许多代码需要相对路径
cd ltu-main/src/ltu_as/train_script
# 允许脚本可执行
chmod 777 *
# 准备玩具数据和预训练模型
./prep_train.sh
# 在数据上运行微调
./finetune_toy.sh
# 对于内存小于48GB的(多个)GPU使用,速度较慢
#./finetune_toy_low_resource.sh
你应该得到类似这样的输出:
trainable params: 48793600 || all params: 6787209216 || trainable%: 0.718905200166442
Map: 100%|███████████████████████████████████████████████████████████████████████████████████████████████| 8769/8769 [00:04<00:00, 2088.17 examples/s]
{'loss': 0.6029, 'learning_rate': 2e-05, 'epoch': 0.29}
{'loss': 0.5805, 'learning_rate': 4e-05, 'epoch': 0.58}
{'loss': 0.5397, 'learning_rate': 6e-05, 'epoch': 0.87}
{'train_runtime': 175.7491, 'train_samples_per_second': 49.895, 'train_steps_per_second': 0.193, 'train_loss': 0.5713561913546394, 'epoch': 0.99}
使用你自己的数据微调LTU/LTU-AS模型
对于LTU,很简单,你只需要在finetune_toy.sh
中将--data_path '../../../openaqa/data/openaqa_toy_relative.json'
替换为你自己的数据。注意请确保你自己的音频是16kHz的,建议使用绝对路径,我们使用相对路径只是为了简单的一键示例。
对于LTU-AS,稍微复杂一些,我们的脚本不加载原始音频,而是预先提取的Whisper特征,所以你还需要先为自己的音频提取Whisper特征,然后更改HF transformer包中的代码,指向你的Whisper特征目录(基本上需要更改[这些代码行])。关于如何提取whisper特征,请参见[这里]。
复现LTU和LTU-AS训练
我们建议你先尝试用玩具数据进行微调,然后再做这个。
这与微调类似,区别在于LTU和LTU-AS训练都有多阶段课程,所以你需要从第1阶段开始,然后是第2阶段,...
对于第2阶段,你需要将--base_model 'your_path_to_mdl/pytorch_model.bin'
更改为第1阶段训练的模型检查点。依此类推。
对于LTU:
conda activate venv_ltu
# 这个路径很重要,许多代码需要相对路径
cd ltu/src/ltu/train_script
# 允许脚本可执行
chmod 777 *
# 准备数据和预训练模型
./prep_train.sh
# 对数据进行微调
./stage1_proj_cla.sh
./stage2_all_cla.sh # 需要指定第1阶段训练的检查点
./stage3_all_close.sh # 需要指定第2阶段训练的检查点
./stage4_all_mix.sh # 需要指定第3阶段训练的检查点
对于LTU-AS:
conda activate venv_ltu_as
# 这个路径很重要,许多代码需要相对路径
cd ltu/src/ltu_as/train_script
# 允许脚本可执行
chmod 777 *
# 准备数据和预训练模型
./prep_train.sh
# 对数据进行微调
./finetune_toy.sh
./stage1_proj_cla.sh
./stage2_all_cla.sh # 需要指定第1阶段训练的检查点
./stage4_all_mix_v2.sh # 需要指定第2阶段训练的检查点
预训练模型
对于上述大多数应用,我们的脚本会处理模型下载(因此您无需自行下载),但我们确实提供了更多检查点。
论文中提到的其他模型可能会根据要求提供,请创建一个GitHub问题来询问。
LTU模型
LTU-AS模型
LTU-AS模型 | 大小 | 训练序列长度 | 训练步骤 | Whisper特征GPU | 不可回答问题 | 链接 |
---|---|---|---|---|---|---|
论文原版 | 200M | 108 | 40000 | 旧GPU(Titan) | 包含 | 下载 |
长序列_排除不可回答_旧GPU | 200M | 160 | 40000 | 旧GPU(Titan) | 排除 | 下载 |
长序列_排除不可回答_新GPU(默认) | 200M | 160 | 40000 | 新GPU(A5000/6000) | 排除 | 下载 |
全微调(包括LLM参数) | 27G | 160 | 40000 | 旧GPU(Titan) | 排除 | 下载 |
更多预训练模型
我们提供以下模型以帮助复现。
1. 训练课程中每个阶段的检查点(带有损失日志)
这些检查点可用于从任何阶段继续训练,例如,您可以基于第3阶段检查点训练自己的第4阶段模型。您可以将我们的损失日志与您的进行比较,以确保一切正常。
LTU: [下载链接]
包括第1/2/3/4阶段检查点。提供了训练参数和损失日志以帮助复现。
LTU-AS: [下载链接]
包括第1/2/3阶段检查点,对于最终的第3阶段检查点,提供v1和v2(具有更多联合音频和语音训练数据)检查点。提供了训练参数和损失日志以帮助复现。
损失日志在哪里? 点击上面的链接之一,在名为"checkpoint-xxxx"的文件夹中,找到名为trainer_state.json
的文件,您应该看到类似这样的内容:
"log_history": [
{
"epoch": 0.0,
"learning_rate": 0.0001,
"loss": 8.7039,
"step": 10
},
{
"epoch": 0.0,
"learning_rate": 0.0002,
"loss": 5.5624,
"step": 20
},
{
"epoch": 0.01,
"learning_rate": 0.0003,
"loss": 4.1076,
"step": 30
这就是实际的日志损失。我们发布了LTU和LTU-AS所有阶段的日志,以帮助复现。
2. LLaMA 13B模型(包括13B模型脚本)
我们的论文主要关注LLaMA-7B模型,但我们提供LLaMA-13B检查点。您需要将模型脚本对于LTU和对于LTU-AS替换为13B版本的,可以通过以下链接下载。
LTU-13B: [下载链接]
包括第1/2/3/4阶段检查点。对于第4阶段,提供标准序列长度模型(108)和更长序列模型(192)。我们推荐使用stage4_all_mix_long_seq
模型。
LTU_AS-13B: [下载链接]
包括第1/2/3阶段检查点。对于第3阶段,提供了一个使用不可回答QA训练数据的模型和一个不使用不可回答QA训练数据的模型。我们推荐使用stage3_long_seq_exclude_noqa
模型。
重要代码
这是一个大型代码库,我们无法逐一解释代码。以下是我们认为重要的代码。
-
LTU-AS的Whisper特征提取代码位于此处。
对于训练,起点是此处和此处的训练shell脚本,这些shell脚本将调用ltu-main/{ltu,ltu_as}/finetune.py
,后者将调用包含LTU/LTU-AS模型和peft包的定制化hugging face transformer。
如果您对代码有疑问,请创建一个issue。
所需计算资源
对于LTU/LTU-AS训练,我们使用4 X A6000(4 X 48GB=196GB VRAM)。代码可以在1 X A6000(或类似GPU)上运行。
要在较小的GPU上进行训练/微调,请开启模型并行,我们能够在4 X A5000(4 X 24GB = 96GB)上运行,我们为LTU和LTU-AS提供了低资源训练的示例脚本。请注意,它们比正常训练脚本慢。
对于推理,LTU最低需要2 X TitanX(2 X 12GB = 24GB),LTU-AS需要4 X TitanX(4 X 12GB = 48GB)(因为Whisper占用一些内存)。但是,您可以在CPU上进行推理。
镜像链接
所有资源都托管在Dropbox上,支持wget
,并且应该适用于大多数国家/地区。对于无法访问Dropbox的用户,建议使用VPN,但我们也提供了腾讯微云的镜像链接。但是,您需要手动将模型/数据放置在所需位置,我们的自动脚本将失效。
联系方式
如果您有问题,请创建一个issue,我通常会迅速回复,如果延迟,请提醒我。 对于更私人或机密的请求,请发送电子邮件至yuangong@mit.edu。