Parameter-Efficient-Transfer-Learning-Benchmark

🔥 新闻与更新

• ✅ [2024/07/25] 视觉PEFT基准开始发布数据集、代码等。

• ✅ [2024/06/20] 视觉PEFT基准主页创建。

• ✅ [2024/06/01] 视觉PEFT基准仓库创建。

📚 目录

• 简介

• 入门指南

• 代码结构

• 快速开始

• 结果与检查点

• 社区与联系

• 引用

⭐ 简介

参数高效迁移学习（PETL）方法在将预训练模型适应到各种下游任务时表现出promising的效果，同时只需训练少量参数。在计算机视觉（CV）领域，已经提出了许多PETL算法，但直接使用或比较它们仍然不便。为解决这一挑战，我们通过从图像识别、视频动作识别和密集预测任务中选择30个多样化、具有挑战性和综合性的数据集构建了一个统一的视觉PETL基准（V-PETL Bench）。在这些数据集上，我们系统地评估了25种主流PETL算法，并开源了一个模块化和可扩展的代码库，用于对这些算法进行公平评估。

⚙️ 入门指南

👉 数据准备

1. 图像分类数据集

• 细粒度视觉分类任务（FGVC）

  FGVC包含5个细粒度视觉分类数据集。可以按照官方链接下载这些数据集。如果没有公开的验证集，我们会对训练数据进行分割。分割后的数据集可以在这里找到：下载链接。

  • CUB200 2011

  • NABirds

  • Oxford Flowers

  • Stanford Dogs

  • Stanford Cars

• 视觉任务适应基准（VTAB）

  VTAB包含19个多样化的视觉分类数据集。我们已经处理了所有数据集，可以在这里下载：下载链接。具体的处理程序和技巧，请参见VTAB_SETUP。

2. 视频动作识别数据集

• Kinetics-400

  1. 从下载链接或下载链接下载数据集。

  2. 通过将视频的短边调整为320像素来预处理数据集。你可以参考MMAction2 数据基准。

  3. 为数据加载器生成所需的注释（"<video_id> <video_class>"格式的注释）。注释通常包括train.csv、val.csv和test.csv。*.csv文件的格式如下：

     video_1.mp4  label_1
     video_2.mp4  label_2
     video_3.mp4  label_3
     ...
     video_N.mp4  label_N
     

     
     

• Something-Something V2 (SSv2)

  1. 从下载链接下载数据集。

  2. 通过将视频扩展名从webm更改为.mp4，并保持原始高度为240像素来预处理数据集。你可以参考MMAction2 数据基准。

  3. 为数据加载器生成所需的注释（"<video_id> <video_class>"格式的注释）。注释通常包括train.csv、val.csv和test.csv。*.csv文件的格式如下：

     video_1.mp4  label_1
     video_2.mp4  label_2
     video_3.mp4  label_3
     ...
     video_N.mp4  label_N
     

3. 密集预测数据集

• MS-COCO

  MS-COCO可从此下载链接获取。

• ADE20K

  ADE20K的训练集和验证集可从此下载链接下载。 我们也可以从下载链接下载测试集。

• PASCAL VOC

  Pascal VOC 2012可从下载链接下载。 此外，大多数针对Pascal VOC数据集的最新工作通常会利用额外的增强数据，可以在下载链接找到。

👉 预训练模型准备

• 下载并将ViT-B/16预训练模型放置在/path/to/pretrained_models中。

mkdir pretrained_models
wget https://storage.googleapis.com/vit_models/imagenet21k/ViT-B_16.npz

• 或者你可以下载Swin-B预训练模型。注意，你还需要将下载的Swin-B检查点从swin_base_patch4_window7_224_22k.pth重命名为Swin-B_16.pth。

mkdir pretrained_models

wget https://github.com/SwinTransformer/storage/releases/download/v1.0.0/swin_base_patch4_window7_224_22k.pth

mv swin_base_patch4_window7_224_22k.pth Swin_B_16.pth

• 另一种方法是从下面的链接下载预训练模型，并将其放在/path/to/pretrained_models中。

💻 V-PETL Bench的结构（关键文件标有👉）

• ImageClassification/configs：处理实验的配置参数。

  • 👉 ImageClassification/config/vtab/cifar100.yaml：实验的主要配置设置和每个数据集的说明。

  • .....

• ImageClassification/dataloader：加载和设置输入数据集。

  • ImageClassification/dataloader/transforms：图像变换。

  • ImageClassification/dataloader/loader：为给定数据集构建数据加载器。

• ImageClassification/models：处理不同微调协议的骨干架构和头部。

  • 👉ImageClassification/models/vision_transformer_adapter.py：包含与vit_backbones文件夹中相同的骨干网络的文件夹，专门用于Adapter。

  • 👉ImageClassification/models/vision_transformer_sct.py：包含与vit_backbones文件夹中相同的骨干网络的文件夹，专门用于SCT。

  • .....

• 👉ImageClassification/train：包含训练文件文件夹的文件夹，

  • 👉ImageClassification/train/train_model_adapter.py：调用此文件以使用指定的传输类型训练和评估模型，专门用于Adapter。

  • 👉ImageClassification/train/train_model_sct.py：调用此文件以使用指定的传输类型训练和评估模型，专门用于SCT。

  • .....

• ImageClassification/scripts：包含脚本文件文件夹的文件夹，

  • ImageClassification/scripts/run_vit_adapter.sh：你可以一次性在所有数据集上运行Adapter方法。

  • ImageClassification/scripts/run_vit_sct.sh：你可以一次性在所有数据集上运行SCT方法。

  • .....

• ImageClassification/Visualize：可视化工具。

  • ImageClassification/Visualize/AttentionMap.py：注意力图可视化。

  • ImageClassification/Visualize/TSNE.py：T-SNE可视化。

• ImageClassification/utils：创建日志记录器、设置种子等。

  ❗️注意❗️：如果你想创建自己的PETL算法，请注意`ImageClassification/models`。

🐌 快速开始

这是如何在本地设置V-PETL Bench的示例。

要获取本地副本并运行，请按照以下简单步骤操作。

👉 安装V-PETL Bench

git clone https://github.com/synbol/Parameter-Efficient-Transfer-Learning-Benchmark.git

👉 环境设置

V-PETL Bench基于pytorch构建，使用torchvision、torchaudio和timm等。

• 要安装所需的包，你可以创建一个conda环境。

conda create --name v-petl-bench python=3.8

• 激活conda环境。

conda activate v-petl-bench

• 使用pip安装所需的包。

cd Parameter-Efficient-Transfer-Learning-Benchmark

pip install -r requirements.txt

👉 训练

• 你可以在一个数据集上测试PETL算法的性能。

python python train/train_model_sct.py --dataset cifar100 --task vtab --lr 0.012 --wd 0.6 --eval True --dpr 0.1 --tuning_mode $tuning_mode --model_type $model_type --model $model --model_checkpoint $model_checkpoint

• 或者你可以在所有数据集上测试PETL算法的性能

bash scripts/run_model_sct.sh

👉 评估

• 你可以评估你训练的模型的性能。

• 你也可以测试我们提供的预训练检查点。下载链接请参见"结果和检查点"。

🎯 结果和检查点

FGVC图像分类的基准结果

• 我们在五个数据集上评估了13种PETL算法，使用在ImageNet-21K上预训练的ViT-B/16模型。

• 要获取检查点，请在下载链接下载。 | 方法 | CUB-200-2011 | NABirds | 牛津花卉 | 斯坦福狗 | 斯坦福汽车 | 平均值 | 参数量 | PPT | |-----------------------|--------------|---------|----------------|---------------|---------------|------|---------------|-----| | 全量微调 | 87.3 | 82.7 | 98.8 | 89.4 | 84.5 | 88.54 | 85.8M | - | | 线性探测 | 85.3 | 75.9 | 97.9 | 86.2 | 51.3 | 79.32 | 0 M | 0.79| | 适配器 | 87.1 | 84.3 | 98.5 | 89.8 | 68.6 | 85.66 | 0.41M | 0.84| | AdaptFormer | 88.4 | 84.7 | 99.2 | 88.2 | 81.9 | 88.48 | 0.46M | 0.87| | 前缀微调 | 87.5 | 82.0 | 98.0 | 74.2 | 90.2 | 86.38 | 0.36M | 0.85| | U-Tuning | 89.2 | 85.4 | 99.2 | 84.1 | 92.1 | 90.00 | 0.36M | 0.89| | BitFit | 87.7 | 85.2 | 99.2 | 86.5 | 81.5 | 88.02 | 0.10M | 0.88| | VPT-浅层 | 86.7 | 78.8 | 98.4 | 90.7 | 68.7 | 84.66 | 0.25M | 0.84| | VPT-深层 | 88.5 | 84.2 | 99.0 | 90.2 | 83.6 | 89.10 | 0.85M | 0.86| | SSF | 89.5 | 85.7 | 99.6 | 89.6 | 89.2 | 90.72 | 0.39M | 0.89| | LoRA | 85.6 | 79.8 | 98.9 | 87.6 | 72.0 | 84.78 | 0.77M | 0.82| | GPS | 89.9 | 86.7 | 99.7 | 92.2 | 90.4 | 91.78 | 0.66M | 0.90| | HST | 89.2 | 85.8 | 99.6 | 89.5 | 88.2 | 90.46 | 0.78M | 0.88| | LAST | 88.5 | 84.4 | 99.7 | 86.0 | 88.9 | 89.50 | 0.66M | 0.87| | SNF | 90.2 | 87.4 | 99.7 | 89.5 | 86.9 | 90.74 | 0.25M | 0.90|

VTAB图像分类基准测试结果

• VTAB基准测试结果。我们在19个数据集上评估了18种PETL算法，使用在ImageNet-21K上预训练的ViT-B/16模型。
• 请在下载链接处下载检查点。

SSv2和HMDB51视频动作识别基准测试结果

• 在SSv2和HMDB51上的基准测试结果。我们使用来自VideoMAE和Video Swin Transformer的ViT-B评估了5种PETL算法。

• 要获取检查点，请在下载链接处下载。

COCO数据集上的密集预测基准测试结果

• COCO数据集上的基准测试结果。我们使用在ImageNet-22K上预训练的Swin-B模型评估了9种PETL算法。

• 要获取检查点，请在即将推出处下载。

PASCAL VOC和ADE20K数据集上的密集预测基准测试结果

• PASCAL VOC和ADE20K数据集上的基准测试结果。我们使用在ImageNet-22K上预训练的Swin-L模型评估了9种PETL算法。

• 要获取检查点，请在即将推出处下载。

💬 社区和联系方式

• V-PETL Bench社区由以下人员维护：

  • 辛毅 (xinyi@smail.nju.edu.cn)，南京大学。

  • 罗思琪 (siqiluo@smail.nju.edu.cn)，上海交通大学。

📝 引用

• 如果您发现我们的调查和仓库对您的研究有用，请按以下方式引用：

@article{辛2024基准,
  title={V-PETL基准：统一的视觉参数高效迁移学习基准},
  author={辛毅, 罗思琪, 刘旭阳, 周浩迪, 程新宇, 李露露, 杜俊龙, 杜云涛, 王浩哲, 陈明才, 刘挺, 胡桂敏, 万中伟, 张荣超, 李傲雪, 易明阳, 刘晓红},
  year={2024}
}