密集目标检测的定位知识蒸馏

英文 | 简体中文

旋转目标检测的Rotated-LD-mmRotate和Rotated-LD-Jittor已发布。

本仓库基于mmDetection。

LD在知乎上的分析:目标检测-定位蒸馏 (LD, CVPR 2022)和目标检测-定位蒸馏续集——logit蒸馏与feature蒸馏之争

这是我们论文的代码:

• 密集目标检测的定位蒸馏
• 目标检测的定位蒸馏期刊扩展版。

@Inproceedings{LD,
  title={密集目标检测的定位蒸馏},
  author={郑昭慧 and 叶荣光 and 王平 and 任东伟 and 左旺孟 and 侯启彬 and 程明明},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集(CVPR)},
  pages={9407--9416},
  year={2022}
}

@Article{zheng2023rotatedLD,
  title={目标检测的定位蒸馏},
  author= {郑昭慧 and 叶荣光 and 侯启彬 and 任东伟 and 王平 and 左旺孟 and 程明明},
  journal={IEEE模式分析与机器智能汇刊},
  year={2023},
  volume={45},
  number={8},
  pages={10070-10083},
  doi={10.1109/TPAMI.2023.3248583}}

[2022.12.3] Rotated-LD-Jittor现已可用。

[2022.4.13] Rotated-LD-mmRotate现已可用。

[2021.3.30] LD正式纳入MMDetection V2，非常感谢@jshilong、@Johnson-Wang和@ZwwWayne协助迁移代码。

LD是定位任务知识蒸馏的扩展，利用学习到的边界框分布将定位暗知识从教师模型传递给学生模型。

LD稳定地将GFocalV1的性能提高了约2.0的AP，而不增加任何计算成本!

简介

知识蒸馏(KD)在学习目标检测的紧凑模型方面展现了强大的能力。之前的目标检测KD方法主要集中在模仿特定区域内的深层特征，而不是模仿分类logits，因为后者在蒸馏定位信息方面效率不高。在本文中，通过重新制定定位任务的知识蒸馏过程，我们提出了一种新颖的定位蒸馏(LD)方法，可以有效地将定位知识从教师模型传递给学生模型。此外，我们还启发式地引入了有价值定位区域的概念，可以帮助选择性地为特定区域蒸馏语义和定位知识。结合这两个新组件，我们首次表明，logit模仿可以优于特征模仿，而且对于蒸馏目标检测器来说，定位知识蒸馏比语义知识更重要和高效。我们的蒸馏方案既简单又有效，可以轻松应用于不同的密集目标检测器。实验表明，我们的LD可以将单尺度1x训练计划的GFocal-ResNet-50的AP分数从40.1提高到42.1，而不会牺牲任何推理速度。

安装

请参考INSTALL.md进行安装和数据集准备。推荐使用Pytorch=1.7和cudatoolkits=11。

入门

请参阅GETTING_STARTED.md了解MMDetection的基本用法。

训练

# 假设你在项目的根目录下，
# 并且已经激活了虚拟环境(如果需要的话)。
# COCO数据集位于'data/coco/'目录下

./tools/dist_train.sh configs/ld/ld_r50_gflv1_r101_fpn_coco_1x.py 8

学习率和批量大小设置

lr=(samples_per_gpu * num_gpu) / 16 * 0.01

对于2个GPU和每个GPU的mini-batch大小为6，配置文件的相关部分如下:

optimizer = dict(type='SGD', lr=0.00375, momentum=0.9, weight_decay=0.0001)
data = dict(
    samples_per_gpu=3,

对于8个GPU和每个GPU的mini-batch大小为16，配置文件的相关部分如下:

optimizer = dict(type='SGD', lr=0.01, momentum=0.9, weight_decay=0.0001)
data = dict(
    samples_per_gpu=2,

不要将samples_per_gpu设置大于3！

特征模仿方法

我们提供了几种特征模仿方法，包括FitNets fitnet、DeFeat decouple、Fine-Grained finegrain、GI location gibox。

    bbox_head=dict(
        loss_im=dict(type='IMLoss', loss_weight=2.0),
        imitation_method='finegrained'  # gibox, finegrain, decouple, fitnet
    )

转换模型

如果你发现训练好的模型很大，请参考publish_model.py

python tools/model_converters/publish_model.py your_model.pth your_new_model.pth

速度测试(FPS)

CUDA_VISIBLE_DEVICES=0 python3 ./tools/benchmark.py configs/ld/ld_gflv1_r101_r50_fpn_coco_1x.py work_dirs/ld_gflv1_r101_r50_fpn_coco_1x/epoch_24.pth

评估

./tools/dist_test.sh configs/ld/ld_gflv1_r101_r50_fpn_coco_1x.py work_dirs/ld_gflv1_r101_r50_fpn_coco_1x/epoch_24.pth 8 --eval bbox

注意：

• 有关更多实验细节，请参考 GFocalV1、GFocalV2 和 mmdetection。

预训练权重

VOC 07+12

GFocal V1

百度网盘 密码: ufc8，教师网络 R101

百度网盘 密码: 5qra，教师网络 R101DCN

百度网盘 密码: 1bd3，主要LD R101→R18，框AP = 53.0

百度网盘 密码: thuw，主要LD R101DCN→R34，框AP = 56.5

百度网盘 密码: mp8t，主要LD R101DCN→R101，框AP = 58.4

谷歌云盘 主要LD + VLR LD + VLR KD R101→R18，框AP = 54.0

谷歌云盘 主要LD + VLR LD + VLR KD + GI模仿 R101→R18，框AP = 54.4

COCO

GFocal V1

百度网盘 密码: hj8d，主要LD R101→R18 1x，框AP = 36.5

百度网盘 密码: bvzz，主要LD R101→R50 1x，框AP = 41.1 GoogleDrive 主要KD + 主要LD + VLR LD R101→R18 1x，框AP = 37.5

GoogleDrive 主要KD + 主要LD + VLR LD R101→R34 1x，框AP = 41.0

GoogleDrive 主要KD + 主要LD + VLR LD R101→R50 1x，框AP = 42.1

GoogleDrive 主要KD + 主要LD + VLR LD + GI模仿 R101→R50，框AP = 42.4

GFocal V2

GoogleDrive 主要KD + 主要LD + VLR LD R101→R50 1x，框AP = 42.7

GoogleDrive | 训练日志 主要KD + 主要LD + VLR LD R101-DCN→R101 2x，框AP（测试开发集）= 47.1

GoogleDrive | 训练日志 主要KD + 主要LD + VLR LD Res2Net101-DCN→X101-32x4d-DCN 2x，框AP（测试开发集）= 50.5

对于其他任何教师模型，您可以在GFocalV1、GFocalV2和mmdetection下载。

AP全景图

如果您想绘制AP全景图，请用AP_landscape中的文件替换相关文件，并运行

# config1和checkpoint1对应您想通过的头部

./tools/dist_test.py config1 config2 checkpoint1 checkpoint2 1

得分投票聚类DIoU-NMS

我们提供了得分投票聚类DIoU-NMS，这是得分投票NMS的加速版本，并与DIoU-NMS相结合。对于GFocalV1和GFocalV2，得分投票聚类DIoU-NMS将带来0.1-0.3的AP增加，0.2-0.5的AP75增加和<=0.4的AP50减少，同时它比mmdetection中的得分投票NMS快得多。配置文件的相关部分如下：

# 得分投票聚类DIoU-NMS
test_cfg = dict(
nms=dict(type='voting_cluster_diounms', iou_threshold=0.6),

# 原始NMS
test_cfg = dict(
nms=dict(type='nms', iou_threshold=0.6),