Stable-DINO - 基于稳定匹配的高性能目标检测模型

:dragon_face: Stable-DINO：具有稳定匹配的检测变换器

IDEA-CVR, IDEA-Research

刘世龙*、任天赫*、陈嘉宇*、曾昭阳、张浩、李峰、李泓阳、黄俊、苏航、朱军、张磊^:email:。

(*) 同等贡献，(^:email:) 通讯作者。

[Stable-DINO 论文] [Focal-Stable-DINO 报告] [引用] [detrex 中的代码]

:sparkles: 新闻

2023年7月14日: Stable-DINO 被 ICCV 2023 接收！
2023年4月26日: 结合 FocalNet-Huge 骨干网络，Focal-Stable-DINO 在 COCO val2017 上达到 64.6 AP，在 COCO test-dev 上达到 64.8 AP，且无需任何测试时增强！详情请查看我们的技术报告。
2023年4月12日: 在 ArXiv 上预发布我们的论文！

:bulb: 亮点

高性能。 可能是最强大的目标检测器。使用Swin-Large骨干网络（仅218M参数）在COCO数据集上达到63.8 AP。
可扩展性。 结合更大的骨干网络FocalNet-Huge（仅689M参数），Stable-DINO在COCO val2017上的性能仍能提升至64.6 AP，在COCO test-dev上达到64.8 AP，且不需要任何测试时数据增强。
易于使用。 只需在DINO基础上修改几行代码即可。
轻量级。 与DINO相比，在训练和推理过程中几乎没有额外开销。
泛化能力。 易于与现有的DETR变体结合并提升性能。

:open_book: 方法：

稳定匹配

记忆融合

:fries: 结果：

ResNet-50 骨干网络
Swin-L 骨干网络
与最先进方法的比较
Stable-MaskDINO

运行

我们的代码基于detrex实现。

安装detrex并准备数据

请按照detrex说明进行安装和数据准备。

训练脚本

我们提供了Stable DINO R50的训练示例。更多详情请参考detrex文档

CUDA_VISIBLE_DEVICES=0 \
python tools/train_net.py \
    --config-file projects/stabledino/configs/stabledino_r50_4scale_12ep.py \
    --num-gpus 1 \
    dataloader.train.total_batch_size=4 \
    train.output_dir="./output/stabledino_r50_4scale_12ep" \
    train.test_with_nms=0.80

:poultry_leg: 相关项目：

:avocado: 引用Stable-DINO

如果您在研究中使用了Stable-DINO或希望引用此处发布的基准结果，请使用以下BibTeX条目。

@misc{刘世龙2023检测,
      title={具有稳定匹配的检测变换器}, 
      author={刘世龙 and 任天赫 and 陈家宇 and 曾昭阳 and 张浩 and 李峰 and 李宏扬 and 黄俊 and 苏航 and 朱军 and 张磊},
      year={2023},
      eprint={2304.04742},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{任天赫2023强大,
      title={仅使用公开数据集的强大且可复现的物体检测器}, 
      author={任天赫 and 杨建伟 and 刘世龙 and 曾爱玲 and 李峰 and 张浩 and 李宏扬 and 曾昭阳 and 张磊},
      year={2023},
      eprint={2304.13027},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}