RT-DETR - 超越YOLO的实时目标检测算法领域突破

English | 简体中文

RT-DETR: DETR在实时目标检测上击败YOLO

这是以下论文的官方实现：

图示

🚀 更新

[2024.07.24] 发布RT-DETRv2!
[2024.02.27] 我们的工作已被CVPR 2024接收!
[2024.01.23] 修复了rtdetr_pytorch中与论文在数据增强上的差异 #84。
[2023.11.07] 根据请求 #107、#114 添加了pytorch ✅ rtdetr_r34vd。
[2023.11.05] 升级了remap_mscoco_category的逻辑，以便于自定义数据集的训练，详见训练自定义数据部分。#81
[2023.10.23] 添加了部署讨论，支持onnxruntime、TensorRT、openVINO。
[2023.10.12] 为pytorch版本添加了调优代码，现在你可以基于预训练权重调优rtdetr。
[2023.09.19] 上传了✅ pytorch权重，从paddle版本转换而来。
[2023.08.24] 发布了在objects365上预训练的RT-DETR-R18模型。49.2 mAP 和 217 FPS。
[2023.08.22] 上传了✅ rtdetr_pytorch 源代码。请尽情使用！
[2023.08.15] 发布了在objects365上预训练的RT-DETR-R101模型。56.2 mAP 和 74 FPS。
[2023.07.30] 发布了在objects365上预训练的RT-DETR-R50模型。55.3 mAP 和 108 FPS。
[2023.07.28] 修复了一些bug，并添加了一些注释。1, 2。
[2023.07.13] 上传了✅ coco上的训练日志。
[2023.05.17] 发布RT-DETR-R18、RT-DETR-R34、RT-DETR-R50-m（缩放示例）。
[2023.04.17] 发布RT-DETR-R50、RT-DETR-R101、RT-DETR-L、RT-DETR-X。

📍 实现

🔥 RT-DETRv2
- paddle: 代码&权重
- pytorch: 代码&权重
🔥 RT-DETR
- paddle: 代码&权重
- pytorch: 代码&权重 | 模型 | 输入尺寸 | 数据集 | $AP^{val}$ | $AP^{val}_{50}$| 参数量(M) | FLOPs(G) | T4 TensorRT FP16(FPS) |:---:|:---:| :---:|:---:|:---:|:---:|:---:|:---:| | RT-DETR-R18 | 640 | COCO | 46.5 | 63.8 | 20 | 60 | 217 | | RT-DETR-R34 | 640 | COCO | 48.9 | 66.8 | 31 | 92 | 161 | | RT-DETR-R50-m | 640 | COCO | 51.3 | 69.6 | 36 | 100 | 145 | | RT-DETR-R50 | 640 | COCO | 53.1 | 71.3 | 42 | 136 | 108 | | RT-DETR-R101 | 640 | COCO | 54.3 | 72.7 | 76 | 259 | 74 | | RT-DETR-HGNetv2-L | 640 | COCO | 53.0 | 71.6 | 32 | 110 | 114 | | RT-DETR-HGNetv2-X | 640 | COCO | 54.8 | 73.1 | 67 | 234 | 74 | | RT-DETR-R18 | 640 | COCO + Objects365 | 49.2 | 66.6 | 20 | 60 | 217 | | RT-DETR-R50 | 640 | COCO + Objects365 | 55.3 | 73.4 | 42 | 136 | 108 | | RT-DETR-R101 | 640 | COCO + Objects365 | 56.2 | 74.6 | 76 | 259 | 74 | RT-DETRv2-S | 640 | COCO | 47.9 (+1.4) | 64.9 | 20 | 60 | 217 | RT-DETRv2-M | 640 | COCO | 49.9 (+1.0) | 67.5 | 31 | 92 | 161 | RT-DETRv2-M^{*^{| 640 | COCO | 51.9 (+0.6) | 69.9 | 36 | 100 | 145 |
  RT-DETRv2-L | 640 | COCO | 53.4 (+0.3) | 71.6 | 42 | 136 | 108 |
  RT-DETRv2-X | 640 | COCO | 54.3 | 72.8 (+0.1) | 76 | 259| 74 |}}

注意：

表中的"COCO + Objects365"表示使用在Objects365上预训练的权重在COCO上进行微调的模型。

🦄 性能表现

🏕️ 复杂场景

🌋 困难条件

引用

如果您在工作中使用了RT-DETR或RTDETRv2，请使用以下BibTeX条目进行引用：

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Yian Zhao and Wenyu Lv and Shangliang Xu and Jinman Wei and Guanzhong Wang and Qingqing Dang and Yi Liu and Jie Chen},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

@misc{lv2024rtdetrv2improvedbaselinebagoffreebies,
      title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer}, 
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.17140}, 
}