DAMO-YOLO简介
DAMO-YOLO是由阿里巴巴达摩院智能计算实验室TinyML团队开发的一种快速而准确的目标检测方法。它在YOLO系列的基础上引入了多项创新技术,包括神经架构搜索(NAS)骨干网络、高效的RepGFPN、ZeroHead、AlignedOTA标签分配以及蒸馏增强等,从而在保持高速度的同时实现了优于现有YOLO系列方法的检测精度。
核心技术
DAMO-YOLO的主要创新点包括:
-
NAS骨干网络: 使用MAE-NAS方法在低延迟和高性能的约束下搜索检测骨干网络,生成具有空间金字塔池化和focus模块的ResNet/CSP类结构。
-
高效RepGFPN: 引入Generalized-FPN并使用加速的queen-fusion构建检测器颈部,同时使用ELAN和重参数化升级其CSPNet。
-
轻量级检测头: 研究发现重颈部搭配单任务投影层的轻量级检测头可以获得更好的性能。
-
AlignedOTA标签分配: 提出AlignedOTA解决标签分配中的错位问题。
-
蒸馏增强: 引入蒸馏方案进一步提升性能。
通过这些创新技术的结合,DAMO-YOLO在速度和精度上都取得了显著提升。
性能表现
DAMO-YOLO提供了多个不同规模的模型以满足不同场景需求:
通用模型
| 模型 | 尺寸 | mAP | 延迟(ms) | FLOPs(G) | 参数量(M) |
|---|---|---|---|---|---|
| DAMO-YOLO-T* | 640 | 43.6 | 2.78 | 18.1 | 8.5 |
| DAMO-YOLO-S* | 640 | 47.7 | 3.83 | 37.8 | 16.3 |
| DAMO-YOLO-M* | 640 | 50.2 | 5.62 | 61.8 | 28.2 |
| DAMO-YOLO-L* | 640 | 51.9 | 7.95 | 97.3 | 42.1 |
轻量级模型
| 模型 | 尺寸 | mAP | 延迟(ms) | FLOPs(G) | 参数量(M) |
|---|---|---|---|---|---|
| DAMO-YOLO-Ns | 416 | 32.3 | 4.08 | 1.56 | 1.41 |
| DAMO-YOLO-Nm | 416 | 38.2 | 5.05 | 3.69 | 2.71 |
| DAMO-YOLO-Nl | 416 | 40.5 | 6.69 | 6.04 | 5.69 |
从表中可以看出,DAMO-YOLO系列模型在各个尺度上都实现了优秀的精度和速度平衡。例如DAMO-YOLO-S*在3.83ms的延迟下就达到了47.7的mAP,显著优于同等规模的YOLO模型。
应用场景
DAMO-YOLO不仅提供了通用目标检测模型,还针对多个实际应用场景提供了专门的检测模型:
这些专用模型经过针对性优化,可以在特定场景中发挥更好的性能。
快速上手
要开始使用DAMO-YOLO,您可以按照以下步骤操作:
- 安装DAMO-YOLO:
git clone https://github.com/tinyvision/damo-yolo.git
cd DAMO-YOLO/
conda create -n DAMO-YOLO python=3.7 -y
conda activate DAMO-YOLO
pip install -r requirements.txt
export PYTHONPATH=$PWD:$PYTHONPATH
-
下载预训练模型,如
damoyolo_tinynasL25_S.pth -
使用以下命令进行推理:
python tools/demo.py image -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.pth --conf 0.6 --infer_size 640 640 --device cuda --path ./assets/dog.jpg
更多详细使用说明,请参考DAMO-YOLO GitHub仓库。
结语
DAMO-YOLO作为一种新型的目标检测框架,通过多项创新技术的结合,在速度和精度上都取得了显著提升。无论是在通用场景还是特定应用中,DAMO-YOLO都展现出了优秀的性能。随着持续的更新和优化,相信DAMO-YOLO将为计算机视觉领域带来更多可能性。🚀🔍
如果您对DAMO-YOLO感兴趣,欢迎访问项目GitHub仓库了解更多信息,或者在ModelScope上尝试在线demo。让我们一起探索DAMO-YOLO的无限潜力吧! 🌟
