NanoDet-Plus:超快速轻量级无锚点目标检测模型
NanoDet-Plus是一个超快速、高精度的轻量级无锚点目标检测模型,由RangiLyu开发并开源。它在保持高检测精度的同时,具有极小的模型体积和极快的推理速度,可以在移动设备上实现实时目标检测。
主要特点
NanoDet-Plus具有以下突出特点:
- 超轻量级:模型文件仅980KB(INT8)或1.8MB(FP16)
- 超快速:在移动ARM CPU上可达97FPS(10.23ms)
- 高精度:在COCO数据集上可达34.3 mAP@0.5:0.95,同时保持实时性能
- 训练友好:相比其他模型GPU显存占用更少,GTX1060 6G可支持batch size=80
- 易于部署:支持ncnn、MNN、OpenVINO等多种后端,提供基于ncnn的Android demo
技术原理
NanoDet是一种FCOS风格的单阶段无锚点目标检测模型,使用广义焦点损失(Generalized Focal Loss)作为分类和回归损失。
在NanoDet-Plus中,作者提出了一种新的标签分配策略,包含一个简单的分配指导模块(AGM)和一个动态软标签分配器(DSLA),用于解决轻量级模型训练中的最优标签分配问题。此外还引入了一种轻量级特征金字塔Ghost-PAN来增强多层特征融合。这些改进使NanoDet的检测精度在COCO数据集上提高了7个mAP。
性能对比
下表对比了NanoDet-Plus与其他目标检测模型在COCO数据集上的性能:
| 模型 | 分辨率 | mAP | CPU延迟 | ARM延迟 | FLOPS | 参数量 | 模型大小 |
|---|---|---|---|---|---|---|---|
| NanoDet-Plus-m | 320*320 | 27.0 | 5.25ms | 11.97ms | 0.9G | 1.17M | 2.3MB(FP16) / 1.2MB(INT8) |
| NanoDet-Plus-m | 416*416 | 30.4 | 8.32ms | 19.77ms | 1.52G | 1.17M | 2.3MB(FP16) / 1.2MB(INT8) |
| YOLOv4-Tiny | 416*416 | 21.7 | - | 32.81ms | 6.96G | 6.06M | 23.0MB |
| YOLOX-Nano | 416*416 | 25.8 | - | 23.08ms | 1.08G | 0.91M | 1.8MB(FP16) |
可以看到,NanoDet-Plus在保持较高精度的同时,具有更小的模型体积和更快的推理速度。
部署示例
NanoDet提供了多种部署方式的示例:
- Android demo
Android demo项目位于demo_android_ncnn文件夹中。
- NCNN C++示例
基于ncnn的C++示例位于demo_ncnn文件夹中。
- MNN示例
使用阿里巴巴MNN框架的推理示例位于demo_mnn文件夹中。
- OpenVINO示例
使用Intel OpenVINO的推理示例位于demo_openvino文件夹中。
- Web浏览器示例
可以在这里体验基于WebAssembly的在线demo。
- PyTorch示例
项目还提供了基于PyTorch的推理示例,可以用于快速验证模型效果。
如何使用
- 安装依赖
NanoDet需要以下环境:
- Linux或MacOS
- CUDA >= 10.2
- Python >= 3.7
- PyTorch >= 1.10.0, <2.0.0
- 克隆代码并安装
git clone https://github.com/RangiLyu/nanodet.git
cd nanodet
pip install -r requirements.txt
- 准备数据集
NanoDet支持COCO、Pascal VOC和YOLO格式的数据集。
- 修改配置文件
在config文件夹中复制并修改示例配置文件,设置数据路径、模型参数等。
- 开始训练
python tools/train.py CONFIG_FILE_PATH
- 导出模型并部署
训练完成后,可以将模型导出为ONNX格式,然后转换为各种推理框架支持的格式进行部署。
总结
NanoDet-Plus作为一个超快速、高精度的轻量级目标检测模型,在移动端和嵌入式设备上具有广阔的应用前景。它的开源不仅为研究人员提供了宝贵的学习资源,也为工业界提供了一个实用的目标检测解决方案。未来,随着移动设备算力的不断提升,相信会有更多基于NanoDet的创新应用出现。
如果您的项目中使用了NanoDet,不要忘记引用原作者的工作:
@misc{nanodet,
title={NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model.},
author={RangiLyu},
howpublished = {\url{https://github.com/RangiLyu/nanodet}},
year={2021}
}
NanoDet的成功离不开开源社区的贡献,在此也要感谢ncnn、mmdetection等优秀的开源项目为NanoDet的开发提供了重要支持。
