rknn-cpp-Multithreading: 在RK3588上实现高性能YOLOv5推理
随着边缘计算和人工智能的快速发展,如何在嵌入式设备上高效运行深度学习模型成为一个重要课题。近日,GitHub 上的 rknn-cpp-Multithreading 项目为我们展示了一种在 RK3588/RK3588s 芯片上运行 YOLOv5s 模型的高效方案。该项目通过多线程优化,成功将 YOLOv5s 的推理速度提升至约 142 FPS,展现了令人印象深刻的性能。让我们一起来深入了解这个项目的特点和实现细节。
项目概述
rknn-cpp-Multithreading 是一个基于 C++ 实现的 YOLOv5s 推理框架,专门针对搭载 RK3588/RK3588s 芯片的设备进行了优化。该项目的主要特点包括:
- 使用 C++ 实现,相比 Python 版本具有更高的执行效率
- 采用线程池技术,通过异步操作 RKNN 模型提高 NPU 利用率
- 使用 ReLU 激活函数对 YOLOv5s 模型进行优化,进一步提升推理速度
技术实现
项目的核心技术实现包括以下几个方面:
-
多线程优化: 项目使用了 dpool 线程池库来实现异步操作 RKNN 模型。这种方式可以充分利用 RK3588/RK3588s 的多核 NPU,显著提高推理吞吐量。
-
模型优化: 项目采用了 ReLU 版本的 YOLOv5s 模型,相比原始使用 SiLU 激活函数的版本,ReLU 版本在 RK3588 上有更好的性能表现。
-
RKNN SDK 集成: 项目基于 Rockchip 官方的 RKNPU2 SDK 进行开发,充分利用了 RK3588 的硬件加速能力。
-
性能调优: 项目提供了
performance.sh脚本,可以对 CPU 和 NPU 进行频率锁定,以获得稳定且最佳的性能表现。
使用方法
要使用 rknn-cpp-Multithreading 项目,需要按照以下步骤操作:
- 确保系统已安装 OpenCV 库
- 下载项目提供的测试视频,放置于项目根目录
- 运行
build-linux_RK3588.sh脚本进行编译 - 可选步骤:切换到 root 用户并运行
performance.sh脚本进行性能优化 - 编译完成后,进入 install 目录,运行以下命令:
./rknn_yolov5_demo <模型路径> <视频路径/摄像头序号>
性能测试结果
项目作者进行了详细的性能测试,以下是在不同线程数下 YOLOv5s-ReLU 模型的推理速度(FPS):
| 线程数 | 1 | 2 | 3 | 4 | 5 | 6 | 9 | 12 |
|---|---|---|---|---|---|---|---|---|
| FPS | 41.6 | 71.6 | 98.6 | 98.0 | 104.6 | 114.7 | 129.6 | 140.9 |
从测试结果可以看出,随着线程数的增加,推理速度呈现显著上升趋势。在使用 12 个线程时,系统达到了惊人的 140.9 FPS,充分展现了 RK3588 强大的并行计算能力。
项目展望
尽管 rknn-cpp-Multithreading 项目已经展现了卓越的性能,但作者表示该项目仍有进一步优化的空间:
- 异常处理完善: 目前项目的异常处理机制还不够健全,未来将加强这方面的开发。
- 扩展设备支持: 现阶段项目仅支持 RK3588/RK3588s 平台,未来可能会考虑扩展到其他 Rockchip 芯片。
- 多模型支持: 目前项目主要针对 YOLOv5s 进行了优化,未来可能会加入对其他常用目标检测模型的支持。
总结
rknn-cpp-Multithreading 项目为我们展示了如何在嵌入式设备上实现高性能的深度学习推理。通过多线程优化、模型改进和硬件加速,该项目成功将 YOLOv5s 的推理速度提升至接近实时处理的水平。这不仅为类似项目的开发提供了宝贵的参考,也为边缘 AI 应用的落地提供了新的可能性。
无论您是嵌入式开发者、AI 工程师还是对边缘计算感兴趣的爱好者,rknn-cpp-Multithreading 项目都值得深入研究和借鉴。我们期待看到更多基于这一框架的创新应用,推动边缘 AI 技术的进一步发展。
参考链接
通过本文的介绍,相信读者已经对 rknn-cpp-Multithreading 项目有了全面的了解。该项目不仅展示了优秀的技术实现,也为嵌入式 AI 应用的开发提供了有价值的参考。我们期待看到更多开发者能够从中获得启发,推动边缘 AI 技术的进步与创新。
