rknn-cpp-Multithreading

RK3588/RK3588S多线程NPU推理加速框架

RKNN YOLOv5 多线程 NPU RK3588 Github 开源项目

rknn-cpp-Multithreading项目提供了一个针对RK3588/RK3588S的多线程NPU推理加速框架。通过线程池异步操作rknn模型，显著提高了NPU使用率和推理速度。项目优化了YOLOv5s模型，采用ReLU激活函数，进一步提升了性能。提供了详细的使用说明和不同线程数下的性能测试结果，便于用户参考和应用。

访问官网

Github

介绍相关项目

ppl.cv - 跨平台图像处理库专为深度学习优化

GithubOpenCVppl.cv图像处理开源项目深度学习高性能

ppl.cv是一款轻量级可定制的图像处理框架，针对深度学习应用优化设计。支持x86、CUDA、aarch64、RISC-V和OpenCL等多个平台，实现了算术运算、色彩空间转换、直方图等常用图像算法的高性能版本。该项目追求极致性能，功能与OpenCV对齐，同时保持独立性，便于开发和部署。

LeYOLO - 可扩展高效的目标检测CNN架构

COCO数据集GithubLeYOLO开源项目目标检测神经网络计算效率

LeYOLO是一种新型目标检测模型系列，通过创新的CNN架构设计实现了计算效率与准确性的优化平衡。该模型引入高效主干网络缩放、快速金字塔架构网络和解耦网络中的网络检测头，大幅降低计算负载。在COCO验证集上，LeYOLO-Small仅使用4.5 GFLOP就达到38.2%的mAP，比YOLOv9-Tiny减少42%计算量。LeYOLO系列具有强大可扩展性，适用于从超低计算需求(<1 GFLOP)到高效高性能(>4 GFLOPs)的多种场景。

tiny-cuda-nn - 专注于快速训练和查询神经网络的开源框架

C++编程CUDAGPUGithubTiny CUDA Neural Networks开源项目深度学习

Tiny CUDA Neural Networks是一个紧凑、高效的开源框架，专注于快速训练和查询神经网络。它包含优化的多层感知器（MLP）和多分辨率哈希编码，并支持多种输入编码、损失函数和优化器。适用于NVIDIA GPU，通过C++/CUDA API和PyTorch扩展，助力高性能计算和深度学习项目。

MNN - 高效轻量的深度学习框架，支持多设备推理和训练

GithubMNN开源项目推理引擎深度学习框架轻量级高性能

MNN是一个高效轻量的深度学习框架，支持设备上的推理和训练。已被阿里巴巴30多个应用集成，覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备，支持TensorFlow、Caffe、ONNX等多种模型格式，并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench，用户可以下载预训练模型、进行可视化训练并一键部署到设备上。

mmyolo - YOLO算法与实时对象识别工具包

GithubMMYOLOOpenMMLabYOLO系列算法实例分割开源项目目标检测

MMYOLO是一个基于PyTorch和MMDetection的开源工具包，专注于YOLO系列算法，适用于对象检测和旋转对象检测任务。该项目提供统一的基准测试、详细文档和模块化设计，便于用户构建和扩展模型。支持YOLOv5实例分割和YOLOX-Pose等功能，显著提升训练速度，并在RTMDet模型上实现了先进的性能。

yolov7 - 实时目标检测算法实现性能新突破

GithubYOLOv7开源项目性能优化深度学习目标检测计算机视觉

YOLOv7是一款高效的实时目标检测算法，在MS COCO数据集上实现了51.4% AP的性能。该项目提供多种模型变体，包括YOLOv7-X和YOLOv7-W6等，适用于不同应用场景。此外，YOLOv7还具备姿态估计和实例分割功能，支持多GPU训练、迁移学习和模型导出，是一个全面的目标检测解决方案。

ffmpeg-rockchip - Rockchip平台全硬件转码管道的开源项目

FFmpegGithubMPPRGARockchip开源项目硬件转码

ffmpeg-rockchip是一个为Rockchip平台开发的开源项目，旨在提供完整的硬件转码管道。该项目利用MPP和RGA技术，实现了高达8K分辨率的视频处理能力。它支持硬件解码、编码和滤镜，包括AFBC图像格式、去隔行扫描和异步编码等功能。通过零拷贝DMA传输，项目提高了多媒体处理效率，尤其适合RK3588/3588s等设备。

TNN - 轻量级、高效能、多平台支持的开源深度学习框架

GithubTNN人工智能开源项目性能优化模型转换跨平台

TNN，腾讯优图实验室开源的神经网络推理框架，提供针对移动设备和X86/NV GPUs的高效性能优化。该框架已被QQ、微视等多款应用使用，并支持各大平台包括TensorFlow、Pytorch、MxNet。

nnom - 适用于微控制器的神经网络库

GithubMicrocontrollerNNoMNeural Network开源项目灵活性高性能

NNoM 是为微控制器设计的高层次神经网络推理库，支持如 Inception、ResNet 和 DenseNet 等复杂结构，可一键部署 Keras 模型并提供用户友好的界面。其高性能后端选择和预编译功能确保了运行时零损耗，同时提供完整的评估工具如运行时分析和混淆矩阵。最新的 v0.4.x 版本新增了循环层（RNN）支持，并切换到更适合机器处理的结构化接口。与 TensorFlow Lite 和 STM32Cube.AI 的对比显示，NNoM 在推理时间和内存占用方面表现出色。

nncase - 神经网络编译器优化AI加速器性能

AI加速器GithubK230nncase开源项目模型量化神经网络编译器

nncase是专为AI加速器设计的神经网络编译器,支持多输入输出和多分支结构。它采用静态内存分配,提供算子融合优化,支持浮点和uint8量化推理,以及基于校准数据集的后量化。nncase支持零拷贝加载平面模型,适用于K230、K510和K210等芯片。它提供丰富的操作符支持、使用指南和示例,以及完整的生态系统资源,有助于高效部署AI模型。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号