Project Icon

rknn-cpp-Multithreading

RK3588/RK3588S多线程NPU推理加速框架

rknn-cpp-Multithreading项目提供了一个针对RK3588/RK3588S的多线程NPU推理加速框架。通过线程池异步操作rknn模型,显著提高了NPU使用率和推理速度。项目优化了YOLOv5s模型,采用ReLU激活函数,进一步提升了性能。提供了详细的使用说明和不同线程数下的性能测试结果,便于用户参考和应用。

raft - 可复用CUDA函数库加速向量搜索与机器学习
CUDAGPU加速GithubRAFT向量搜索开源项目机器学习
RAFT是一个CUDA加速的C++头文件库,为机器学习和信息检索提供基础算法和原语。它实现了先进的向量相似度搜索方法,包括暴力搜索、IVF-Flat、IVF-PQ和CAGRA。RAFT还提供可重用原语,用于构建涵盖数据生成、模型评估、分类回归、聚类等领域的机器学习算法。通过跨项目复用和集中核心计算,RAFT加速了算法开发,并使未来优化能广泛应用于各种算法。
FasterLivePortrait - 高效实时AI人像动画生成框架
AI换脸FasterLivePortraitGithubONNXTensorRT实时渲染开源项目
FasterLivePortrait是一个高效的实时AI人像动画生成框架。基于TensorRT优化,在RTX 3090 GPU上可实现30+ FPS的速度。支持ONNX模型转换,便于跨平台部署。主要特性包括原生gradio应用支持、多人脸同时推理和动物模型。项目提供Docker环境,支持Windows一键运行,并兼容macOS系统。该框架为开发者提供了灵活高效的实时人像动画生成功能。
yoloair2 - 多模型集成的YOLO目标检测工具库
GithubPyTorchYOLOAir2YOLO系列开源项目模型改进目标检测
YOLOAir2是一个基于PyTorch的YOLO系列算法工具库,集成了YOLOv7、YOLOv5等多种YOLO变体。它统一了模型代码框架和应用方式,支持用户自由组合backbone、neck和head模块,以构建定制化的目标检测网络。除目标检测外,该项目还整合了实例分割、图像分类等相关任务,为计算机视觉研究提供了便利的实验平台。
yolov8-face - YOLOv8优化的实时人脸检测与关键点定位框架
GithubYOLOv8人脸检测开源项目深度学习目标检测计算机视觉
yolov8-face项目基于YOLOv8架构,专注于人脸检测和关键点定位。该项目提供多个模型版本,涵盖轻量级到高精度的不同需求,适用于各种应用场景。支持Android和OpenCV等多平台部署,具备高精度和实时性能。新增的yolov8-lite系列进一步优化了模型大小和计算效率,使其更适合移动设备和嵌入式系统应用。
sparseml - 神经网络优化工具,简化代码实现高效稀疏模型
GithubSparseML开源项目推理优化模型优化神经网络稀疏化
SparseML是开源模型压缩工具包,使用剪枝、量化和蒸馏算法优化推理稀疏模型。可导出到ONNX,并与DeepSparse结合,在CPU上实现GPU级性能。适用于稀疏迁移学习和从零开始的稀疏化,兼容主流NLP和CV模型,如BERT、YOLOv5和ResNet-50,实现推理速度和模型大小的显著优化。
caffe - 一个用于深度学习的快速开放框架
BAIRBVLCCaffeGithub开源项目模型动物园深度学习框架
Caffe是由伯克利AI研究中心和社区贡献者开发的深度学习框架,强调高效表达、速度和模块化。用户可以通过项目网站获取详细信息,包括DIY深度学习教程、文档、参考模型和社区模型库。Caffe提供多种自定义版本,例如优化CPU和多节点支持的Intel Caffe、适用于AMD和Intel设备的OpenCL Caffe,以及Windows Caffe。社区用户可通过Gitter聊天和Google论坛进行交流,提交问题和建议。项目遵循BSD 2-Clause许可证,鼓励在研究中引用。
nvshare - 多进程安全共享GPU的开源解决方案
CUDAGPU共享GithubKubernetesnvshare内存管理开源项目
nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。
TensorRT - 提升PyTorch推理效率的工具
CUDAGithubPyTorchTensorRTTorch-TensorRT安装开源项目
Torch-TensorRT将TensorRT的强大功能引入PyTorch,用户仅需一行代码即可显著提升推理性能。该工具支持在多个平台上安装,包括PyPI和NVIDIA NGC PyTorch容器。通过torch.compile或导出式工作流,用户可以高效优化和部署模型。Torch-TensorRT依赖CUDA和TensorRT,与Linux和Windows等多种平台兼容。提供丰富资源,包括教程、工具和技术讲座,供用户学习使用。
ppl.llm.serving - 基于ppl.nn的大型语言模型服务框架
CUDAGithubPPL LLM ServinggRPC大型语言模型开源项目推理服务
ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。
ffcv-imagenet - 高效ImageNet训练框架提升模型性能
GithubImageNetPyTorchResNetffcv开源项目深度学习
ffcv-imagenet是一个高效的ImageNet训练框架,采用单文件PyTorch脚本实现。该项目能在标准方法1/10的时间内达到相同精度,支持多GPU并行和多模型同时训练。框架提供丰富的配置选项,结合FFCV数据加载和优化训练流程,使研究人员能更快迭代实验并获得高质量模型。项目还包含多种预设配置,适用于不同的训练需求和硬件环境。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号