Logo
Project Icon

YOLOv8-TensorRT

通过TensorRT加速YOLOv8模型，提供在CUDA环境下的快速部署和推理解决方案

YOLOv8TensorRTCUDAONNXPyTorchGithub开源项目

本项目通过TensorRT加速YOLOv8模型，提供在CUDA环境下的快速部署和高效推理解决方案。包括环境准备、模型导出、引擎构建和多种推理方法，支持Python和C++语言。特性涵盖ONNX模型导出、端到端引擎构建和模型推理，适用于图像和视频的不同输入源。支持Jetson设备，并附有详细的文档和脚本，便于操作，提升深度学习应用性能。

访问官网访问官网GithubGithub
介绍相关项目
YOLO-Patch-Based-Inference - 补丁式推理优化小物体检测和实例分割
GithubYOLO实例分割开源项目深度学习目标检测计算机视觉
这个Python库实现了基于补丁的推理方法,用于改进小物体检测和实例分割。它支持多种Ultralytics模型,包括YOLOv8/v9/v10、FastSAM和RTDETR,可用于对象检测和实例分割任务。库提供了推理结果可视化功能,并通过优化的补丁处理和结果合并提高了小物体检测准确性。项目还包含交互式笔记本和教程,方便用户学习和使用。
LeYOLO - 可扩展高效的目标检测CNN架构
COCO数据集GithubLeYOLO开源项目目标检测神经网络计算效率
LeYOLO是一种新型目标检测模型系列，通过创新的CNN架构设计实现了计算效率与准确性的优化平衡。该模型引入高效主干网络缩放、快速金字塔架构网络和解耦网络中的网络检测头，大幅降低计算负载。在COCO验证集上，LeYOLO-Small仅使用4.5 GFLOP就达到38.2%的mAP，比YOLOv9-Tiny减少42%计算量。LeYOLO系列具有强大可扩展性，适用于从超低计算需求(<1 GFLOP)到高效高性能(>4 GFLOPs)的多种场景。
TensorRT-LLM - NVIDIA开发的大型语言模型推理优化工具
AI推理GPU加速GithubNVIDIATensorRT-LLM大语言模型开源项目
TensorRT-LLM是一个用于优化大型语言模型推理的开源工具。它提供Python API来定义模型和构建TensorRT引擎，支持多GPU和多节点部署。该工具集成了多种量化技术，如INT4/INT8权重量化和SmoothQuant，以提升性能和降低内存占用。TensorRT-LLM预置了多个常用模型，可根据需求进行修改和扩展。
ComfyUI_TensorRT - 利用TensorRT优化稳定扩散模型在NVIDIA RTX显卡上的性能
AI模型优化ComfyUIGithubNVIDIA GPUTensorRT开源项目稳定扩散
ComfyUI_TensorRT项目为ComfyUI提供了TensorRT节点，旨在优化NVIDIA RTX显卡上稳定扩散模型的性能。该项目支持多个版本的稳定扩散模型，包括SDXL、SVD和AuraFlow等。通过生成GPU专用的TensorRT引擎，实现了模型运行效率的显著提升。项目支持动态和静态引擎构建，适应不同的分辨率和批量大小需求。此外，项目还提供了详细的安装和使用指南，便于用户在ComfyUI中集成和应用。
yolov10m - 高效的实时目标检测系统
COCO数据集GithubHuggingfacePyTorchYOLOv10开源项目模型目标检测计算机视觉
YOLOv10m是一个开源的目标检测项目，利用PyTorch模型和COCO数据集实现高效的计算机视觉解决方案。用户可以方便地进行训练、验证，并将模型上传至库，非常适合多种技术水平的使用者进行实时目标检测应用。
darknet - 开源实时目标检测框架及YOLO算法
DarknetGithubYOLO开源项目目标检测神经网络计算机视觉
Darknet是一个开源神经网络框架,为YOLO实时目标检测系统提供基础。最新的YOLOv7算法在5-160 FPS范围内性能优异,超越了同类检测器。项目支持Linux和Windows平台,提供预训练模型、详细构建指南和命令行操作接口,方便用户进行目标检测、模型训练等任务。
rknn-cpp-Multithreading - RK3588/RK3588S多线程NPU推理加速框架
GithubNPURK3588RKNNYOLOv5多线程开源项目
rknn-cpp-Multithreading项目提供了一个针对RK3588/RK3588S的多线程NPU推理加速框架。通过线程池异步操作rknn模型，显著提高了NPU使用率和推理速度。项目优化了YOLOv5s模型，采用ReLU激活函数，进一步提升了性能。提供了详细的使用说明和不同线程数下的性能测试结果，便于用户参考和应用。
DeepLearningExamples - 优化深度学习训练和部署的最佳实践
CUDA-XDeep LearningGithubNGCNVIDIATensor Cores开源项目
提供最新的深度学习示例，使用NVIDIA CUDA-X软件栈在Volta、Turing和Ampere GPU上运行，确保最佳的可重复精度和性能。示例通过NGC容器注册表每月更新，包含最新的NVIDIA贡献和深度学习软件库，支持计算机视觉、自然语言处理、推荐系统、语音识别、文本到语音转换、图神经网络和时间序列预测模型。
Stable-Diffusion-WebUI-TensorRT - TensorRT优化Stable Diffusion在NVIDIA RTX GPU上的性能
AI绘图GithubNVIDIA GPUStable DiffusionTensorRT开源项目性能优化
这个扩展通过TensorRT优化引擎，显著提升了Stable Diffusion在NVIDIA RTX GPU上的性能。它兼容SD 1.5、2.1、SDXL和SDXL Turbo等多个版本。扩展提供了简便的默认引擎生成和快速启用功能，同时支持LoRA转换与应用。为满足不同需求，扩展提供多种引擎类型，可适应各种分辨率和批量大小。高级用户还可进行个性化设置，灵活调整性能参数。
YOLOMagic - 增强YOLOv5视觉任务框架功能与用户体验
GithubYOLOv5图像推理开源项目注意力机制网络模块视觉任务
YOLO Magic🚀 是一个基于YOLOv5的扩展项目，为视觉任务提供更强大的功能和简化的操作。该项目引入了多种网络模块，如空间金字塔模块、特征融合结构和新型骨干网络，并支持多种注意力机制。通过直观的网页界面，无需复杂的命令行操作即可轻松进行图像和视频推理。无论是初学者还是专业人员，YOLO Magic🚀都能提供出色的性能、强大的定制能力和广泛的社区支持。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号