onnx-tensorrt

ONNX 的 TensorRT 后端

TensorRT ONNX Protobuf CUDA InstanceNormalization Github 开源项目

本项目实现对ONNX模型的高效解析，支持在最新TensorRT 10.2版本上运行。还覆盖了多个ONNX操作符，提供详细的安装和构建指南。项目中包含C++和Python的使用示例，方便用户集成和运行ONNX模型。常见问题解答和变更日志有助于解决使用中的问题。

OnnxStream - 适用于低资源设备的模型运行的内存优化的推理库

GithubMistral 7BOnnxStreamStable Diffusion XLTinyLlama开源项目性能

OnnxStream专为优化内存使用而设计，支持在低资源设备上高效运行大型模型如Stable Diffusion和TinyLlama。在仅有512MB RAM的Raspberry Pi Zero 2上，实现图像生成和语言模型推理，而无需额外交换空间或磁盘写入。通过解耦推理引擎与模型权重组件，OnnxStream显著降低内存消耗，提供轻量且高效的推理解决方案。其静态量化和注意力切片技术增强了多种应用中的适应性和性能。

tract - 神经网络推理工具，支持多种格式与优化

GithubNNEFONNXTensorFlowtract开源项目神经网络推理

`tract`是一款神经网络推理工具，支持读取和优化ONNX与NNEF格式。它提供多种神经网络模型的支持，并附有详尽的技术文档和应用实例，适用于移动设备和微控制器等多种应用场景。

PyTorch_Tutorial - PyTorch深度学习实践教程

GithubPyTorch代码实践开源项目教程模型训练深度学习

PyTorch_Tutorial是一个综合性深度学习教程项目，专注于PyTorch框架的应用。教程涵盖基础到高级的模型训练技巧，提供计算机视觉、自然语言处理和大型语言模型等领域的实践案例。内容还包括ONNX和TensorRT等推理部署框架的使用指南，展示了从模型开发到部署的完整流程。项目定期更新，配有环境配置说明，适合深度学习研究者和实践者参考学习。

Stable-Diffusion-WebUI-TensorRT - TensorRT优化Stable Diffusion在NVIDIA RTX GPU上的性能

AI绘图GithubNVIDIA GPUStable DiffusionTensorRT开源项目性能优化

这个扩展通过TensorRT优化引擎，显著提升了Stable Diffusion在NVIDIA RTX GPU上的性能。它兼容SD 1.5、2.1、SDXL和SDXL Turbo等多个版本。扩展提供了简便的默认引擎生成和快速启用功能，同时支持LoRA转换与应用。为满足不同需求，扩展提供多种引擎类型，可适应各种分辨率和批量大小。高级用户还可进行个性化设置，灵活调整性能参数。

server - 开源AI推理服务，兼容多种深度学习和机器学习框架

AI推理GithubNVIDIA AI EnterpriseTriton Inference Server开源项目模型优化深度学习框架

Triton Inference Server是一款开源推理服务软件，支持TensorRT、TensorFlow、PyTorch等多种深度学习和机器学习框架。它优化了云端、数据中心、边缘和嵌入式设备的推理性能，适用于NVIDIA GPU、x86和ARM CPU，以及AWS Inferentia。主要功能包括动态批处理、模型流水线、HTTP/REST和gRPC协议支持等。通过Triton，用户可以轻松部署和优化AI模型，提升推理效率。

netron - 多格式神经网络和机器学习模型查看器

GithubNetron开源项目机器学习模型查看器深度学习神经网络

支持多种格式的神经网络、深度学习和机器学习模型查看，包括ONNX、TensorFlow Lite、Core ML、Keras和Caffe等，实验性支持PyTorch、TorchScript等。适用于macOS、Linux、Windows和浏览器版本，提供简单的安装和启动方式，方便不同操作系统用户使用。

distilbert-onnx - DistilBERT模型在SQuAD问答任务上的ONNX转换优化

DistilBERTGithubHuggingfaceONNX转换开源项目模型知识蒸馏自然语言处理问答系统

本项目提供了distilbert-base-cased-distilled-squad模型的ONNX转换版本。该模型基于DistilBERT-base-cased，经过第二轮知识蒸馏在SQuAD v1.1数据集上微调。在开发集上，模型达到87.1的F1分数，接近BERT bert-base-cased版本的88.7。这一ONNX实现为问答任务提供了轻量高效的解决方案。

bge-reranker-base - 增强Transformers.js与ONNX的兼容性，以助力Web模型快速部署

GithubHuggingfaceONNXTransformers.jsWebMLbase_model开源项目模型模型转换

此项目通过兼容ONNX权重与Transformers.js，支持WebML技术发展。用户可将模型转换为ONNX格式，以满足网页应用需求。本页面提供指南，协助开发者将模型转为ONNX并在Web环境中应用。更多详情可参考🤗 Optimum项目，获取详细优化支持与结构建议。

Phi-3-mini-128k-instruct-onnx-tf - 多平台高性能运行的指令微调大语言模型优化版本

AI模型GithubHuggingfaceONNXONNXRuntimePhi-3开源项目模型模型优化

该项目提供Phi-3-mini-128k-instruct模型的ONNX优化版本,支持多种设备和平台高性能推理。模型适配CPU、GPU和移动设备,提供不同精度版本。经指令微调和安全优化,推理能力出色。项目配备ONNX Runtime Generate API,便于开发集成。与PyTorch相比,ONNX版本性能全面提升,FP16 CUDA版本最高提速5倍,INT4 CUDA版本最高提速9倍。

yolort - 简易高效的YOLOv5目标检测工具

GithubONNXTensorRTYOLOv5yolort对象检测开源项目

yolort项目致力于简化和优化YOLOv5的训练与推理。采用动态形状机制，结合预处理和后处理，支持LibTorch、ONNX Runtime、TVM、TensorRT等多种后端的轻松部署。项目遵循简洁设计理念，安装与使用便捷，支持通过PyPI和源码安装。提供丰富的推理接口示例和详细文档，使目标检测更为轻松，适用于广泛的应用场景。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com