Project Icon

tiny-tensorrt

简洁易用的nvidia TensorRT封装库,支持通过C++和Python API快速部署Onnx模型

tiny-tensorrt是一个简洁易用的nvidia TensorRT封装库,支持通过C++和Python API快速部署Onnx模型。依赖CUDA、CUDNN和TensorRT,兼容多个版本。项目已停止维护,建议使用TensorRT的Python API或trtexec/polygraphy工具。更多信息请参考项目Wiki。

tch-rs - Rust语言的PyTorch C++ API接口
GithubPyTorchRustlibtorchnn::Moduletch-rs开源项目
tch-rs是Rust语言对PyTorch C++ API的绑定,通过简洁的封装实现高效的深度学习模型训练和推理。支持系统全局libtorch安装、手动安装和Python PyTorch安装,兼容CUDA并支持静态链接。提供详细的安装说明和丰富的示例代码,包括基础张量操作、梯度下降训练、神经网络构建和迁移学习等,适合不同水平的开发者。
edgeyolo - 优化边缘设备性能的模型,支持ONNX和TensorRT导出
COCO2017EdgeYOLOGithubHuawei AscendNvidia Jetson AGX XavierTensorRT开源项目
EdgeYOLO为边缘设备优化,在Nvidia Jetson AGX Xavier上达34FPS,并通过RH loss提升小型和中型物体检测。支持COCO2017和VisDrone2019数据集,提供多种模型格式和部署代码,包括RKNN、MNN和TensorRT。项目定期更新,并集成了SAMLabeler Pro工具,支持多人远程标注。可快速上手和训练,适配不同设备和应用场景。
nanoT5 - 轻量高效的T5模型训练框架
GithubPyTorchT5模型nanoT5开源项目自然语言处理预训练
nanoT5是一个开源项目,旨在提供高效训练T5模型的方案。该项目在单GPU上仅用16小时就能达到与原始T5模型相当的性能,显著降低了训练成本。nanoT5优化了数据预处理、优化器选择等训练流程,为NLP研究人员提供了易用的研究模板。作为首个PyTorch实现的T5预训练框架,nanoT5为计算资源有限的研究者提供了宝贵工具。
FasterTransformer - 基于NVIDIA平台的高性能Transformer编解码器实现与调优
BERTFasterTransformerGPTGithubNVIDIATensorRT-LLM开源项目
FasterTransformer不仅支持多框架集成,还针对NVIDIA新一代GPU优化了编解码性能,极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档,有助于用户深入了解并有效使用FasterTransformer。
model-optimization - TensorFlow 模型优化工具包, 支持量化和稀疏化
GithubKerasTensorFlow Model Optimization Toolkit剪枝开源项目机器学习模型量化
TensorFlow Model Optimization Toolkit 提供稳定的 Python API,帮助用户通过量化和稀疏化技术优化机器学习模型,包括针对 Keras 的专用 API。该工具包还提供详细的安装指南、教程和 API 文档,显著提升模型在部署和执行时的性能。该项目由 TensorFlow 团队维护,并遵循其行为准则,开发者可以通过 GitHub 提交问题和贡献代码。
TensorLayer - 高性能且灵活的深度学习和强化学习工具库
GithubTensorFlowTensorLayer开源软件开源项目强化学习深度学习
TensorLayer 是一个基于 TensorFlow 的深度学习和强化学习库,为研究人员和工程师提供多种可定制的神经网络层,简化复杂 AI 模型的构建。它设计独特,结合了高性能与灵活性,支持多种后端和硬件,并提供丰富的教程和应用实例。广泛应用于全球知名大学和企业,如谷歌、微软、阿里巴巴等。
uTensor - 基于TensorFlow,专为Arm设备优化的轻量级机器学习推理框架
ArmGithubTensorFlowuTensor嵌入式系统开源项目机器学习
uTensor是一个基于TensorFlow,专为Arm设备优化的轻量级机器学习推理框架。其核心运行时库仅有约2KB大小,提供模块化架构、低功耗执行、便捷调试和高效错误处理等功能。通过重构代码和工具,uTensor提升了模型修改和扩展的易用性,并支持高性能操作符和内存管理方案,确保系统运行的安全性和可靠性。
espnet_onnx - 轻量级语音识别和合成库 基于ONNX格式优化
GithubONNXespnet_onnx开源项目模型导出语音合成语音识别
espnet_onnx是一个将ESPnet模型导出为ONNX格式的实用库,支持语音识别和语音合成任务。该库提供简洁的API接口,便于模型导出和推理。通过ONNX Runtime实现高效的CPU和GPU计算,并支持流式语音识别。用户可从预训练或自定义模型中轻松导出,并进行优化和量化以提升性能。无需PyTorch依赖,适合轻量级部署。
tensor - 实现轻量级1D张量库 模仿PyTorch和NumPy功能
C语言GithubPython模块Tensor内存管理开源项目数据切片
该项目用C语言实现了一个简单的1D浮点张量库,功能类似PyTorch的Tensor和NumPy的ndarray。库支持高效切片操作,并提供Python接口。通过展示张量对象如何管理Storage和View来实现高效内存利用,帮助开发者理解底层张量操作原理。项目还演示了如何将C代码封装为Python模块,并使用pytest进行测试。
server - 开源AI推理服务,兼容多种深度学习和机器学习框架
AI推理GithubNVIDIA AI EnterpriseTriton Inference Server开源项目模型优化深度学习框架
Triton Inference Server是一款开源推理服务软件,支持TensorRT、TensorFlow、PyTorch等多种深度学习和机器学习框架。它优化了云端、数据中心、边缘和嵌入式设备的推理性能,适用于NVIDIA GPU、x86和ARM CPU,以及AWS Inferentia。主要功能包括动态批处理、模型流水线、HTTP/REST和gRPC协议支持等。通过Triton,用户可以轻松部署和优化AI模型,提升推理效率。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号