Logo
Project Icon

ort

使用Rust实现的高性能ONNX Runtime包装器

ONNX RuntimeortRust机器学习推理GPU加速Github开源项目

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
elfo - Rust语言的新型Actor系统
Actor系统ElfoGithubRust并发编程开源项目
elfo是一个用Rust语言开发的Actor系统，为并发编程提供新的解决方案。它支持全功能和测试工具，目前已在生产环境中使用。尽管仍在开发中，elfo显示出良好的性能。开发者可以通过简单配置在项目中使用elfo进行并发编程。elfo目前处于0.2版本的开发阶段，计划在正式发布后进行公开宣布。
onnx - 跨平台开源机器学习模型交换格式
GithubGlobal Corporation人工智能企业安全开源项目社交媒体跨平台应用
ONNX是一种开放的机器学习模型表示格式，支持跨框架模型互操作。它定义了统一的模型表示方式，实现不同AI框架间的模型转换。ONNX简化模型部署过程，提升AI应用效率。作为行业标准，ONNX促进AI生态系统发展，为开发者和企业带来更多可能性。
wgpu - 基于WebGPU标准的跨平台Rust图形API
GithubRustWebGPUwgpu图形API开源项目跨平台
wgpu项目实现了WebGPU标准的Rust版本，提供跨平台图形编程接口。它支持Vulkan、Metal、D3D12、OpenGL等多种图形API，并可在WebAssembly环境中运行。wgpu兼容WGSL、SPIR-V、GLSL等着色器语言，具有自动转换功能。该项目包含多个核心库和工具，适用于游戏引擎、3D渲染、科学计算可视化等应用场景。
ntex - 可组合的Rust网络服务框架 支持多种异步运行时
GithubRust编程ntex开源项目异步运行时网络服务框架
ntex是一个用于构建可组合网络服务的Rust框架。它支持glommio、tokio和async-std等多种异步运行时。框架提供丰富文档和社区资源，适用于开发各类网络应用。项目采用Apache 2.0和MIT双重开源许可，要求Rust 1.75及以上版本。
FasterLivePortrait - 高效实时AI人像动画生成框架
AI换脸FasterLivePortraitGithubONNXTensorRT实时渲染开源项目
FasterLivePortrait是一个高效的实时AI人像动画生成框架。基于TensorRT优化，在RTX 3090 GPU上可实现30+ FPS的速度。支持ONNX模型转换，便于跨平台部署。主要特性包括原生gradio应用支持、多人脸同时推理和动物模型。项目提供Docker环境，支持Windows一键运行，并兼容macOS系统。该框架为开发者提供了灵活高效的实时人像动画生成功能。
tantivy - Rust编写的快速全文搜索引擎库
GithubRustTantivy全文搜索引擎开源开源项目性能
Tantivy是一个Rust编写的全文搜索引擎库,提供类似Apache Lucene的功能。它支持全文搜索、多语言分词、BM25评分和自然语言查询。Tantivy以快速性能和低启动时间见长,适合构建各类搜索应用。该库具备增量索引、多线程处理、压缩存储等特性,为开发者提供了构建搜索引擎的灵活选择。
triton - 开源高效深度学习原语编程语言与编译器
GPU编程GithubLLVMTriton开源项目深度学习编译器
Triton是一种开源编程语言和编译器，专为编写高效的自定义深度学习原语而设计。它提供了一个兼具高生产力和灵活性的开发环境，性能优于CUDA，灵活性超过其他领域特定语言。Triton支持NVIDIA和AMD GPU平台，提供完善的文档和教程。用户可通过pip轻松安装，也支持源代码构建。该项目持续更新，最新版本进行了大量性能优化和问题修复。
tensorrtx - TensorRT深度学习网络实现库
GPU加速GithubTensorRTYOLO系列开源项目模型转换深度学习网络
TensorRTx项目使用TensorRT API实现主流深度学习网络。它提供灵活构建、调试和学习TensorRT引擎的方法，支持YOLO、ResNet、MobileNet等多种模型。兼容TensorRT 7.x和8.x版本，并包含详细教程和常见问题解答，方便用户快速入门。
SIMD-itertools - SIMD-itertools为Rust提供高效数组操作的SIMD加速迭代器
GithubRustSIMD并行计算开源项目性能优化迭代器
SIMD-itertools是一个Rust开源项目，提供SIMD加速的迭代器操作。通过替换标准库函数为SIMD版本，如contains()改为contains_simd()，可显著提升性能。支持u8至u64等多种数据类型，实现了find、filter、position等常用操作。项目需要Rust nightly版本，使用简单配置即可启用。根据项目提供的基准测试结果，SIMD-itertools在处理u32类型数据时，相比标准库实现可获得显著的性能提升。使用时需通过rustup安装nightly版本，并在编译时添加-C target-cpu=native参数以获得最佳性能。SIMD-itertools为开发者提供了高效的Rust数组处理工具，在多数情况下性能优于标准库实现。
minitrace-rust - 轻量高效的分布式追踪库minitrace升级为fastrace
Githubfastraceminitrace代码迁移开源项目社区治理
minitrace-rust已升级为fastrace，提供更好的社区治理。这个轻量高效的分布式追踪库由原团队维护，保持原有功能和性能。开发者只需将代码中的'minitrace'替换为'fastrace'即可完成迁移，继续使用这一简单易用的追踪解决方案。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号