Logo
Project Icon

ort

使用Rust实现的高性能ONNX Runtime包装器

ONNX RuntimeortRust机器学习推理GPU加速Github开源项目

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

访问官网访问官网GithubGithubHuggingfaceHuggingface文档文档论文论文
介绍相关项目
pingora - Rust驱动的高性能网络系统开发框架
GithubPingoraRust框架代理服务开源项目性能优化网络系统
Pingora是一个Rust编写的网络系统开发框架，提供HTTP 1/2代理、TLS支持、gRPC和WebSocket代理等功能。它以安全性、性能和可定制性见长，适合构建高效可靠的网络服务。Pingora在CloudFlare的生产环境中每秒处理超4000万请求，支持多种可观测性工具，并具备灵活的负载均衡和故障转移策略。
Turbo Registry - Rust构建的AI模型加载器 显著提升冷启动效率
AI工具Mystic Turbo Registry云计算冷启动容器加载性能优化
Turbo Registry是一款由Mystic.ai开发的高性能AI模型加载器。这个工具采用Rust语言构建，主要目标是大幅缩短机器学习模型的冷启动时间。通过优化容器下载和提取过程，Turbo Registry有效解决了传统方法中容器加载缓慢、提取耗时的问题。它能显著提高下载吞吐量，减少服务器闲置时间，从而加快模型响应速度。作为一个创新的AI模型部署工具，Turbo Registry致力于提升整体运行效率。
dora - 数据流导向机器人架构框架 支持多语言和热重载
Githubdora-rs共享内存开源项目数据流框架机器人应用热重载
dora-rs是一款数据流导向的机器人架构框架。它集成Python、C、C++和ROS2，通过共享内存和Apache Arrow实现零拷贝数据传递，大幅提高性能。框架使用声明式数据流范式，具备热重载和自编码机器人功能。此外，dora-rs还支持开放遥测和ROS2桥接，方便快速开发高效的机器人应用。
dfdx - Rust中的深度学习库，提供GPU加速和编译时类型检查
GPU加速GithubRustdfdx开源项目深度学习神经网络
dfdx是一个注重人体工学和安全性的Rust深度学习库，支持GPU加速和最多6维的张量形状。它在编译时进行形状和类型检查，提供多种张量操作，例如矩阵乘法和卷积。该库还包含神经网络构建模块和标准的深度学习优化器，如Sgd和Adam。设计目标是性能最大化和最小化不安全代码。用户可以启用CUDA特性进行GPU加速，非常适合在Rust中进行深度学习开发的用户。
smartcore - Rust语言开发的开源机器学习库
APIGithubJupyter NotebookRustSmartCore开源项目机器学习
smartcore是一个Rust语言开发的机器学习库，实现了分类、回归、聚类等多种算法模型。项目提供API接口和文档，并支持Jupyter Notebook环境。作为Rust生态系统的一部分，smartcore为数据科学和机器学习应用提供工具支持。
AiR - 基于Rust的高效AI应用，提供精准翻译与文本重写
AiRGithubRust开源项目文本重写翻译跨平台
AiR是一个基于Rust构建的AI应用，提供高效的翻译和文本重写功能。其主要目的是提高生产力，特别适合非母语使用者，自动修正并优化语言，使其更自然。目前支持macOS和Windows，提供暗黑/亮色主题。更多功能如代码重构、OCR和TTS即将推出。
youki - Rust 实现的高性能 OCI 容器运行时
GithubOCI规范Rustyouki容器运行时开源项目性能优化
youki 是一个用 Rust 语言实现的 OCI 容器运行时，旨在提供高效、低内存消耗的容器环境。它已通过 containerd 端到端测试，并在多个生产环境中得到应用。youki 支持无根容器运行，提供详细文档，并欢迎社区贡献。作为 runc 的替代方案，youki 致力于在资源受限场景中推动容器技术创新。
opentelemetry-rust - 全面的应用程序性能监控工具集
GithubOpenTelemetryRust可观测性开源项目追踪遥测数据
OpenTelemetry Rust是一个开源的可观测性框架，为Rust应用程序提供遥测数据收集和导出功能。它支持metrics、logs和traces的instrumentation，可与Prometheus、Jaeger等工具集成。该项目提供API和SDK，便于开发者监控和分析应用性能。目前处于积极开发阶段，大部分组件已达到Beta或Alpha状态。
langchain-rust - Rust版LangChain框架实现高效可组合LLM应用
GithubLLMLangChain Rust向量存储嵌入开源项目文档加载器
langchain-rust是LangChain在Rust中的实现，用于构建可组合的LLM应用。支持多种LLM如OpenAi、Azure OpenAi和Ollama，提供嵌入、向量存储、链式操作和多种工具集成功能。简单配置后，用户可快速启动对话链、问答链等应用。
Warp - Rust开发的GPU加速终端 提高开发效率的现代化工具
GPU加速GithubRustWarp开源项目终端跨平台
Warp是一款基于Rust开发的现代终端应用，通过GPU加速技术实现高性能。目前为macOS和Linux用户提供公开测试版，致力于提升开发效率。除了速度优势，Warp还集成了AI助手和协作功能，并计划开源UI框架和部分客户端代码，为开发者提供更多可能性。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号