ort

使用Rust实现的高性能ONNX Runtime包装器

ONNX Runtime ort Rust 机器学习推理 GPU加速 Github 开源项目

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

访问官网

Github

Huggingface

介绍相关项目

ocl - Rust语言的高性能OpenCL库

GPU编程GithubOpenCLRust并行计算开源项目高性能计算

ocl库为Rust开发者提供了高效的OpenCL编程接口。它不仅保留了OpenCL的全部功能，还简化了设备操作流程，减少了冗余代码。ocl的设计注重性能和安全性，适用于各种跨平台的高性能计算项目。支持OpenCL 1.1及更高版本，兼容主流操作系统。

burn - 一个基于Rust的深度学习框架

BurnGithub多后端支持开源项目性能优化深度学习自动化内核融合

Burn，一个全面而高效的基于Rust的深度学习框架，致力于提供前所未有的灵活性和便携性。配备了自动内核融合、异步执行以及线程安全技术，极大提升了性能。此外，Burn通过智能内存管理和硬件优化，支持多后端架构，确保无论是云端训练还是各种硬件部署，均可实现最佳表现。

llama2.rs - Rust开发的高效Llama2 CPU推理库

CPU推理GithubLlama2RustSIMD开源项目量化

llama2.rs是一个用Rust开发的Llama2 CPU推理库，专注于提供高性能的推理能力。项目支持4位GPT-Q量化、批量预填充提示标记、SIMD加速和内存映射等技术，实现了70B模型的即时加载。通过Python API，开发者可在普通台式机上运行70B Llama2模型（1 token/s）和7B模型（9 tokens/s）。该项目为大规模语言模型的CPU推理提供了高效且灵活的开源解决方案。

rust-mlops-template - Rust打造的数据科学和机器学习自动化解决方案

CourseraGitHub ActionsGithubMLOpsRustdatascience开源项目

rust-mlops-template是一个以Rust为核心的MLOps模板，旨在构建高效的自动化数据科学与机器学习工作流，避免使用Jupyter、Conda等传统工具。项目提供实用示例和教程，如PyTorch模型训练、Web API服务和命令行工具，展示Rust在高性能计算和跨平台开发中的优势，支持GitHub Actions自动化，并为初学者提供循序渐进的学习资源。

orion - 异步黑盒函数优化框架

GithubOríon实验平台开源项目异步框架机器学习超参数优化

Orion是一个专用于黑盒函数优化的异步框架，可作为机器学习模型和训练的元优化器。该框架提供灵活的大规模异步优化实验平台，设计理念注重最小化对研究工作流的干扰。Orion支持快速调优，为用户脚本提供简洁的非侵入式接口，并集成了先进的超参数算法、搜索空间定义和全面的配置系统。

optimum - 提升模型在不同硬件上的训练和运行效率的一系列优化工具

GithubHugging Face OptimumONNX RuntimeOpenVINOTransformer开源项目训练模型

Optimum扩展了Transformers和Diffusers，提供了一系列优化工具，提升模型在不同硬件上的训练和运行效率。支持的硬件平台包括ONNX Runtime、Intel Neural Compressor、OpenVINO、NVIDIA TensorRT-LLM、AMD Instinct GPUs、AWS Trainium & Inferentia、Habana Gaudi处理器和FuriosaAI。Optimum支持多种优化技术，如图优化、动态量化、静态量化和量化感知训练，配有详尽的文档和示例代码，帮助用户导出和运行优化后的模型。

onnx-web - 简化ONNX模型运行的跨平台工具

AI绘图GithubStable Diffusiononnx-web图像生成开源项目硬件加速

onnx-web是一个简化ONNX模型运行过程的开源工具，支持AMD和Nvidia GPU加速以及CPU回退。它提供用户友好的Web界面，支持txt2img、img2img等多种diffusion管道。该工具允许添加自定义模型，融合LoRA等附加网络，并具有多阶段和区域提示功能。onnx-web还提供API接口，适用于各种创作需求。

onnx-tensorrt - ONNX 的 TensorRT 后端

CUDAGithubInstanceNormalizationONNXProtobufTensorRT开源项目

本项目实现对ONNX模型的高效解析，支持在最新TensorRT 10.2版本上运行。还覆盖了多个ONNX操作符，提供详细的安装和构建指南。项目中包含C++和Python的使用示例，方便用户集成和运行ONNX模型。常见问题解答和变更日志有助于解决使用中的问题。

rbatis - Rust编译时代码生成的高性能异步ORM框架

GithubORMRbatisRustSQL开源项目数据库

rbatis是一款编译时代码生成的Rust ORM框架，平衡了易用性、性能和稳定性。它支持动态SQL、连接池和拦截器等功能，适用于多种主流数据库。框架采用Rust安全代码编写，通过编译时动态SQL生成和Future/Tokio异步运行时实现高性能。rbatis提供丰富的CRUD操作接口和插件系统，能显著提升开发效率。

fastembed-rs - 基于Rust的无需Tokio依赖，支持同步操作的高效文本嵌入工具

FastEmbed-rsGithubONNXRust开源项目文本嵌入量化模型

FastEmbed-rs为基于Rust的高效文本嵌入工具，无需Tokio依赖，支持同步操作。允许使用Hugging Face等多种模型，并通过并行处理实现高效批量嵌入。支持加载自定义.ONNX模型，提供简洁API以快速实现文本嵌入和重排，适合追求高性能文本处理的开发者。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号