#ONNX Runtime

onnxruntime

ONNX Runtime是一款跨平台的机器学习推理和训练加速工具，兼容PyTorch、TensorFlow/Keras、scikit-learn等深度学习框架及传统机器学习库。它支持多种硬件和操作系统，通过硬件加速和图优化实现最佳性能，显著提升模型推理和训练速度，尤其在多节点NVIDIA GPU上的Transformer模型训练中表现出色。

fastRAG

fastRAG是一个专为构建和优化检索增强生成模型的研究框架，集成了最先进的LLM和信息检索技术。它为研究人员和开发人员提供了一整套工具，支持在Intel硬件上进行优化，并兼容Haystack自定义组件。其主要特点包括对多模态和聊天演示的支持、优化的嵌入模型和索引修改功能，以及与Haystack v2+的兼容性。

fastembed

FastEmbed，一个为速度和效率优化的Python库，支持多语言且易于扩展的嵌入式模型生成工具，适用于服务器和GPU环境。简化高效编码，无需依赖庞大的数据下载，适用于多种数据类型和复杂任务，是开发精确嵌入系统的理想工具。

ort

ort 是一个基于 Rust 的非官方 ONNX Runtime 1.18 包装器，能够加速 CPU 和 GPU 上的机器学习推理与训练。提供详细的指导文档、API参考和示例，并支持从 v1.x 迁移到 v2.0。Twitter、Bloop 和 Supabase 等项目均在使用ort。可通过 Discord 或 GitHub 讨论获取支持，欢迎在 Open Collective 上进行赞助。

Windows-Machine-Learning

Windows Machine Learning通过ONNX Runtime和DirectML提供高效低延迟的机器学习推理API，适用于框架、游戏等实时应用。项目还包含多种模型转换和优化工具，示例以及开发者工具，帮助开发者在Windows应用中轻松实现机器学习。了解更多关于模型样本、高级场景和开发者工具的信息，并访问详细的教程和指南。

optimum

Optimum扩展了Transformers和Diffusers，提供了一系列优化工具，提升模型在不同硬件上的训练和运行效率。支持的硬件平台包括ONNX Runtime、Intel Neural Compressor、OpenVINO、NVIDIA TensorRT-LLM、AMD Instinct GPUs、AWS Trainium & Inferentia、Habana Gaudi处理器和FuriosaAI。Optimum支持多种优化技术，如图优化、动态量化、静态量化和量化感知训练，配有详尽的文档和示例代码，帮助用户导出和运行优化后的模型。

head-pose-estimation

本项目提供了一个实时的人脸姿态估计解决方案，依赖于ONNX Runtime和OpenCV框架。主要步骤包括人脸检测、68个面部标志点检测以及姿态估计。支持Ubuntu 22.04，提供简单的安装步骤和预训练模型下载链接，使用户可以快速启动并运行。本项目支持视频文件和摄像头输入，提供了详尽的训练指导和代码库，确保了高度的灵活性和扩展性，适合开发和测试用途。

transformers.js

Transformers.js是一个JavaScript库，可在浏览器中直接运行Hugging Face的Transformers模型，无需服务器。该库支持自然语言处理、计算机视觉、音频处理和多模态任务，使用ONNX Runtime执行模型。它的设计与Python版Transformers功能相同，提供简单API运行预训练模型，并支持将自定义模型转换为ONNX格式。

ortex

Ortex是基于ONNX Runtime的Elixir封装库，通过Nx.Serving实现ONNX模型的并发和分布式部署。该框架支持CUDA、TensorRT和Core ML等多种后端，能够高效加载和推理主流机器学习库导出的ONNX模型。Ortex还提供了便捷的存储型张量实现，为开发者提供了灵活且高效的机器学习模型部署方案。